大家好，今天来为大家分享python模拟谷歌浏览器的一些知识点，和python 模拟浏览器selenium的问题解析，大家要是都明白，那么可以忽略，如果不太清楚的话可以看看本篇文章，相信很大概率可以解决您的问题，接下来我们就一起来看看吧！

本文目录

1. 怎么用python进行web开发
2. 如何用python写爬虫来获取网页中所有的文章以及关键词
3. 如何用Python抓取动态页面信息

一、怎么用python进行web开发

1、HTML（超文本标记语言）是网页的核心，学好HTML是成为Web开发人员的基本条件。HTML很容易学习的，但也很容易误用，要学精还得费点功夫。

2、随着HTML5的发展和普及，了解HTML5也将成为Web开发人员的必修课。

3、涉及到网页外观时，就需要学习CSS了，它可以帮你把网页做得更美观。

4、利用HTML和CSS模拟一些你所见过的网站的排版和布局（色彩，图片，文字样式等等）。

5、第二步：学习javascript,了解DOM

6、JavaScript是一种能让你的网页更加生动活泼的程序语言。学习JavaScript的基本语法，学会用javascript操作网页中dom元素。

7、接着学习使用一些javascript库，比如jquery是大部分WEB开发人员都喜欢用的，通过Jquery可以有效的提高JavaScript的开发效率。

8、你不必在这上面花太多精力，但对IIS、Apache基本配置要掌握，这方面的知识学起来也相对容易，不会花多长时间。

9、学习一点Unix和Linux的基本知识，因为大部分Web服务器都运行在Unix和Linux平台上。

10、第四步:学好一门服务器端脚本语言

11、服务器端脚本编程（后台开发）也是Web开发人员的基本功之一，你只需挑选一个服务器端脚本语言，然后学好它。

12、目前流行的服务器脚本语言有：php、asp.net、jsp、ruby、python、等。

13、要构建动态页面通常会使用到数据库，常用的数据库有SQLServer、Oracle、MySQL等，它们都会遵循标准的SQL原则。

14、通常asp.net程序使用SqlServer数据库，PHP、java使用Oracle、MySQL数据库。

15、选一个你喜欢的后台编程语言，结合之前学到的html,css,javascript前端技术，实现一个简单的留言本、论坛程序、进而实现一个简单的CMS（内容管理系统）

16、当你掌握了HTML，CSS，JavaScript和服务器端脚本语言后，就应该找一个Web框架加快你的Web开发速度，使用框架可以节约你很多时间。

17、比如.net的MVC，JAVA的SSH，php的cakephp、CodeIgniter、zend，ruby的ROR，python的dijango等等，其实里面都有一些相通之处。

18、整个开发过程你还可能会学习到一些工具的使用：

19、Visio，Dreamweaver，Vistual Studio、elipse、(Vim, EditPlus, Notpad++)、sqlserver、phpmyadmin，各种浏览器以及FireBug的插件，IE下的WebDevelopmentHelper、IETester等。如果你足够用心，你还发掘出很多不错的资源，例如MSDN，W3cSchool，一些前辈的博客，一些技术论坛等等，这都是你未来前进道路上的财富。如还想深入研究，学学http协议,理解什么是无状态，不然你永远做不好WEB开发，研究web程序服务端运行原理，还有tcp/ip,udp协议等。

20、从最简单的HTML到Web框架，内容还是不少，要想精通这里的每一样技术，都得下苦功夫才行。半年的时间，足够你对web开发产生一个有效的认识，这个时候，再思考你进一步学习的方向吧。

二、如何用python写爬虫来获取网页中所有的文章以及关键词

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。

类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。

在Python中，我们使用urllib2这个组件来抓取网页。

urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。

它以urlopen函数的形式提供了一个非常简单的接口。

最简单的urllib2的应用代码只需要四行。

我们新建一个文件urllib2_test01.py来感受一下urllib2的作用：

response= urllib2.urlopen(';)

我们可以打开百度主页，右击，选择查看源代码（火狐OR谷歌浏览器均可），会发现也是完全一样的内容。

也就是说，上面这四行代码将我们访问百度时浏览器收到的代码们全部打印了出来。

这就是一个最简单的urllib2的例子。

除了"http:"，URL同样可以使用"ftp:"，"file:"等等来替代。

客户端提出请求，服务端提供应答。

urllib2用一个Request对象来映射你提出的HTTP请求。

在它最简单的使用形式中你将用你要请求的地址创建一个Request对象，

通过调用urlopen并传入Request对象，将返回一个相关请求response对象，

这个应答对象如同一个文件对象，所以你可以在Response中调用.read()。

我们新建一个文件urllib2_test02.py来感受一下：

req= urllib2.Request(';)

response= urllib2.urlopen(req)

可以看到输出的内容和test01是一样的。

urllib2使用相同的接口处理所有的URL头。例如你可以像下面那样创建一个ftp请求。

req= urllib2.Request(';)

在HTTP请求时，允许你做额外的两件事。

这个内容相信做过Web端的都不会陌生，

有时候你希望发送一些数据到URL(通常URL与CGI[通用网关接口]脚本，或其他WEB应用程序挂接)。

在HTTP中,这个经常使用熟知的POST请求发送。

这个通常在你提交一个HTML表单时由你的浏览器来做。

并不是所有的POSTs都来源于表单，你能够使用POST提交任意的数据到你自己的程序。

一般的HTML表单，data需要编码成标准形式。然后做为data参数传到Request对象。

编码工作使用urllib的函数而非urllib2。

我们新建一个文件urllib2_test03.py来感受一下：

url=';

values={'name':'WHY',

'location':'SDU',

'language':'Python'}

data= urllib.urlencode(values)#编码工作

req= urllib2.Request(url, data)#发送请求同时传data表单

response= urllib2.urlopen(req)#接受反馈的信息

the_page= response.read()#读取反馈的内容

如果没有传送data参数，urllib2使用GET方式的请求。

GET和POST请求的不同之处是POST请求通常有"副作用"，

它们会由于某种途径改变系统状态(例如提交成堆垃圾到你的门口)。

Data同样可以通过在Get请求的URL本身上面编码来传送。

data['name']='WHY'

data['location']='SDU'

data['language']='Python'

url_values= urllib.urlencode(data)

name=Somebody+Here&language=Python&location=Northampton

url=';

full_url= url+'?'+ url_values

这样就实现了Data数据的Get传送。

有一些站点不喜欢被程序（非人为访问）访问，或者发送不同版本的内容到不同的浏览器。

默认的urllib2把自己作为“Python-urllib/x.y”(x和y是Python主版本和次版本号,例如Python-urllib/2.7)，

这个身份可能会让站点迷惑，或者干脆不工作。

浏览器确认自己身份是通过User-Agent头，当你创建了一个请求对象，你可以给他一个包含头数据的字典。

下面的例子发送跟上面一样的内容，但把自身模拟成Internet Explorer。

（多谢大家的提醒，现在这个Demo已经不可用了，不过原理还是那样的）。

url=';

user_agent='Mozilla/4.0(compatible; MSIE 5.5; Windows NT)'

values={'name':'WHY',

'location':'SDU',

'language':'Python'}

headers={'User-Agent': user_agent}

data= urllib.urlencode(values)

req= urllib2.Request(url, data, headers)

response= urllib2.urlopen(req)

以上就是python利用urllib2通过指定的URL抓取网页内容的全部内容，非常简单吧，希望对大家能有所帮助。

三、如何用Python抓取动态页面信息

有一个思路最为简单的思路可以动态解析页面信息。urllib不可以解析动态信息，但是浏览器可以。在浏览器上展现处理的信息其实是处理好的HTML文

档。这为我们抓取动态页面信息提供了很好的思路。在Python中有一个很有名的图形库——PyQt。PyQt虽然是图形库，但是他里面

QtWebkit。这个很实用。谷歌的Chrome和苹果的Safari都是基于WebKit内核开发的，所以我们可以通过PyQt中得QtWebKit

把页面中的信息读取加载到HTML文档中，再解析HTML文档，从HTML文档中提取我们想用得信息。

作者本人实用Mac OS X。应该在Windows和Linux平台也可以采用相同的办法。

Library，而不是Creator。Library在Mac的默认安装路径下，应该是/home/username/Developor/，不要改变Qt4的默认安装路径。否则可能安装失败。

官方网址：

这两个软件可以在在PyQt的官网找到。下载的是它的源码。Mac和Linux需要自己编译。

下载地址是：

在终端切换到文件解压后的目录中。

SIP和PyQt4两个安装方法相同。但是PyQt4依赖SIP。所以先安装SIP再安装PyQt4

1、2两步完成之后，Python的PyQt4的模块就安装好了。在Python shell中输入import PyQt4看看能不能找到PyQt4的模块。

spynner是一个QtWebKit的客户端，它可以模拟浏览器，完成加载页面、引发事件、填写表单等操作。

这个模块可以在Python的官网找到。

下载地址:

解压后，cd到安装目录，然后输入sudo python configure.py install安装该模块。

这样Spynner模块就安装完成了，在python shell中试试import spynner看看该模块有没有安装完成。

Spynner的功能十分强大，但是由于本人能力有限，就介绍一下如何显示网页的源码吧。

browser.load("")

#browser类中有一个类方法load，可以用webkit加载你想加载的页面信息。

#load(是你想要加载的网址的字符串形式)

print browser.html.encode("utf-8")

#browser类中有一个成员是html，是页面进过处理后的源码的字符串.

open("Test.html",'w+').write(browser.html.encode("utf-8"))

#你也可以将它写到文件中，用浏览器打开。

通过这个程序，就可以比较容易的显示webkit处理的页面HTML源码了。

下面介绍一下spynner的简单应用，通过简单的程序，可以获取你在浏览器中看到的页面的全部图片。用HTMLParser、BeautifulSoup等都可以完成HTMLParser文档的解析。而我选择HTMParser。

class MyParser(HTMLParser.HTMLParser):

def handle_starttag(self, tag, attrs):

url= dict(attrs)['src']

name= os.path.basename(dict(attrs)['src'])

if name.endswith('.jpg') or name.endswith('.png') or name.endswith('gif'):

urllib.urlretrieve(url, name)

browser.load("")

通过这个程序，可以下载你在页面上看到的全部图片。简单的几行程序就完成了这个艰巨的任务。实现了图片的批量处理。这真是Python语言的优势，再艰巨的任务交给第三方吧。

好了，本文到此结束，如果可以帮助到大家，还望关注本站哦！