爬虫不用谷歌浏览器 爬虫用哪个浏览器
大家好，关于爬虫不用谷歌浏览器很多朋友都还不太明白，今天小编就来为大家分享关于爬虫用哪个浏览器的知识，希望对各位有所帮助！
本文目录
一、python爬虫伪装浏览器出现问题求助
声明：以下代码在Python 3.3中编写调试完成！
data= urllib.request.urlopen(url).read()
结果发现不行，OSC加了保护，不止是OSC，CSDN等等很多网站都这样，这就必须要伪装浏览器正常访问了，类似蜘蛛爬虫一样，那么只有给代码加上一个Header，再试试读取HTML。
Chrome如何查看你的浏览器的Header：
F12打开开发人员工具，其他浏览器也有类似功能，很方便哦，这里我们只需要Request Headers中的User-Agent就可以了。
各种纠结呀，网上许多代码都是Python2的，我用的3.3，import很多都不一样了，没办法只有翻Python的官方文档，全英文有点苦，还好我的Chrome可以随时翻译，减轻负担呀。
在官方文档3.3中找到了urllib.request的文档：docs.python.org/3/library/urllib.request.html
在Examples中找到了一个addheaders的方法，试了一下果然能行，下面就是代码。
headers=('User-Agent','Mozilla/5.0(Windows NT 6.1) AppleWebKit/537.11(KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11')
opener= urllib.request.build_opener()
到这里就能输出页面的HTML了，也可以直接保存成本地HTML文件，打开正常。
另外对于这编码问题还是有点迷茫。
另收藏一条很有用的语句，type()，类似于C语言中的typeof()，可以print出来直接查看数据类型，很方便！
二、python爬虫获取浏览器payload
1、上面的代码将会生成30个1到20之间的随机整数，并依次输出。
2、需要注意的是，在Python中，random.randint()函数生成的随机整数是包含边界值的。所以，上面的代码中，生成的随机整数可能包含1和100，也可能包含1和20。
3、总之，你可以使用 random.randint()函数来随机生成指定范围内的整数。
4、然后，您可以使用以下代码来获取网页中的payload数据：
5、html="<html><body>payload data</body></html>"
6、soup= BeautifulSoup(html,'html.parser')
7、在这段代码中，我们首先使用BeautifulSoup解析网页数据，然后通过soup.body.get_text()来获取网页中的payload数据。
三、为什么爬虫抓取的页面和浏览器看到不一致
1、有可能是因为网页采用了动态网页技术，如AJAX、JavaScript等，导致浏览器中看到的网页内容与通过爬虫抓取的网页源代码不同。
2、动态网页技术可以使网页在加载后通过JavaScript代码动态地修改或添加页面内容，而这些修改和添加的内容是在浏览器中执行的，而不是在服务器端。因此，如果使用传统的爬虫工具，只能获取到最初加载的网页源代码，而无法获取动态生成的内容。
3、解决这个问题的方法是使用支持JavaScript渲染的爬虫工具，例如Selenium和Puppeteer。这些工具可以模拟浏览器行为，实现动态网页的加载和渲染，从而获取完整的网页内容。
4、另外，有些网站也可能采用反爬虫技术，例如IP封禁、验证码、限制访问频率等，这些技术也可能导致爬虫抓取的网页源代码与浏览器中看到的不一样。针对这些反爬虫技术，需要使用相应的反反爬虫策略。
四、如何启用http代理
dos命令行差不多。一般是电脑联机路由然后可以开代理 MS wINDOWS自已就有这个功能
1、在桌面上用鼠标右键单击‘Internet Explorer’图标，并选择‘属性’。
3、选中使用的连接，如：‘我的连接’，单击‘设置’按钮。
4、单击‘鼠标左键’，选择‘使用代理服务器’的选项，单击‘确定’按钮。
LAN局域网用户代理服务器设置方法
1、在桌面上用鼠标右键单击‘Internet Explorer图标’，并选择‘属性’。
4、单击‘鼠标左键’，去掉‘使用代理服务器’的选项，单击‘确定’按钮。
IE4.01：菜单栏“查看”->下拉菜单“Internet选项”->选项卡“连接”->在“代理服务器”一栏选中“通过代理服务器访问Internet”，输入代理服务器地址和端口号。->确定
IE 5.0：菜单栏“工具”->下拉菜单“Internet选项”->选项卡“连接”->在“拨号设置”中选中您目前使用的连接，然后点击右侧的“设置”->在中间的“代理服务器”栏选中“使用代理服务器”->在“地址”和“端口”栏输入代理服务器->确定->确定。
（一）菜单选择“工具”，选“Internet选项(O)”。
（二）选“连接”，单击“设置(S)...”
（三）在“代理服务器”组，把“对此连接使用代理服务器”打钩，然后填上HTTP的地址和端口。
（四）如果有更齐全的代理数据，如SOCK及FTP等，可单击“高级(C)...”，分别填入对应的代理数据。（这项一般不填）
（一）主菜单选择“工具”，选“WWW代理”，选“代理设置...”
（二）点击“新增”，然后在“地址”那填上代理的IP以及端口，单击“确定”，代理就可以生效。
（三）当使用代理的时候，菜单上代理名称前面有“钩”，当向要取消代理或者再次使用代理，点击菜单就行，很方便。
点击QQ的“QQ2000”，选择“系统菜单”。
选择“网络参数”，在腾讯的服务器地址填上绝对IP（“***.***.***.***形式的”），下面有腾讯服务器域名转换绝对IP的表，随便选择一个就行。“使用SOCK5代理服务器”打钩，填上代理服务器的地址和端口参数。把用户名和密码输入框清空（假如是使用有密码的代理，则填上代理的用户名和密码）。
sz.tencent.com=> 61.144.238.145
sz2.tencent.com=> 61.144.238.146
sz3.tencent.com=> 202.104.129.251
sz4.tencent.com=> 202.104.129.254
sz5.tencent.com=> 61.141.194.203
sz6.tencent.com=> 202.104.129.252
sz7.tencent.com=> 202.104.129.253
点击测试。假如出现“代理服务器正常”，则这个代理是可用的。假如出现“无法连接代理服务器”，则说明这个代理不能使用，重新输入另外的代理参数，重新测试。
要使刚刚输入的参数生效，必须下线一次，再上线，这样才能改变QQ的传输状态，使代理生效。如果不能上线，请多换几个代理试试。
点击QQ的“QQ2000”，选择“系统菜单”。
选择“会员功能”，把“使用HTTP协议登陆”打钩，选择“通过HTTP代理”，填入HTTP代理的IP以及端口参数，清空用户名称和密码。
按“测试”，测试该HTTP代理能不能用，出现“测试成功，请返回”，则该代理能用。否则表示该代理不能用，换别的代理。
要使刚刚输入的参数生效，必须下线一次，再上线，这样才能改变QQ的传输状态，使代理生效。如果不能上线，请多换几个代理试试。
使用的是ICQ2000中文版。ICQ能使用的代理比较多，可以用HTTP、SOCK4、SOCK5等。在ICQ中，代理也称作防火墙。
点击“主菜单”，选择“参数选择”。
选“连接”，在“代理设置”，选择“使用防火墙”和“使用代理服务器”，在“代理服务器”选择代理的类型，可以是SOCK4、SOCK5、HTTP等，但一定要和你准备的代理的类型是一致的。
在“防火墙”组，选择代理的类型，和输入代理的IP及端口的参数
跟QQ一样，要使得代理生效，必须先下线再上线，假如不能上线就是代理不行，换一个代理重新设置。
点击“UC”，选择“系统参数”。
选择“网络”，选“局域网”，“使用SOCK5代理”打钩，填上代理IP和端口的参数，清空用户名和密码。（假如是使用有密码的代理，则填上代理的用户名和密码）。
点击测试。假如出现“代理服务器正常”，则这个代理是可用的。假如出现“无法连接代理服务器”，则说明这个代理不能使用，重新输入另外的代理参数，重新测试。
要使刚刚输入的参数生效，必须下线一次，再上线，这样才能改变UC的传输状态，使代理生效。如果不能上线，请多换几个代理试试。
点击“MSN”，选择“选项（O)...”。
“我使用的代理服务器”打钩，选“SOCK5”，填上代理IP和端口的参数，清空用户名和密码。（假如是使用有密码的代理，则填上代理的用户名和密码）。当然还可以选择HTTP或SOCK4代理，填上相应的参数就行。
2003版QQ，普通用户除了可以使用SOCK5代理之外，还可以使用HTTP代理，会员用户可以使用VIP的HTTP代理。
点击QQ的“QQ2003”，选择“系统菜单”。
选择“网络设置”。上网类型要设置为“局域网”。如果使用SOCK5代理的就把“SOCK5代理设置”打钩，填入代理服务器的IP和端口的参数。假如使用HTTP代理的就选“HTTP代理设置”，填入参数。用户名称和密码一般留空，不用填。
按“测试”，试试该代理能否成功连接。假如出现“不能连接代理服务器”的就换别的代理试试。
要使刚刚输入的参数生效，必须下线一次，再上线，这样才能改变QQ的传输状态，使代理生效。如果不能上线，请多换几个代理试试。
关于爬虫不用谷歌浏览器，爬虫用哪个浏览器的介绍到此结束，希望对大家有所帮助。
声明：信息资讯网所有作品（图文、音视频）均由用户自行上传分享，仅供网友学习交流，版权归原作者东方体育日报所有。若您的权利被侵害，请联系 删除。
本文链接：http://www.gdxhedu.com/news/151535.html
微信扫一扫