python爬虫
为什么爬虫爬到的数据和在F12中看到的不一样，怎么解决啊 狠正常的事啊，具体网站具体分析可能是 JS 加载，所以不一样
浏览器的是经过js和css渲染的，和爬虫get的不一样很正常。
具体问题具体分析，把你想爬的内容写清楚，代码发出来。 可以把网站发出来吗 可能是：
1.网页经过JS渲染，可通过右键单击 >> 查看网页源代码确认
2.Python发出去的请求被屏蔽
解决方法：
1.F12后打开Network查找XHR文件，获取数据
2.在代码里加入headers
具体方法：
F12>> 点击Network >> F5 >> 点击对应的网页文档 >>找到Requests Headers 里面的对应信息（users-agent 和 referer(可选)） >> 复制 >> 在代码里加：
headers = {"...":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36",
"referer":"..."}
... 替换成网页里的数据
Mr_W 发表于 2021-6-17 16:57
可以把网站发出来吗
https://voice.baidu.com/act/newpneumonia/newpneumonia/?city=%E7%BE%8E%E5%9B%BD-%E7%BE%8E%E5%9B%BD Mr_W 发表于 2021-6-17 16:57
可以把网站发出来吗
想要提取美国每个州的新冠的感染人数 Mr_W 发表于 2021-6-17 16:57
可以把网站发出来吗
有这个的教程视频吗
xiaoxia0 发表于 2021-6-17 19:53
有这个的教程视频吗
关于这个倒没有，但是可以学习一下小甲鱼的爬虫教程
可以把教程内容迁移过来的
个人建议用requests+BeautifulSoup这个模块组合抓取 这个不难的
其实数据都在里面的,只是名称被加密了,所以你可能没有看到
从原网页随意找一个数据,比如密歇根州,复制密歇根州的某个数据,新增或者死亡啥的,去你爬取到的结果里面搜索,会获得如下数据 (请保证爬取的数据为最新数据,即爬取的数据和网站的相同,网站上的数据没有进行更新):
将 city 名称放到 Unicode 转 中文 的网站进行转码,不难发现,这个就是密歇根州的 Unicode 码
本帖最后由 Daniel_Zhang 于 2021-6-18 00:37 编辑
Daniel_Zhang 发表于 2021-6-17 23:40
这个不难的
其实数据都在里面的,只是名称被加密了,所以你可能没有看到
以下是我爬取用的代码,你可以自行研究一下:
上面的图示因为数据的时效性,可能会和代码运行结果有所出入,请以实际运行结果为准
代码中的 ssl 部分可以忽略甚至删除(3 和 11 行),我加入的原因是我的电脑缺少这两行会报错,暂时没有发现其他人的电脑会有类似问题
import requests
import ssl
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
'Accept': 'text/html'
}
ssl._create_default_https_context = ssl._create_unverified_context
def open_url(url):
# encoding: utf-8
html = requests.get(url, stream=True, headers=headers).text
with open('trash7.txt', 'w') as write_f:
write_f.write(html)
# return html
if __name__ == '__main__':
open_url('https://voice.baidu.com/act/newpneumonia/newpneumonia/?city=%E7%BE%8E%E5%9B%BD-%E7%BE%8E%E5%9B%BD#tab1')
米国每日新增的数据
页面底部实时播报信息 他网页源代码里面的东西只是一个框架，还要经过各种脚本的二次加载所以不一样很正常
用抓包工具抓到的一定就是一样的了
页:
[1]