[已解决]python爬虫

xiaoxia0

为什么爬虫爬到的数据和在F12中看到的不一样，怎么解决啊

最佳答案

月排行榜 / 总排行榜

Daniel_Zhang

2021-6-17 23:40:17

这个不难的

其实数据都在里面的,只是名称被加密了,所以你可能没有看到

从原网页随意找一个数据,比如密歇根州,复制密歇根州的某个数据,新增或者死亡啥的,去你爬取到的结果里面搜索,会获得如下数据 (请保证爬取的数据为最新数据,即爬取的数据和网站的相同,网站上的数据没有进行更新):



将 city 名称放到 Unicode 转 中文 的网站进行转码,不难发现,这个就是密歇根州的 Unicode 码

跳转到最佳答案楼层

wp231957

狠正常的事啊，具体网站具体分析

Twilight6

可能是 JS 加载，所以不一样

suchocolate

浏览器的是经过js和css渲染的，和爬虫get的不一样很正常。
具体问题具体分析，把你想爬的内容写清楚，代码发出来。

Mr_W

可以把网站发出来吗

xiaosi4081

可能是：

1.网页经过JS渲染，可通过右键单击 >> 查看网页源代码确认

2.Python发出去的请求被屏蔽

解决方法：

1.F12后打开Network查找XHR文件，获取数据

2.在代码里加入headers
具体方法：
F12  >> 点击Network >> F5 >> 点击对应的网页文档 >>  找到Requests Headers 里面的对应信息（users-agent 和 referer(可选)） >> 复制 >> 在代码里加：

headers = {"...":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36",
"referer":"..."}

... 替换成网页里的数据

xiaoxia0

Mr_W 发表于 2021-6-17 16:57
可以把网站发出来吗

https://voice.baidu.com/act/newp ... -%E7%BE%8E%E5%9B%BD

xiaoxia0

Mr_W 发表于 2021-6-17 16:57
可以把网站发出来吗

想要提取美国每个州的新冠的感染人数

xiaoxia0

Mr_W 发表于 2021-6-17 16:57
可以把网站发出来吗

有这个的教程视频吗

xiaosi4081

xiaoxia0 发表于 2021-6-17 19:53
有这个的教程视频吗

关于这个倒没有，但是可以学习一下小甲鱼的爬虫教程

可以把教程内容迁移过来的

个人建议用requests+BeautifulSoup这个模块组合抓取

Daniel_Zhang

这个不难的

其实数据都在里面的,只是名称被加密了,所以你可能没有看到

从原网页随意找一个数据,比如密歇根州,复制密歇根州的某个数据,新增或者死亡啥的,去你爬取到的结果里面搜索,会获得如下数据 (请保证爬取的数据为最新数据,即爬取的数据和网站的相同,网站上的数据没有进行更新):



将 city 名称放到 Unicode 转 中文 的网站进行转码,不难发现,这个就是密歇根州的 Unicode 码

Daniel_Zhang

Daniel_Zhang 发表于 2021-6-17 23:40
这个不难的

其实数据都在里面的,只是名称被加密了,所以你可能没有看到

以下是我爬取用的代码,你可以自行研究一下:

上面的图示因为数据的时效性,可能会和代码运行结果有所出入,请以实际运行结果为准

代码中的 ssl 部分可以忽略甚至删除(3 和 11 行),我加入的原因是我的电脑缺少这两行会报错,暂时没有发现其他人的电脑会有类似问题

import requests
import ssl


headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    'Accept': 'text/html'
}

ssl._create_default_https_context = ssl._create_unverified_context


def open_url(url):
    # encoding: utf-8
    html = requests.get(url, stream=True, headers=headers).text
    with open('trash7.txt', 'w') as write_f:
        write_f.write(html)
    # return html


if __name__ == '__main__':
    open_url('https://voice.baidu.com/act/newpneumonia/newpneumonia/?city=%E7%BE%8E%E5%9B%BD-%E7%BE%8E%E5%9B%BD#tab1')

Daniel_Zhang

米国每日新增的数据

页面底部实时播报信息

飞行的河南人

他网页源代码里面的东西只是一个框架，还要经过各种脚本的二次加载所以不一样很正常
用抓包工具抓到的一定就是一样的了