[已解决]关于爬虫把url丢字典里数据抓不全

一只魈咸鱼

这段可以抓全
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'}
resp = requests.get('http://www.yhdm6.com/acg/5659/', headers=headers)
print(resp.content.decode('utf8'))



这段抓不全，抓到的集数比上面那个少，这是什么道理
import requests
searchs = {'关于我转生成为史莱姆的那件事第二季':'http://www.yhdm6.com/acg/66382/'}
for search in searchs.items():
    url = search[1]
    res = requests.get(url)
    res.encoding = 'utf-8'
    print(res.text)

最佳答案

月排行榜 / 总排行榜

大马强

2021-8-14 09:41:29

一只魈咸鱼 发表于 2021-8-14 09:22
大哥我的错，我光看的squeeze两个都315，可能是第一次我就这里搞错了，后面我就靠这个数字判断的两者抓的 ...

跳转到最佳答案楼层

大马强

没有啊

                               
登录/注册后可看大图

大马强

两个都一样的

南归

如果要看两段代码的区别的话,你第二个没有headers

一只魈咸鱼

南归 发表于 2021-8-13 18:40
如果要看两段代码的区别的话,你第二个没有headers

其实我headers加过了，Cookie我都试了，要不你试试呗。一定要先跑前面的，不然你跑完后面前面也跟着缺东西了、、、

一只魈咸鱼

大马强 发表于 2021-8-13 18:12
两个都一样的

其实它有29-37集，你的也没抓到，你是不是先跑的后面的。。。我和另一个人都是先跑前面，不管跑多少次都行，一旦跑一次后面的，前面的也跟着缺东西

大马强

一只魈咸鱼 发表于 2021-8-13 20:15
其实它有29-37集，你的也没抓到，你是不是先跑的后面的。。。我和另一个人都是先跑前面，不管跑多少次都 ...

你这两个代码的网址都不一样

南归

一只魈咸鱼 发表于 2021-8-13 20:14
其实我headers加过了，Cookie我都试了，要不你试试呗。一定要先跑前面的，不然你跑完后面前面 ...

看你这个描述,有点缓存的意思了

大马强

一个是第二季的上半，一个是下半，咋会一样呢
随便一提，下半真水

一只魈咸鱼

大马强 发表于 2021-8-13 20:31
一个是第二季的上半，一个是下半，咋会一样呢
随便一提，下半真水

网址好像是错了，但是你试试真的抓不全！！！我把网址也改成一样了，你可以跟他源代码里面的集数对对看
import requests
searchs = {'关于我转生成为史莱姆的那件事第二季':'http://www.yhdm6.com/acg/66382/'}
for search in searchs.items():
    url = search[1]
    res = requests.get(url)
    res.encoding = 'utf-8'
    print(res.text)



import requests
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'}
resp = requests.get('http://www.yhdm6.com/acg/66382/', headers=headers)
print(resp.content.decode('utf8'))

一只魈咸鱼

南归 发表于 2021-8-13 20:30
看你这个描述,有点缓存的意思了

我第一次发现这个问题就是对照网页查看源代码发现的不一样，然后论坛有人发了他的代码我第一次运行抓全了，接着我又运行了我的就出问题了。。。只要他的代码是第一次跑，不管跑几次他都全，我的跑一次俩代码都完蛋。 不过我刚才直接运行上面那个也没抓全，我都不知道该怎么说了

大马强

一只魈咸鱼 发表于 2021-8-13 21:31
网址好像是错了，但是你试试真的抓不全！！！我把网址也改成一样了，你可以跟他源代码里面的集数对对看
...

鱼友，你能否细心点，66382是下半的，5659是上半的

大马强

一只魈咸鱼 发表于 2021-8-13 21:35
我第一次发现这个问题就是对照网页查看源代码发现的不一样，然后论坛有人发了他的代码我第一次运行抓全了 ...

                               
登录/注册后可看大图

一只魈咸鱼

大马强 发表于 2021-8-14 07:11

大哥我的错，我光看的squeeze两个都315，可能是第一次我就这里搞错了，后面我就靠这个数字判断的两者抓的一样

大马强

一只魈咸鱼 发表于 2021-8-14 09:22
大哥我的错，我光看的squeeze两个都315，可能是第一次我就这里搞错了，后面我就靠这个数字判断的两者抓的 ...