一只魈咸鱼 发表于 2021-8-13 17:39:51

关于爬虫把url丢字典里数据抓不全

这段可以抓全
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'}
resp = requests.get('http://www.yhdm6.com/acg/5659/', headers=headers)
print(resp.content.decode('utf8'))



这段抓不全，抓到的集数比上面那个少，这是什么道理{:10_284:}
import requests
searchs = {'关于我转生成为史莱姆的那件事第二季':'http://www.yhdm6.com/acg/66382/'}
for search in searchs.items():
    url = search
    res = requests.get(url)
    res.encoding = 'utf-8'
    print(res.text)

大马强 发表于 2021-8-13 18:10:55

没有啊
https://static01.imgkr.com/temp/b0f18a616b1f4f878ade01235ae04c4c.jpg

大马强 发表于 2021-8-13 18:12:10

两个都一样的

南归 发表于 2021-8-13 18:40:22

如果要看两段代码的区别的话,你第二个没有headers

一只魈咸鱼 发表于 2021-8-13 20:14:14

南归 发表于 2021-8-13 18:40
如果要看两段代码的区别的话,你第二个没有headers

其实我headers加过了，Cookie我都试了{:10_266:}，要不你试试呗。一定要先跑前面的，不然你跑完后面前面也跟着缺东西了、、、

一只魈咸鱼 发表于 2021-8-13 20:15:16

大马强 发表于 2021-8-13 18:12
两个都一样的

其实它有29-37集，你的也没抓到，你是不是先跑的后面的。。。我和另一个人都是先跑前面，不管跑多少次都行，一旦跑一次后面的，前面的也跟着缺东西

大马强 发表于 2021-8-13 20:29:59

一只魈咸鱼 发表于 2021-8-13 20:15
其实它有29-37集，你的也没抓到，你是不是先跑的后面的。。。我和另一个人都是先跑前面，不管跑多少次都 ...

你这两个代码的网址都不一样

南归 发表于 2021-8-13 20:30:06

一只魈咸鱼 发表于 2021-8-13 20:14
其实我headers加过了，Cookie我都试了，要不你试试呗。一定要先跑前面的，不然你跑完后面前面 ...

看你这个描述,有点缓存的意思了

大马强 发表于 2021-8-13 20:31:32

一个是第二季的上半，一个是下半，咋会一样呢{:10_249:}
随便一提，下半真水

一只魈咸鱼 发表于 2021-8-13 21:31:50

大马强 发表于 2021-8-13 20:31
一个是第二季的上半，一个是下半，咋会一样呢
随便一提，下半真水

网址好像是错了，但是你试试真的抓不全！！！我把网址也改成一样了，你可以跟他源代码里面的集数对对看
import requests
searchs = {'关于我转生成为史莱姆的那件事第二季':'http://www.yhdm6.com/acg/66382/'}
for search in searchs.items():
    url = search
    res = requests.get(url)
    res.encoding = 'utf-8'
    print(res.text)



import requests
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'}
resp = requests.get('http://www.yhdm6.com/acg/66382/', headers=headers)
print(resp.content.decode('utf8'))

一只魈咸鱼 发表于 2021-8-13 21:35:14

南归 发表于 2021-8-13 20:30
看你这个描述,有点缓存的意思了

我第一次发现这个问题就是对照网页查看源代码发现的不一样，然后论坛有人发了他的代码我第一次运行抓全了，接着我又运行了我的就出问题了。。。只要他的代码是第一次跑，不管跑几次他都全，我的跑一次俩代码都完蛋。 不过我刚才直接运行上面那个也没抓全，我都不知道该怎么说了{:10_266:}

大马强 发表于 2021-8-14 07:09:36

一只魈咸鱼 发表于 2021-8-13 21:31
网址好像是错了，但是你试试真的抓不全！！！我把网址也改成一样了，你可以跟他源代码里面的集数对对看
...

鱼友，你能否细心点，66382是下半的，5659是上半的

大马强 发表于 2021-8-14 07:11:28

一只魈咸鱼 发表于 2021-8-13 21:35
我第一次发现这个问题就是对照网页查看源代码发现的不一样，然后论坛有人发了他的代码我第一次运行抓全了 ...

https://static01.imgkr.com/temp/c5c7e9dd989f47e58b606b856ebad65f.jpg

一只魈咸鱼 发表于 2021-8-14 09:22:04

大马强 发表于 2021-8-14 07:11


大哥我的错，我光看的squeeze两个都315，可能是第一次我就这里搞错了，后面我就靠这个数字判断的两者抓的一样{:5_100:}

大马强 发表于 2021-8-14 09:41:29

一只魈咸鱼 发表于 2021-8-14 09:22
大哥我的错，我光看的squeeze两个都315，可能是第一次我就这里搞错了，后面我就靠这个数字判断的两者抓的 ...

{:10_256:}
页: [1]
查看完整版本: 关于爬虫把url丢字典里数据抓不全