[已解决]爬虫求助

lsykkk

import requests
>>> res=requests.get('https://movie.douban.com/top250')
>>> print(res.text)

>>> import bs4
>>> soup=bs4.BeautifulSoup(res.text,'html.parser')
>>> targets=soup.find_all('dic',class_='hd')
>>> for each in targets:
        print(each.a.span.text)
输进去之后都没有反应 网络正常

最佳答案

月排行榜 / 总排行榜

柿子饼同学

2021-2-27 16:05:27

柿子饼同学 发表于 2021-2-27 16:03
你这是爬虫程序，可能会对网站造成负担（比如你爬很多数据）所以豆瓣有反爬虫机制，headers的用处就是把 ...

headers={"User-Agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0"}

跳转到最佳答案楼层

suchocolate

加headers

headers={'user-agent': 'Mozilla'}
res=requests.get('https://movie.douban.com/top250', headers=headers)

lsykkk

suchocolate 发表于 2021-2-27 15:14
加headers

这是什么原因呢

柿子饼同学

lsykkk 发表于 2021-2-27 15:28
这是什么原因呢

你这是爬虫程序，可能会对网站造成负担（比如你爬很多数据）所以豆瓣有反爬虫机制，headers的用处就是把爬虫伪装成人类正常访问，这样程序就可以跑了

柿子饼同学

柿子饼同学 发表于 2021-2-27 16:03
你这是爬虫程序，可能会对网站造成负担（比如你爬很多数据）所以豆瓣有反爬虫机制，headers的用处就是把 ...

headers={"User-Agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0"}