lsykkk 发表于 2021-2-27 13:48:23

爬虫求助

import requests
>>> res=requests.get('https://movie.douban.com/top250')
>>> print(res.text)

>>> import bs4
>>> soup=bs4.BeautifulSoup(res.text,'html.parser')
>>> targets=soup.find_all('dic',class_='hd')
>>> for each in targets:
        print(each.a.span.text)
输进去之后都没有反应 网络正常

suchocolate 发表于 2021-2-27 15:14:53

加headers
headers={'user-agent': 'Mozilla'}
res=requests.get('https://movie.douban.com/top250', headers=headers)

lsykkk 发表于 2021-2-27 15:28:44

suchocolate 发表于 2021-2-27 15:14
加headers

这是什么原因呢

柿子饼同学 发表于 2021-2-27 16:03:12

lsykkk 发表于 2021-2-27 15:28
这是什么原因呢

你这是爬虫程序，可能会对网站造成负担（比如你爬很多数据）所以豆瓣有反爬虫机制，headers的用处就是把爬虫伪装成人类正常访问，这样程序就可以跑了{:10_256:}

柿子饼同学 发表于 2021-2-27 16:05:27

柿子饼同学 发表于 2021-2-27 16:03
你这是爬虫程序，可能会对网站造成负担（比如你爬很多数据）所以豆瓣有反爬虫机制，headers的用处就是把 ...

headers={"User-Agent":
      "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0"}
页: [1]
查看完整版本: 爬虫求助