[已解决]爬虫豆瓣top250 没有回复数据 显示有restart

超哥超级爱学习

代码部分：
import requests
import bs4

res = requests.get('https://movie.douban.com/top250')
soup = bs4.BeautifulSoup(res.text,'html.parser')
targets=soup.find_all('div',class_='hd')
for each in targets:
    print(each.a.span.text)
   

返回部分：

最佳答案

月排行榜 / 总排行榜

lixiangyv

2020-1-13 08:21:06

这个网页你没有爬取成功：

1. print(res.status_code)
   
2. 运行结果：
   
3. 418

复制代码

不是200，所以没有爬取成功。
可能是这个网页不让代码去爬，
解决方案就是在获取网页是代码添加头，
代码如下：

1. import requests
   
2. import bs4
   
3. 
   
4. head = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.42 Safari/537.36'}
   
5. res = requests.get('https://movie.douban.com/top250', headers=head)
   
6. soup = bs4.BeautifulSoup(res.text,'html.parser')
   
7. targets=soup.find_all('div',class_='hd')
   
8. for each in targets:
   
9.     print(each.a.span.text)
   

复制代码

跳转到最佳答案楼层

lixiangyv

这个网页你没有爬取成功：

1. print(res.status_code)
   
2. 运行结果：
   
3. 418

复制代码

不是200，所以没有爬取成功。
可能是这个网页不让代码去爬，
解决方案就是在获取网页是代码添加头，
代码如下：

1. import requests
   
2. import bs4
   
3. 
   
4. head = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.42 Safari/537.36'}
   
5. res = requests.get('https://movie.douban.com/top250', headers=head)
   
6. soup = bs4.BeautifulSoup(res.text,'html.parser')
   
7. targets=soup.find_all('div',class_='hd')
   
8. for each in targets:
   
9.     print(each.a.span.text)
   

复制代码

超哥超级爱学习

lixiangyv 发表于 2020-1-13 08:21
这个网页你没有爬取成功：

不是200，所以没有爬取成功。

大神 再帮忙解答下  
head = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.42 Safari/537.36'} 这个啥意思吧  辛苦大神了

wp231957

超哥超级爱学习 发表于 2020-1-13 10:39
大神 再帮忙解答下  
head = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHT ...

请求头，模拟浏览器

超哥超级爱学习

wp231957 发表于 2020-1-13 10:51
请求头，模拟浏览器

哦哦 也就是让这个浏览器默认是个正常人在浏览网页是吧

wp231957

超哥超级爱学习 发表于 2020-1-13 14:12
哦哦 也就是让这个浏览器默认是个正常人在浏览网页是吧

是让豆瓣的服务器认为你这是从浏览器发出的请求   而不是从爬虫代码发出的请求

超哥超级爱学习

wp231957 发表于 2020-1-13 14:21
是让豆瓣的服务器认为你这是从浏览器发出的请求   而不是从爬虫代码发出的请求

嗯嗯

fgcn007

感谢大神的回复，我已经成功啦。小白一枚！