爬虫爬豆瓣top250为啥print不出来？

玄易安

1. import requests
   
2. import bs4
   
3. res = requests.get('http://movie.douban.com/top250')
   
4. soup = bs4.BeautifulSoup(res.text,'html.parser')
   
5. targets = soup.find_all('div',class_='hd')
   
6. for each in targets:
   
7.     print(each.a.span.text)
   
8. 
   

复制代码

这是跟着视频弄的代码

1. ====================== RESTART: C:/Users/玄易安/Desktop/爬虫.py =====================
   
2. >>>
   

复制代码

这是运行结果
咋回事啊？懵逼，求助大佬

wp231957

没头（headers）

玄易安

wp231957 发表于 2020-1-31 16:48
没头（headers）

那该咋办嘞

wp231957

玄易安 发表于 2020-1-31 19:15
那该咋办嘞

查一下豆瓣的头，填上
或者网上搜一下，大部分头都是通用的
在get.url里面填上headers=headers

v.ki

估计现在各大网站对爬虫比较不友好，加个头和ip 试试

kokoFC

玄易安 发表于 2020-1-31 19:15
那该咋办嘞

1. import requests
   
2. import bs4
   
3. headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
   
4. res = requests.get('http://movie.douban.com/top250', headers=headers)

复制代码

这样加个头，他就能访问了，不加头被服务器看到不是正常访问所以拒绝了你，改头换脸了服务器就放行了的

shyu126

学习了。。。。。。。。。