在IDLE中按照教材输入以下代码，不显示爬取内容

骑毛驴的男人

1. >>> import requests
   
2. >>> res =requests.get("https://movie.douban.com/top250")
   
3. >>> print(res.text)
   
4. 
   
5. >>> import bs4
   
6. >>> soup = bs4.BeautifulSoup(res.text,"html.parser")
   
7. >>> targets = soup.find_all("div",class_="hd")
   
8. >>> for each in targets:
   

复制代码

Twilight6

[b]
加个 headers 参数即可

1. import requests
   
2. import bs4
   
3. header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'}
   
4. res =requests.get("https://movie.douban.com/top250",headers = header)
   
5. soup = bs4.BeautifulSoup(res.text,"html.parser")
   
6. targets = soup.find_all("div",class_="hd")
   
7. 
   
8. 
   
9. for each in targets:
   
10.     print(each.a.span.text)

复制代码

输出结果：

1. 肖申克的救赎
   
2. 霸王别姬
   
3. 阿甘正传
   
4. 这个杀手不太冷
   
5. 泰坦尼克号
   
6. 美丽人生
   
7. 千与千寻
   
8. 辛德勒的名单
   
9. 盗梦空间
   
10. 忠犬八公的故事
    
11. 星际穿越
    
12. 楚门的世界
    
13. 海上钢琴师
    
14. 三傻大闹宝莱坞
    
15. 机器人总动员
    
16. 放牛班的春天
    
17. 大话西游之大圣娶亲
    
18. 疯狂动物城
    
19. 无间道
    
20. 熔炉
    
21. 教父
    
22. 当幸福来敲门
    
23. 龙猫
    
24. 怦然心动
    
25. 控方证人

复制代码

[/b]

骑毛驴的男人

Twilight6 发表于 2021-5-11 17:58
加个 headers 参数即可

谢谢！
我百度了下大概知道headers参数的意思了。
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'}
上面这句能帮忙分解解释下吗？这一句是适用safari， ie 和chrome浏览器的句子吗？

Twilight6

骑毛驴的男人 发表于 2021-5-11 18:13
谢谢！
我百度了下大概知道headers参数的意思了。
header = {'User-Agent':'Mozilla/5.0 (Windows NT 1 ...

浏览器都有各自的 header，header 里面有浏览器的版本号等信息

具体分解我不太了解，你可以去百度查查

这里的头我用的是我谷歌浏览器的，加上这个参数就可以让爬虫初步伪装成一个浏览器去访问

南归

模拟浏览器,是啥游览器无所谓