[已解决]效率革命爬虫篇的第一个简单例子运行不了

一个账号

就是运行之后什么都没有，刚刚调试了一下，好像执行到第 7 行就不执行了，这是为什么？

代码如下：

1. import requests
   
2. import bs4
   
3. 
   
4. res = requests.get("https://movie.douban.com/top250")
   
5. soup = bs4.BeautifulSoup(res.text, "html.parser")
   
6. targets = soup.find_all("div", _class="hd")
   
7. for each in targets:
   
8.     print(each.a.span.text)

复制代码

图片：

最佳答案

月排行榜 / 总排行榜

zltzlt

2020-2-8 21:57:12

一个账号 发表于 2020-2-8 21:55
在我这里不行

这样呢？

1. import requests
   
2. import bs4
   
3. 
   
4. res = requests.get("https://movie.douban.com/top250", headers={
   
5.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
   
6.                   "(KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36"})
   
7. 
   
8. soup = bs4.BeautifulSoup(res.text, "html.parser")
   
9. targets = soup.find_all("div", class_="hd")
   
10. for each in targets:
    
11.     print(each.a.span.text)

复制代码

跳转到最佳答案楼层

zltzlt

原来的例子已经不适用了。

一个账号

zltzlt 发表于 2020-2-8 21:50
原来的例子已经不适用了。

为什么？

zltzlt

网站增加了反爬虫机制。

wp231957

一个账号 发表于 2020-2-8 21:50
为什么？

headers？？？哪去了

一个账号

zltzlt 发表于 2020-2-8 21:51
网站增加了反爬虫机制。

怎么又是这句话

zltzlt

这样就可以了：

1. import requests
   
2. import bs4
   
3. 
   
4. res = requests.get("https://movie.douban.com/top250", headers={"User-Agent": "Mozilla/5.0"})
   
5. 
   
6. soup = bs4.BeautifulSoup(res.text, "html.parser")
   
7. targets = soup.find_all("div", class_="hd")
   
8. for each in targets:
   
9.     print(each.a.span.text)

复制代码

一个账号

zltzlt 发表于 2020-2-8 21:52
这样就可以了：

那个 user-agent 在我这里找不到

zltzlt

一个账号 发表于 2020-2-8 21:54
那个 user-agent 在我这里找不到

在我这里用那段代码是可以的。

一个账号

zltzlt 发表于 2020-2-8 21:54
在我这里用那段代码是可以的。

在我这里不行

zltzlt

一个账号 发表于 2020-2-8 21:55
在我这里不行

这样呢？

1. import requests
   
2. import bs4
   
3. 
   
4. res = requests.get("https://movie.douban.com/top250", headers={
   
5.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
   
6.                   "(KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36"})
   
7. 
   
8. soup = bs4.BeautifulSoup(res.text, "html.parser")
   
9. targets = soup.find_all("div", class_="hd")
   
10. for each in targets:
    
11.     print(each.a.span.text)

复制代码

一个账号

zltzlt 发表于 2020-2-8 21:57
这样呢？

这样就可以了，谢谢。

你那个 User-Agent 到底实在哪的，我找到的运行不了，截个图，谢谢。

zltzlt

一个账号 发表于 2020-2-8 21:59
这样就可以了，谢谢。

你那个 User-Agent 到底实在哪的，我找到的运行不了，截个图，谢谢。

一个账号

zltzlt 发表于 2020-2-8 22:00

哪个文件？

zltzlt

一个账号 发表于 2020-2-8 22:01
哪个文件？

审查元素

一个账号

zltzlt 发表于 2020-2-8 22:02
审查元素

我是说这个：

zltzlt

一个账号 发表于 2020-2-8 22:03
我是说这个：

随便点击一个文件，找到 Requests Header

一个账号

zltzlt 发表于 2020-2-8 22:04
随便点击一个文件，找到 Requests Header

评分理由不小心打错字了，是"谢了"