[已解决]【爬取豆瓣TOP250电影排行榜】代码运行不出结果

xiangzhihengkan

1. import requests
   
2. import bs4
   
3. 
   
4. url = "https://movie.douban.com/top250"
   
5. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/72.0'}
   
6. rs = requests.get(url,headers)
   
7. soup = bs4.BeautifulSoup(rs.text,"html.parser")
   
8. targets = soup.find_all("div",class_="hd")
   
9. for each in targets:
   
10.     print(each.a.span.text)

复制代码

有人在弹幕中说要加headers，我加了之后仍然运行不出结果。
像图中

                               
登录/注册后可看大图

自己检查之后发现，targets只是一个空列表。
求大佬解释一下这是怎么回事？？

最佳答案

月排行榜 / 总排行榜

zltzlt

2020-2-8 22:01:26

这样就可以了。

1. import requests
   
2. import bs4
   
3. 
   
4. url = "https://movie.douban.com/top250"
   
5. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;) Gecko/20100101 Firefox/72.0'}
   
6. rs = requests.get(url, headers=headers)
   
7. soup = bs4.BeautifulSoup(rs.text, "html.parser")
   
8. targets = soup.find_all("div", class_="hd")
   
9. for each in targets:
   
10.     print(each.a.span.text)

复制代码

跳转到最佳答案楼层

xiangzhihengkan

在线求助

zltzlt

这样就可以了。

1. import requests
   
2. import bs4
   
3. 
   
4. url = "https://movie.douban.com/top250"
   
5. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;) Gecko/20100101 Firefox/72.0'}
   
6. rs = requests.get(url, headers=headers)
   
7. soup = bs4.BeautifulSoup(rs.text, "html.parser")
   
8. targets = soup.find_all("div", class_="hd")
   
9. for each in targets:
   
10.     print(each.a.span.text)

复制代码

xiangzhihengkan

zltzlt 发表于 2020-2-8 22:01
这样就可以了。

可是我这里报错了
这一行rs = requests.get(url, headers=headers)

zltzlt

xiangzhihengkan 发表于 2020-2-8 22:03
可是我这里报错了
这一行rs = requests.get(url, headers=headers)

我这里没有哦。

这样试试？

1. import requests
   
2. import bs4
   
3. 
   
4. url = "https://movie.douban.com/top250"
   
5. headers = {'User-Agent': 'Mozilla/5.0'}
   
6. rs = requests.get(url, headers=headers)
   
7. soup = bs4.BeautifulSoup(rs.text, "html.parser")
   
8. targets = soup.find_all("div", class_="hd")
   
9. for each in targets:
   
10.     print(each.a.span.text)

复制代码

xiangzhihengkan

zltzlt 发表于 2020-2-8 22:05
我这里没有哦。

这样试试？

可以了，请问能解释一下这是为什么吗？

zltzlt

xiangzhihengkan 发表于 2020-2-8 22:07
可以了，请问能解释一下这是为什么吗？

不清楚，在我这里两段代码都能正常执行的。

xiangzhihengkan

zltzlt 发表于 2020-2-8 22:09
不清楚，在我这里两段代码都能正常执行的。

嗯好，谢谢