[已解决]爬取豆瓣 电影 标题问题

费小牛

请问如何获取审查元素的电影名称，  我怎么是获得一个空列表？哪里错了了吗

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-6-3 07:45:36

费小牛 发表于 2020-6-2 22:07

你看3L 啊  被无视的赶脚有点不舒服  这样改就可以了

豆瓣有的时候爬到的名称 不是在 a.span里  有的就在a里要加个判断  看代码吧

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. 
   
5. 
   
6. def open_url(url):
   
7.     hearders = {
   
8.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
   
9.     res = requests.get(url, headers=hearders)
   
10.     return res
    
11. 
    
12. 
    
13. def find_depth(res):
    
14.     pass
    
15. 
    
16. 
    
17. def biaoti(res):
    
18.     # 电影名字
    
19.     movies = []
    
20.     req = BeautifulSoup(res.text, 'html.parser')
    
21.     name = req.find_all('div', class_=['pl2'])
    
22.     for each1 in name:
    
23.         if not (each1.a.span):
    
24.             movies.append((each1.a.text).strip())
    
25.             continue
    
26.         movies.append(each1.a.span.text)
    
27.     print(movies)
    
28. 
    
29.     # 评分
    
30.     ranks = []
    
31.     rank = req.find_all('span', class_="rating_nums")
    
32.     for each2 in rank:
    
33.         ranks.append(each2.text)
    
34.     print(ranks)
    
35.     # 内容
    
36.     messages = []
    
37.     message = req.find_all("p", class_=['pl'])
    
38.     for each3 in message:
    
39.         messages.append(each3.text)
    
40. 
    
41.     result = []
    
42.     moveies_num = len(movies)
    
43.     for i in range(moveies_num):
    
44.         title = movies[i] + '->' + ranks[i] + '->' + messages[i] + '\n'
    
45.         result.append(title)
    
46.     print(result)
    
47.     return result
    
48. 
    
49. 
    
50. def main():
    
51.     url = 'https://movie.douban.com/chart'
    
52.     res = open_url(url)
    
53.     nr = biaoti(res)
    
54.     with open('豆瓣本周排行名单.txt','w',encoding='utf-8') as f:
    
55.         for a in nr:
    
56.             f.write(a+'\n')
    
57. main()

复制代码

跳转到最佳答案楼层

suchocolate

发下代码或网页url

Twilight6

改成这样：

1. req.find_all('div',class_=['pl2'])

复制代码

费小牛

suchocolate 发表于 2020-6-2 20:49
发下代码或网页url

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. 
   
5. def open_url(url):
   
6.     hearders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
   
7.     res = requests.get(url,headers=hearders)
   
8.     return res
   
9. 
   
10. def find_depth(res):
    
11.     pass
    
12. 
    
13. def biaoti(res):
    
14.     #电影名字
    
15.     movies = []
    
16.     req = BeautifulSoup(res.text,'html.parser')
    
17.     name = req.find_all('div',class_=['p12'])
    
18.     for each1 in name:
    
19.         movies.append(each1.a.span.text)
    
20.     print(movies)
    
21. 
    
22.     #评分
    
23.     ranks =[]
    
24.     rank = req.find_all('span',class_="rating_nums")
    
25.     for each2 in rank:
    
26.         ranks.append(each2.text)
    
27.     print(ranks)
    
28.     #内容
    
29.     messages =[]
    
30.     message = req.find_all("p", class_="pl")
    
31.     for each3 in message:
    
32.         messages.append(each3.text)
    
33. 
    
34.     result =[]
    
35.     moveies_num = len(movies)
    
36.     for i in range(moveies_num):
    
37.         title = movies[i]+'->'+ranks[i]+'->'+messages[i]+'\n'
    
38.         result.append(title)
    
39.     print(result)
    
40.     return result
    
41. 
    
42. def main():
    
43.     url = 'https://movie.douban.com/chart'
    
44.     res = open_url(url)
    
45.     nr = biaoti(res)
    
46.     with open('豆瓣本周排行名单.txt','w') as f:
    
47.         for a in nr:
    
48.             f.write(nr)
    
49.         

复制代码

听风夜雨

你爬不爬的出来我不知道，但是div的class是等于pl2不是p12。如果你刚学爬虫建议写一点运行一点，不要一股脑写完

Tip0

费小牛 发表于 2020-6-2 22:07

你代码错了，3l的是['pl2'] 你的是p12

Twilight6

费小牛 发表于 2020-6-2 22:07

你看3L 啊  被无视的赶脚有点不舒服  这样改就可以了

豆瓣有的时候爬到的名称 不是在 a.span里  有的就在a里要加个判断  看代码吧

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. 
   
5. 
   
6. def open_url(url):
   
7.     hearders = {
   
8.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
   
9.     res = requests.get(url, headers=hearders)
   
10.     return res
    
11. 
    
12. 
    
13. def find_depth(res):
    
14.     pass
    
15. 
    
16. 
    
17. def biaoti(res):
    
18.     # 电影名字
    
19.     movies = []
    
20.     req = BeautifulSoup(res.text, 'html.parser')
    
21.     name = req.find_all('div', class_=['pl2'])
    
22.     for each1 in name:
    
23.         if not (each1.a.span):
    
24.             movies.append((each1.a.text).strip())
    
25.             continue
    
26.         movies.append(each1.a.span.text)
    
27.     print(movies)
    
28. 
    
29.     # 评分
    
30.     ranks = []
    
31.     rank = req.find_all('span', class_="rating_nums")
    
32.     for each2 in rank:
    
33.         ranks.append(each2.text)
    
34.     print(ranks)
    
35.     # 内容
    
36.     messages = []
    
37.     message = req.find_all("p", class_=['pl'])
    
38.     for each3 in message:
    
39.         messages.append(each3.text)
    
40. 
    
41.     result = []
    
42.     moveies_num = len(movies)
    
43.     for i in range(moveies_num):
    
44.         title = movies[i] + '->' + ranks[i] + '->' + messages[i] + '\n'
    
45.         result.append(title)
    
46.     print(result)
    
47.     return result
    
48. 
    
49. 
    
50. def main():
    
51.     url = 'https://movie.douban.com/chart'
    
52.     res = open_url(url)
    
53.     nr = biaoti(res)
    
54.     with open('豆瓣本周排行名单.txt','w',encoding='utf-8') as f:
    
55.         for a in nr:
    
56.             f.write(a+'\n')
    
57. main()

复制代码

费小牛

Twilight6 发表于 2020-6-3 07:45
你看3L 啊  被无视的赶脚有点不舒服  这样改就可以了

豆瓣有的时候爬到的名称 不是在 a.span里  有的 ...

我没有无视的，我觉得我没有把问题说清楚，索性直接上代码了。感谢大佬的细心解释，我代码中的还有很多错误 也一并帮我修正了 。同时也感谢其他大佬对我的帮助

Twilight6

费小牛 发表于 2020-6-3 12:41
我没有无视的，我觉得我没有把问题说清楚，索性直接上代码了。感谢大佬的细心解释，我代码中的 ...

没事  加油