[已解决]Python爬虫

2079501562

在小甲鱼老师爬虫教程的视频中，有一个爬取豆瓣TOP250电影排行榜的例子
而现在的豆瓣排行榜还有评价，如肖申克的救赎“希望使人自由”

于是产生了顺便爬取评价的想法，代码如下

1. # -*- coding: utf-8 -*-
   
2. """
   
3. Created on Mon Feb  1 09:15:48 2021
   
4. 
   
5. @author: 夏の雪
   
6. """
   
7. import requests
   
8. import bs4
   
9. import os
   
10. class Webpage():
    
11.     def __init__(self,page_num):        
    
12.         self.names = []
    
13.         self.stars = []
    
14.         self.quote = []
    
15.         self.directors = []
    
16.         self.result = []
    
17.         self.years = []
    
18.         headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1;WOW64) AppleWebKit/537.36 (KHTML,like GeCKO) Chrome/45.0.2454.85 Safari/537.36 115Broswer/6.0.3'}
    
19.         page_url = 'https://movie.douban.com/top250?start='+str(25*(page_num-1))+'&filter='
    
20.         self.res = requests.get(page_url,
    
21.                            headers = headers)
    
22.         soup = bs4.BeautifulSoup(self.res.text,'html.parser')
    
23.         names = soup.find_all('div',class_='hd')
    
24.         stars = soup.find_all('span',class_='rating_num' )
    
25.         #quote = soup.find_all('span',class_='inq')
    
26.         years = soup.find_all('div',class_='bd')
    
27.         directors = years
    
28.         
    
29.         
    
30.         for i in names:
    
31.             self.names.append(i.a.span.text)
    
32.         for i in stars:
    
33.             self.stars.append(i.text)
    
34.         '''        
    
35.         for i in quote:
    
36.             if ？？？？:
    
37.                 self.quote.append('评价暂无')
    
38.             else:
    
39.                 self.quote.append(i.text)
    
40.         '''
    
41.         for i in years:
    
42.             try:
    
43.                 self.years.append(i.p.text.split('\n')[2].strip().split('\xa0/')[0])        
    
44.             except:
    
45.                 continue
    
46.         for i in directors:
    
47.             try:
    
48.                 self.directors.append(i.p.text.split('\n')[1].strip().split('\xa0')[0])
    
49.             except:
    
50.                 continue
    
51.             
    
52.     def save(self):
    
53.         for i in range(25):
    
54.             #self.result.append(self.names[i] +' 评分：'+ self.stars[i] + ' ' + self.directors[i] + ' "' + self.quote[i] + '"'  +' 上映时间:' + self.years[i] + '\n')
    
55.             self.result.append(self.names[i] +' 评分：'+ self.stars[i] + ' ' + self.directors[i]  + ' 上映时间:' + self.years[i] + '\n')
    
56.    
    
57. if __name__ == '__main__':
    
58.     '''
    
59.     a = Webpage(8)
    
60.     a.save()
    
61.     for each in a.result:
    
62.         print(each)
    
63.     '''
    
64.     try:
    
65.         os.remove('豆瓣评分top250.txt')
    
66.     except FileNotFoundError:
    
67.         pass
    
68.     for i in range(1,11):
    
69.         a = Webpage(i)
    
70.         a.save()
    
71.         with open('豆瓣评分top250.txt',"a",encoding = "utf-8") as f:
    
72.             for each in a.result:
    
73.                 f.write(each)               

复制代码

程序中注释掉的部分为无法执行的部分，因为第8页开始有的电影并没有评价 ，导致元组的整个出现错误如下图

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-2-1 14:52:07

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7.     base_url = 'https://movie.douban.com/top250?'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     movies = []
   
10.     for x in range(0, 250, 25):
    
11.         url = base_url + f'start={x}'
    
12.         r = requests.get(url, headers=headers)
    
13.         html = etree.HTML(r.text)
    
14.         lis = html.xpath('//ol[@class="grid_view"]/li')
    
15.         for li in lis:
    
16.             m_name = li.xpath('.//div[@class="hd"]/a/span[1]/text()')[0]
    
17.             m_rank = li.xpath('.//div[@class="pic"]/em/text()')[0]
    
18.             m_score = li.xpath('.//div[@class="star"]/span[2]/text()')[0]
    
19.             m_comment = li.xpath('./div/div[2]/div[2]/p[2]/span/text()')  # 获取评价
    
20.             if not m_comment:   # 如果为空
    
21.                 m_comment = '没有评价'   # 写入没有评价
    
22.             else:
    
23.                 m_comment = m_comment[0]   # 如果有值，那么取出内容（因为xpath取出后是列表）
    
24.             movies.append([m_name, m_rank, m_score, m_comment])
    
25.     for i in movies:
    
26.         print(i)
    
27.         print('=' * 100)
    
28. 
    
29. 
    
30. if __name__ == '__main__':
    
31.     main()

复制代码

跳转到最佳答案楼层

2079501562

怎么才能对没有评价的电影进行筛选补上条件，试想为代码中???的位置，筛选出没有评价的地方进行处理呢

°蓝鲤歌蓝

没怎么用过 bs 了，现在都是用 正则。
方法的话就是不要用 find_all 获取一页所有的评价，一个一个获取，再添加到列表里，如果没有评价，则添加一个空字符串。

suchocolate

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7.     base_url = 'https://movie.douban.com/top250?'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     movies = []
   
10.     for x in range(0, 250, 25):
    
11.         url = base_url + f'start={x}'
    
12.         r = requests.get(url, headers=headers)
    
13.         html = etree.HTML(r.text)
    
14.         lis = html.xpath('//ol[@class="grid_view"]/li')
    
15.         for li in lis:
    
16.             m_name = li.xpath('.//div[@class="hd"]/a/span[1]/text()')[0]
    
17.             m_rank = li.xpath('.//div[@class="pic"]/em/text()')[0]
    
18.             m_score = li.xpath('.//div[@class="star"]/span[2]/text()')[0]
    
19.             m_comment = li.xpath('./div/div[2]/div[2]/p[2]/span/text()')  # 获取评价
    
20.             if not m_comment:   # 如果为空
    
21.                 m_comment = '没有评价'   # 写入没有评价
    
22.             else:
    
23.                 m_comment = m_comment[0]   # 如果有值，那么取出内容（因为xpath取出后是列表）
    
24.             movies.append([m_name, m_rank, m_score, m_comment])
    
25.     for i in movies:
    
26.         print(i)
    
27.         print('=' * 100)
    
28. 
    
29. 
    
30. if __name__ == '__main__':
    
31.     main()

复制代码

2079501562

suchocolate 发表于 2021-2-1 14:52

ava感谢鱼油的代码，里面有很多我没有学过的知识，待我研究一番~