爬取豆瓣电影排行榜

零度Cc

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import time
   
4. 
   
5. 
   
6. headers = {
   
7.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
   
8. }
   
9. 
   
10. 
    
11. with open('豆瓣电影排行榜.txt', 'w', encoding='utf-8') as file:
    
12.     for page in range(10):
    
13.         url = 'https://movie.douban.com/top250?start={}&filter='.format(page*25)
    
14.         res = requests.get(url, headers=headers)
    
15.         soup = BeautifulSoup(res.text, 'html.parser')
    
16.         for item in soup.select('div.item'):
    
17.             tag = item.select('div.hd a')
    
18.             link = tag[0]['href']  # 地址
    
19.             name = tag[0].select('span.title')[0].text  # 影片名称
    
20.             content = item.select('div.bd p.quote span.inq')  # 简介
    
21.             score = item.select('div.bd div.star span.rating_num')[0].text  # 评分
    
22.             number_of_score = item.select('div.bd div.star')[0].text.split()[-1]  # 评价人数
    
23.             information = item.select('div.bd p')[0].text.split()  # 信息列表
    
24.             if [y for y in information if y.isdigit()]:
    
25.                 year = [y for y in information if y.isdigit()][0] + '年'  # 上映时间
    
26.             else:
    
27.                 year = '暂无数据'
    
28.             if content:  # 判断是否为None
    
29.                 content = content[0].text
    
30.             else:
    
31.                 content = '此影片尚无简介'
    
32. 
    
33.             file.write(f'影片名称:《{name}》\n')
    
34.             file.write(f'上映时间:{year}\n')
    
35.             file.write(f'影片评分:{number_of_score},得分{score}分\n')
    
36.             file.write(f'影片简介:{content}\n')
    
37.             file.write(f'影片地址:{link}\n')
    
38.             file.write('\n')
    
39. 
    
40.         print(f'第{page+1}页爬取完毕')
    
41.         time.sleep(2)
    
42.     else:
    
43.         print('done!')

复制代码

初学爬虫，都在拿TOP250的电影练手，我也来试试
在爬取的过程中有部分页面没有数据（比如年份，简介）可能会导致下标越界等错误，要特殊处理。
尝试用了find_all 以及 css选择器方法（目前只会这两种）。发现CSS选择器好用很多。。