requests模块和正则表达式爬豆瓣电影top250

wcq15759797758

复盘爬虫（一）

1. import re
   
2. import requests
   
3. 
   
4. def main(url):
   
5.     headers = {
   
6.         'User-Agent': ('Mozilla/5.0 (compatible; MSIE 9.0; '
   
7.                        'Windows NT 6.1; Win64; x64; Trident/5.0)'),
   
8.         }
   
9.     respomse = requests.get(url=url,headers=headers)
   
10.     respomse.encoding='utf-8'
    
11.     html = respomse.text
    
12.     obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)'
    
13.                      r'</span>.*?<p class="">.*?<br>(?P<year>.*?)&nbsp.*?<span class="rating_num" property="v:average">(?P<PF>.*?)</span>',re.S)
    
14.     resulf = obj.finditer(html)
    
15.     for i in resulf:
    
16.         '''print(i.group('name'))
    
17.         print(i.group('year').strip())
    
18.         print(i.group('PF'))
    
19.         '''
    
20.         item = {}
    
21.         item['name'] = i.group('name')
    
22.         item['year'] = i.group('year').strip()
    
23.         item['评分'] = i.group('PF')
    
24.         print(item)
    
25. 
    
26. if __name__ == '__main__':
    
27.     for page in range(0,275,25):
    
28.         url = f'https://movie.douban.com/top250?start={page}'
    
29.         main(url=url,headers=headers)

复制代码

amazed

666666666666666666

myqf123

hornwong

1molHF

burntlime

kerln888

超级无敌磊果果

fendou501

response是故意写成respomse来气我们强迫症吗

1271425661

山迟ovo

AlexTao

copy and paste... but failed....

ENHEN

最后一行headers=headers是不是多出来的实参，不删掉运行不了

                               
登录/注册后可看大图

liuliu2

学到了！！！！！！！！！