豆瓣250爬取数据并制成excel（待续）

snail:)

1. import requests
   
2. import re
   
3. import bs4
   
4. import openpyxl
   
5. #获得网页源码(未转码)
   
6. def open_url(url):
   
7.     headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
   
8.     html = requests.get(url,headers = headers)
   
9.     return html
   
10. 
    
11. def  find_movies(html):
    
12.     soup = bs4.BeautifulSoup(html.text,'html.parser')#html.text是requests模块里面的自动解码功能，解码为文本的形式（自动匹配源码的编码形式）
    
13.     movies = soup.find_all('div',class_ = 'hd')
    
14.     movie = []#用于保存电影民称
    
15.     for each in movies:
    
16.         movie.append(each.a.span.text)
    
17.     pop = []#用于保存评价人数
    
18.     rate = []#用于保存评分信息
    
19.     rates = soup.find_all('div',class_='star')
    
20.     for each in rates:
    
21.         rate.append(each.text.split('\n')[2])
    
22.         pop.append(re.search(r'\d+',each.text.split('\n')[4]).group())
    
23.         #group 用来读取数据re.search()，#暂时理解为类对象，group()方法访问类对象里面的变量
    
24.         
    
25.     jianjie = []#保存电影简介
    
26.     jianjies = soup.find_all('div',class_='bd')
    
27.     for each in jianjies:
    
28.         '''
    
29.         这里我看了原网址的代码，因为jianjies里面还有有些其他不是简介的内容也被包括进去了，所以下面需要一个容错的表达
    
30.         '''
    
31.         try:
    
32.             jianjie.append(each.p.text.split('\n')[1].strip()+each.p.text.split('\n')[2].strip())#strip()函数去前后空格
    
33.         except:
    
34.             continue
    
35.     result = []
    
36.     i = len(movie)
    
37.     for n in range(i):
    
38.         result.append([movie[n],rate[n],pop[n],jianjie[n]])#往excel里添加数据需要是列表的形式
    
39.     return result
    
40. def save_to_excel(result):
    
41.     '''
    
42.     将数据保存到excel中
    
43.     '''
    
44.     wb = openpyxl.Workbook()
    
45.     ws = wb.active
    
46. 
    
47.     ws['A1'] = "电影名称"
    
48.     ws['B1'] = '评分'
    
49.     ws['C1'] = "评价人数"
    
50.     ws['D1'] = "资料"
    
51. 
    
52.     for each in result:
    
53.         ws.append(each)
    
54. 
    
55.     wb.save("豆瓣TOP250电影.xlsx")
    
56. url = 'https://movie.douban.com/top250'
    
57. html = open_url(url)
    
58. result = find_movies(html)
    
59. save_to_excel(result)
    
60. 
    

复制代码

这里还未把其他几页放进去，因为找页数的方法不是很明白需要继续学习。。。

冷月无痕

令狐陈

好好

18975173112

学习中