[已解决]求爬虫代码：查询豆瓣网站近10年电影的名称、档期数据（截至2020年12月）

haoliang9324

RT    求爬虫代码：查询豆瓣网站近10年电影的名称、档期数据（截至2020年12月）

2010年1月-2020年12月   

最终数据保存在excel中，谢谢大佬们~~~

最佳答案

月排行榜 / 总排行榜

xcsummer

2021-3-30 17:12:02

1. # -*- encoding = utf-8 -*-
   
2. #@Time : 2020/9/5 11:30
   
3. #@Author : XC
   
4. #@File : movie_rank.py
   
5. #@Software : pycharm
   
6. 
   
7. import requests
   
8. from bs4 import BeautifulSoup
   
9. from lxml import etree
   
10. import xlwt
    
11. import time
    
12. import os
    
13. 
    
14. 
    
15. #1,获取一个网页
    
16. def gethtml(url):
    
17.     try:
    
18.         header = {'User-agent': "Mozilla/5.0 (Windows NT 6.3; Win64; x64) "
    
19.                                 "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36"
    
20.                     }
    
21.         html = requests.get(url=url,headers=header)
    
22.         html.raise_for_status()
    
23.         html.encoding = html.apparent_encoding
    
24.         return html.text
    
25.     except:
    
26.         print("解析异常")
    
27. 
    
28. #2，解析多个网页内容，提取要素---用 bs4 和 正则表达式 分析数据
    
29. def analysis(baseurl):
    
30.     for i in range(page):
    
31.         url = baseurl + str(i * 25)
    
32.         html = gethtml(url)                  #函数嵌套
    
33.         bs = BeautifulSoup(html,"html.parser")
    
34. 
    
35.         #找到一个电影的完整的信息
    
36.         for item in bs.find_all('div',class_="item"):
    
37.             item = str(item)                               #可以直接用xpath解析出所有的item，然后在每个item中解析
    
38.             data = []       #一个电影的完整信息
    
39.             #构建xpath对象
    
40.             demo_item = etree.HTML(item)
    
41. 
    
42.             link = demo_item.xpath('//div[@class="hd"]/a/@href')
    
43.             data.append(link[0])
    
44. 
    
45.             pic = demo_item.xpath('//div[@class="pic"]/a/img/@src')
    
46.             data.append(pic[0])
    
47. 
    
48.             cname = demo_item.xpath('//div[@class="hd"]/a/span[1]/text()')
    
49.             data.append(cname[0])
    
50. 
    
51.             oname = demo_item.xpath('//div[@class="hd"]/a/span[2]/text()')     #判断外文名为空
    
52.             if len(oname) != 0:
    
53.                 data.append(oname[0])
    
54.             else:
    
55.                 data.append('')
    
56. 
    
57.             inp1 = demo_item.xpath('//div[@class="bd"]/p[1]/text()[1]')      #可能为空
    
58.             if len(inp1) != 0:
    
59.                 inp1[0] = inp1[0].replace(' ','').replace(r'\n','')
    
60.                 data.append(inp1[0])
    
61.             else:
    
62.                 data.append('')
    
63. 
    
64.             inp2 = demo_item.xpath('//div[@class="bd"]/p[1]/text()[2]')       #可能为空
    
65.             if len(inp2) != 0:
    
66.                 inp2[0] = inp2[0].replace(' ', '').replace(r'\n', '')
    
67.                 data.append(inp2[0])
    
68.             else:
    
69.                 data.append('')
    
70. 
    
71.             score = demo_item.xpath('//div[contains(@class,"star")]/span[2]/text()')
    
72.             data.append(score[0])
    
73. 
    
74.             express = demo_item.xpath('//div[contains(@class,"star")]/span[last()]/text()')
    
75.             express[0] = express[0].replace('人评价','')
    
76.             data.append(express[0])
    
77. 
    
78.             last = demo_item.xpath('//div[@class="bd"]/p[2]/span/text()')      #可能为空
    
79.             if len(last) != 0:
    
80.                 last[0] = last[0].replace('。','')
    
81.                 data.append(last[0])
    
82.             else:
    
83.                 data.append('')
    
84. 
    
85.             yield data        #一部电影的所有的信息
    
86. 
    
87. #3，保存
    
88. def save(path):
    
89.     wb = xlwt.Workbook(encoding='utf-8')
    
90.     ws = wb.add_sheet('sheet',cell_overwrite_ok=True)
    
91.     num = 1
    
92.     col = ['链接','图片','中文名','外文名','概况','类型','评分','评价数','介绍']
    
93.     for i in range(9):
    
94.         ws.write(0,i,col[i])    #记录表头
    
95. 
    
96.     for each in analysis(baseurl=baseurl):    #实现生成器传值翻页处理,each表示一个电影的全部信息
    
97.         print('开始爬取...')
    
98.         for element in each:         #element表示一个电影的各个元素
    
99.             print(num,each.index(element),element)
    
100.             ws.write(num,each.index(element),element)
     
101.             if each.index(element) == 1:
     
102.             #     pic_html = gethtml(element)
     
103.             #     with open(element[2],'wb') as f:
     
104.             #         f.write(pic_html)
     
105.             #         f.close()
     
106.             #         print('save success! the %d picture' % num )
     
107.                 putpic(each[2],element)
     
108.                 print('第 %d 张图片保存成功！' % num )
     
109.         num += 1
     
110.         wb.save(path)
     
111.         print("保存成功 %d 个电影信息" % (num-1) )
     
112. 
     
113. 
     
114. """输出图片"""
     
115. def putpic(pic_name, pic_url, root="G://pic//"):  # root为保存文件的位置
     
116.     file_name = pic_name
     
117.     pic_path = root + file_name + '.jpg'
     
118.     try:
     
119.         if not os.path.exists(root):
     
120.             os.mkdir(root)
     
121.         else:
     
122.             if not os.path.exists(pic_path):
     
123.                 response = requests.get(pic_url)
     
124.                 with open(pic_path, 'wb') as f:
     
125.                     f.write(response.content)
     
126.                     time.sleep(0.2)
     
127.                     f.close()
     
128.     except:
     
129.         pass
     
130. 
     
131. if __name__ == '__main__':
     
132.     #init
     
133.     baseurl = 'https://movie.douban.com/top250?start='
     
134.     page = 1                                          #只有十页豆瓣网页
     
135.     save(path='movie_douban_2.xls')
     
136. 
     
137. 
     
138.     #实现了从一个网页中打开和爬取多个网页的信息，从一个网页中爬取到主要的列表信息，以及每一信息对应的图片。

复制代码

运行结果如下图：

跳转到最佳答案楼层

z5560636

偷懒， 坐等别人帮你写。

haoliang9324

z5560636 发表于 2021-3-30 15:00
偷懒， 坐等别人帮你写。

自己慢慢研究中  哈哈哈

xcsummer

1. # -*- encoding = utf-8 -*-
   
2. #@Time : 2020/9/5 11:30
   
3. #@Author : XC
   
4. #@File : movie_rank.py
   
5. #@Software : pycharm
   
6. 
   
7. import requests
   
8. from bs4 import BeautifulSoup
   
9. from lxml import etree
   
10. import xlwt
    
11. import time
    
12. import os
    
13. 
    
14. 
    
15. #1,获取一个网页
    
16. def gethtml(url):
    
17.     try:
    
18.         header = {'User-agent': "Mozilla/5.0 (Windows NT 6.3; Win64; x64) "
    
19.                                 "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36"
    
20.                     }
    
21.         html = requests.get(url=url,headers=header)
    
22.         html.raise_for_status()
    
23.         html.encoding = html.apparent_encoding
    
24.         return html.text
    
25.     except:
    
26.         print("解析异常")
    
27. 
    
28. #2，解析多个网页内容，提取要素---用 bs4 和 正则表达式 分析数据
    
29. def analysis(baseurl):
    
30.     for i in range(page):
    
31.         url = baseurl + str(i * 25)
    
32.         html = gethtml(url)                  #函数嵌套
    
33.         bs = BeautifulSoup(html,"html.parser")
    
34. 
    
35.         #找到一个电影的完整的信息
    
36.         for item in bs.find_all('div',class_="item"):
    
37.             item = str(item)                               #可以直接用xpath解析出所有的item，然后在每个item中解析
    
38.             data = []       #一个电影的完整信息
    
39.             #构建xpath对象
    
40.             demo_item = etree.HTML(item)
    
41. 
    
42.             link = demo_item.xpath('//div[@class="hd"]/a/@href')
    
43.             data.append(link[0])
    
44. 
    
45.             pic = demo_item.xpath('//div[@class="pic"]/a/img/@src')
    
46.             data.append(pic[0])
    
47. 
    
48.             cname = demo_item.xpath('//div[@class="hd"]/a/span[1]/text()')
    
49.             data.append(cname[0])
    
50. 
    
51.             oname = demo_item.xpath('//div[@class="hd"]/a/span[2]/text()')     #判断外文名为空
    
52.             if len(oname) != 0:
    
53.                 data.append(oname[0])
    
54.             else:
    
55.                 data.append('')
    
56. 
    
57.             inp1 = demo_item.xpath('//div[@class="bd"]/p[1]/text()[1]')      #可能为空
    
58.             if len(inp1) != 0:
    
59.                 inp1[0] = inp1[0].replace(' ','').replace(r'\n','')
    
60.                 data.append(inp1[0])
    
61.             else:
    
62.                 data.append('')
    
63. 
    
64.             inp2 = demo_item.xpath('//div[@class="bd"]/p[1]/text()[2]')       #可能为空
    
65.             if len(inp2) != 0:
    
66.                 inp2[0] = inp2[0].replace(' ', '').replace(r'\n', '')
    
67.                 data.append(inp2[0])
    
68.             else:
    
69.                 data.append('')
    
70. 
    
71.             score = demo_item.xpath('//div[contains(@class,"star")]/span[2]/text()')
    
72.             data.append(score[0])
    
73. 
    
74.             express = demo_item.xpath('//div[contains(@class,"star")]/span[last()]/text()')
    
75.             express[0] = express[0].replace('人评价','')
    
76.             data.append(express[0])
    
77. 
    
78.             last = demo_item.xpath('//div[@class="bd"]/p[2]/span/text()')      #可能为空
    
79.             if len(last) != 0:
    
80.                 last[0] = last[0].replace('。','')
    
81.                 data.append(last[0])
    
82.             else:
    
83.                 data.append('')
    
84. 
    
85.             yield data        #一部电影的所有的信息
    
86. 
    
87. #3，保存
    
88. def save(path):
    
89.     wb = xlwt.Workbook(encoding='utf-8')
    
90.     ws = wb.add_sheet('sheet',cell_overwrite_ok=True)
    
91.     num = 1
    
92.     col = ['链接','图片','中文名','外文名','概况','类型','评分','评价数','介绍']
    
93.     for i in range(9):
    
94.         ws.write(0,i,col[i])    #记录表头
    
95. 
    
96.     for each in analysis(baseurl=baseurl):    #实现生成器传值翻页处理,each表示一个电影的全部信息
    
97.         print('开始爬取...')
    
98.         for element in each:         #element表示一个电影的各个元素
    
99.             print(num,each.index(element),element)
    
100.             ws.write(num,each.index(element),element)
     
101.             if each.index(element) == 1:
     
102.             #     pic_html = gethtml(element)
     
103.             #     with open(element[2],'wb') as f:
     
104.             #         f.write(pic_html)
     
105.             #         f.close()
     
106.             #         print('save success! the %d picture' % num )
     
107.                 putpic(each[2],element)
     
108.                 print('第 %d 张图片保存成功！' % num )
     
109.         num += 1
     
110.         wb.save(path)
     
111.         print("保存成功 %d 个电影信息" % (num-1) )
     
112. 
     
113. 
     
114. """输出图片"""
     
115. def putpic(pic_name, pic_url, root="G://pic//"):  # root为保存文件的位置
     
116.     file_name = pic_name
     
117.     pic_path = root + file_name + '.jpg'
     
118.     try:
     
119.         if not os.path.exists(root):
     
120.             os.mkdir(root)
     
121.         else:
     
122.             if not os.path.exists(pic_path):
     
123.                 response = requests.get(pic_url)
     
124.                 with open(pic_path, 'wb') as f:
     
125.                     f.write(response.content)
     
126.                     time.sleep(0.2)
     
127.                     f.close()
     
128.     except:
     
129.         pass
     
130. 
     
131. if __name__ == '__main__':
     
132.     #init
     
133.     baseurl = 'https://movie.douban.com/top250?start='
     
134.     page = 1                                          #只有十页豆瓣网页
     
135.     save(path='movie_douban_2.xls')
     
136. 
     
137. 
     
138.     #实现了从一个网页中打开和爬取多个网页的信息，从一个网页中爬取到主要的列表信息，以及每一信息对应的图片。

复制代码

运行结果如下图：

cong_zai

6666