鱼C论坛

 找回密码
 立即注册
查看: 1895|回复: 4

[已解决]求爬虫代码:查询豆瓣网站近10年电影的名称、档期数据(截至2020年12月)

[复制链接]
发表于 2021-3-30 14:26:01 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
RT    求爬虫代码:查询豆瓣网站近10年电影的名称、档期数据(截至2020年12月)

2010年1月-2020年12月   

最终数据保存在excel中,谢谢大佬们~~~
最佳答案
2021-3-30 17:12:02
  1. # -*- encoding = utf-8 -*-
  2. #@Time : 2020/9/5 11:30
  3. #@Author : XC
  4. #@File : movie_rank.py
  5. #@Software : pycharm

  6. import requests
  7. from bs4 import BeautifulSoup
  8. from lxml import etree
  9. import xlwt
  10. import time
  11. import os


  12. #1,获取一个网页
  13. def gethtml(url):
  14.     try:
  15.         header = {'User-agent': "Mozilla/5.0 (Windows NT 6.3; Win64; x64) "
  16.                                 "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36"
  17.                     }
  18.         html = requests.get(url=url,headers=header)
  19.         html.raise_for_status()
  20.         html.encoding = html.apparent_encoding
  21.         return html.text
  22.     except:
  23.         print("解析异常")

  24. #2,解析多个网页内容,提取要素---用 bs4 和 正则表达式 分析数据
  25. def analysis(baseurl):
  26.     for i in range(page):
  27.         url = baseurl + str(i * 25)
  28.         html = gethtml(url)                  #函数嵌套
  29.         bs = BeautifulSoup(html,"html.parser")

  30.         #找到一个电影的完整的信息
  31.         for item in bs.find_all('div',class_="item"):
  32.             item = str(item)                               #可以直接用xpath解析出所有的item,然后在每个item中解析
  33.             data = []       #一个电影的完整信息
  34.             #构建xpath对象
  35.             demo_item = etree.HTML(item)

  36.             link = demo_item.xpath('//div[@class="hd"]/a/@href')
  37.             data.append(link[0])

  38.             pic = demo_item.xpath('//div[@class="pic"]/a/img/@src')
  39.             data.append(pic[0])

  40.             cname = demo_item.xpath('//div[@class="hd"]/a/span[1]/text()')
  41.             data.append(cname[0])

  42.             oname = demo_item.xpath('//div[@class="hd"]/a/span[2]/text()')     #判断外文名为空
  43.             if len(oname) != 0:
  44.                 data.append(oname[0])
  45.             else:
  46.                 data.append('')

  47.             inp1 = demo_item.xpath('//div[@class="bd"]/p[1]/text()[1]')      #可能为空
  48.             if len(inp1) != 0:
  49.                 inp1[0] = inp1[0].replace(' ','').replace(r'\n','')
  50.                 data.append(inp1[0])
  51.             else:
  52.                 data.append('')

  53.             inp2 = demo_item.xpath('//div[@class="bd"]/p[1]/text()[2]')       #可能为空
  54.             if len(inp2) != 0:
  55.                 inp2[0] = inp2[0].replace(' ', '').replace(r'\n', '')
  56.                 data.append(inp2[0])
  57.             else:
  58.                 data.append('')

  59.             score = demo_item.xpath('//div[contains(@class,"star")]/span[2]/text()')
  60.             data.append(score[0])

  61.             express = demo_item.xpath('//div[contains(@class,"star")]/span[last()]/text()')
  62.             express[0] = express[0].replace('人评价','')
  63.             data.append(express[0])

  64.             last = demo_item.xpath('//div[@class="bd"]/p[2]/span/text()')      #可能为空
  65.             if len(last) != 0:
  66.                 last[0] = last[0].replace('。','')
  67.                 data.append(last[0])
  68.             else:
  69.                 data.append('')

  70.             yield data        #一部电影的所有的信息

  71. #3,保存
  72. def save(path):
  73.     wb = xlwt.Workbook(encoding='utf-8')
  74.     ws = wb.add_sheet('sheet',cell_overwrite_ok=True)
  75.     num = 1
  76.     col = ['链接','图片','中文名','外文名','概况','类型','评分','评价数','介绍']
  77.     for i in range(9):
  78.         ws.write(0,i,col[i])    #记录表头

  79.     for each in analysis(baseurl=baseurl):    #实现生成器传值翻页处理,each表示一个电影的全部信息
  80.         print('开始爬取...')
  81.         for element in each:         #element表示一个电影的各个元素
  82.             print(num,each.index(element),element)
  83.             ws.write(num,each.index(element),element)
  84.             if each.index(element) == 1:
  85.             #     pic_html = gethtml(element)
  86.             #     with open(element[2],'wb') as f:
  87.             #         f.write(pic_html)
  88.             #         f.close()
  89.             #         print('save success! the %d picture' % num )
  90.                 putpic(each[2],element)
  91.                 print('第 %d 张图片保存成功!' % num )
  92.         num += 1
  93.         wb.save(path)
  94.         print("保存成功 %d 个电影信息" % (num-1) )


  95. """输出图片"""
  96. def putpic(pic_name, pic_url, root="G://pic//"):  # root为保存文件的位置
  97.     file_name = pic_name
  98.     pic_path = root + file_name + '.jpg'
  99.     try:
  100.         if not os.path.exists(root):
  101.             os.mkdir(root)
  102.         else:
  103.             if not os.path.exists(pic_path):
  104.                 response = requests.get(pic_url)
  105.                 with open(pic_path, 'wb') as f:
  106.                     f.write(response.content)
  107.                     time.sleep(0.2)
  108.                     f.close()
  109.     except:
  110.         pass

  111. if __name__ == '__main__':
  112.     #init
  113.     baseurl = 'https://movie.douban.com/top250?start='
  114.     page = 1                                          #只有十页豆瓣网页
  115.     save(path='movie_douban_2.xls')


  116.     #实现了从一个网页中打开和爬取多个网页的信息,从一个网页中爬取到主要的列表信息,以及每一信息对应的图片。
复制代码


运行结果如下图:
QQ图片20210330170643.png
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2021-3-30 15:00:20 | 显示全部楼层
偷懒, 坐等别人帮你写。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2021-3-30 15:51:32 | 显示全部楼层
z5560636 发表于 2021-3-30 15:00
偷懒, 坐等别人帮你写。

自己慢慢研究中  哈哈哈
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-3-30 17:12:02 | 显示全部楼层    本楼为最佳答案   
  1. # -*- encoding = utf-8 -*-
  2. #@Time : 2020/9/5 11:30
  3. #@Author : XC
  4. #@File : movie_rank.py
  5. #@Software : pycharm

  6. import requests
  7. from bs4 import BeautifulSoup
  8. from lxml import etree
  9. import xlwt
  10. import time
  11. import os


  12. #1,获取一个网页
  13. def gethtml(url):
  14.     try:
  15.         header = {'User-agent': "Mozilla/5.0 (Windows NT 6.3; Win64; x64) "
  16.                                 "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36"
  17.                     }
  18.         html = requests.get(url=url,headers=header)
  19.         html.raise_for_status()
  20.         html.encoding = html.apparent_encoding
  21.         return html.text
  22.     except:
  23.         print("解析异常")

  24. #2,解析多个网页内容,提取要素---用 bs4 和 正则表达式 分析数据
  25. def analysis(baseurl):
  26.     for i in range(page):
  27.         url = baseurl + str(i * 25)
  28.         html = gethtml(url)                  #函数嵌套
  29.         bs = BeautifulSoup(html,"html.parser")

  30.         #找到一个电影的完整的信息
  31.         for item in bs.find_all('div',class_="item"):
  32.             item = str(item)                               #可以直接用xpath解析出所有的item,然后在每个item中解析
  33.             data = []       #一个电影的完整信息
  34.             #构建xpath对象
  35.             demo_item = etree.HTML(item)

  36.             link = demo_item.xpath('//div[@class="hd"]/a/@href')
  37.             data.append(link[0])

  38.             pic = demo_item.xpath('//div[@class="pic"]/a/img/@src')
  39.             data.append(pic[0])

  40.             cname = demo_item.xpath('//div[@class="hd"]/a/span[1]/text()')
  41.             data.append(cname[0])

  42.             oname = demo_item.xpath('//div[@class="hd"]/a/span[2]/text()')     #判断外文名为空
  43.             if len(oname) != 0:
  44.                 data.append(oname[0])
  45.             else:
  46.                 data.append('')

  47.             inp1 = demo_item.xpath('//div[@class="bd"]/p[1]/text()[1]')      #可能为空
  48.             if len(inp1) != 0:
  49.                 inp1[0] = inp1[0].replace(' ','').replace(r'\n','')
  50.                 data.append(inp1[0])
  51.             else:
  52.                 data.append('')

  53.             inp2 = demo_item.xpath('//div[@class="bd"]/p[1]/text()[2]')       #可能为空
  54.             if len(inp2) != 0:
  55.                 inp2[0] = inp2[0].replace(' ', '').replace(r'\n', '')
  56.                 data.append(inp2[0])
  57.             else:
  58.                 data.append('')

  59.             score = demo_item.xpath('//div[contains(@class,"star")]/span[2]/text()')
  60.             data.append(score[0])

  61.             express = demo_item.xpath('//div[contains(@class,"star")]/span[last()]/text()')
  62.             express[0] = express[0].replace('人评价','')
  63.             data.append(express[0])

  64.             last = demo_item.xpath('//div[@class="bd"]/p[2]/span/text()')      #可能为空
  65.             if len(last) != 0:
  66.                 last[0] = last[0].replace('。','')
  67.                 data.append(last[0])
  68.             else:
  69.                 data.append('')

  70.             yield data        #一部电影的所有的信息

  71. #3,保存
  72. def save(path):
  73.     wb = xlwt.Workbook(encoding='utf-8')
  74.     ws = wb.add_sheet('sheet',cell_overwrite_ok=True)
  75.     num = 1
  76.     col = ['链接','图片','中文名','外文名','概况','类型','评分','评价数','介绍']
  77.     for i in range(9):
  78.         ws.write(0,i,col[i])    #记录表头

  79.     for each in analysis(baseurl=baseurl):    #实现生成器传值翻页处理,each表示一个电影的全部信息
  80.         print('开始爬取...')
  81.         for element in each:         #element表示一个电影的各个元素
  82.             print(num,each.index(element),element)
  83.             ws.write(num,each.index(element),element)
  84.             if each.index(element) == 1:
  85.             #     pic_html = gethtml(element)
  86.             #     with open(element[2],'wb') as f:
  87.             #         f.write(pic_html)
  88.             #         f.close()
  89.             #         print('save success! the %d picture' % num )
  90.                 putpic(each[2],element)
  91.                 print('第 %d 张图片保存成功!' % num )
  92.         num += 1
  93.         wb.save(path)
  94.         print("保存成功 %d 个电影信息" % (num-1) )


  95. """输出图片"""
  96. def putpic(pic_name, pic_url, root="G://pic//"):  # root为保存文件的位置
  97.     file_name = pic_name
  98.     pic_path = root + file_name + '.jpg'
  99.     try:
  100.         if not os.path.exists(root):
  101.             os.mkdir(root)
  102.         else:
  103.             if not os.path.exists(pic_path):
  104.                 response = requests.get(pic_url)
  105.                 with open(pic_path, 'wb') as f:
  106.                     f.write(response.content)
  107.                     time.sleep(0.2)
  108.                     f.close()
  109.     except:
  110.         pass

  111. if __name__ == '__main__':
  112.     #init
  113.     baseurl = 'https://movie.douban.com/top250?start='
  114.     page = 1                                          #只有十页豆瓣网页
  115.     save(path='movie_douban_2.xls')


  116.     #实现了从一个网页中打开和爬取多个网页的信息,从一个网页中爬取到主要的列表信息,以及每一信息对应的图片。
复制代码


运行结果如下图:
QQ图片20210330170643.png
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-3-30 21:21:45 | 显示全部楼层
6666
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-25 21:57

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表