设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 怎么把豆瓣爬到的数据放进去一个表格里啊
返回列表 发新帖
查看: 1921|回复: 3

[已解决]怎么把豆瓣爬到的数据放进去一个表格里啊

[复制链接]
贪睡的苏简
发表于 2021-4-6 23:18:36 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
  1. import requests
  2. import bs4
  3. import openpyxl
  4. import os
  5. os.chdir("D:\BianCheng\Pythonwork\爬虫爬出来资料")

  7. header ={}
  8. header['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'

  10. def open_url(url):
  11.     res = requests.get(url, headers=header)
  12.     return res

  14. def look_movie(res):
  15.     soup = bs4.BeautifulSoup(res.text, 'html.parser')
  16.     targets = soup.find_all("div", class_='hd')
  17.     list1 = []
  18.     for each in targets:
  19.         list1.append(each.a.span.text)
  20.     return list1

  22. def main():
  23.     yeshu = 0

  25.     while yeshu <= 25:
  26.         url = "http://movie.douban.com/top250?start=" + str(yeshu) + "&filter="
  27.         res = open_url(url)
  28.         data = look_movie(res)
  29.         yeshu += 25
  30.         print(data)
  31.     # to_excel(data)这个就是存表格的，但运行它就报错，不运行注释了就正常...

  33. def to_excel(data):
  34.     wb = openpyxl.Workbook()
  35.     wb.guess_types = True
  36.     ws = wb.active
  37.     ws.append(['1','2','3','4','5'])
  38.     for each in data:
  39.         ws.append(each)

  41.     wb.save("豆瓣250电影榜.xlsx")

  43. if __name__ == '__main__':
  44.     main()

复制代码

我根据极客爬虫篇里摘取出一些可以用的，但就是用不了现在，希望有小伙伴解救一下谢谢
最佳答案
月排行榜 / 总排行榜
591821661
2021-4-7 00:00:32
终于帮你改完了 满意请给最佳
2021-04-06_23-59-55 by Sharpstar_kylin.png
2021-04-07_00-00-05 by Sharpstar_kylin.png
  1. import requests
  2. import bs4
  3. import openpyxl

  5. import os
  6. # os.chdir("D:\BianCheng\Pythonwork\爬虫爬出来资料")

  8. header ={'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}

  10. def open_url(url):
  11.     res = requests.get(url, headers=header)
  12.     return res


  15. def look_movie(res):
  16.     soup = bs4.BeautifulSoup(res.text, 'html.parser')
  17.     targets = soup.find_all("div", class_='hd')
  18.     list1 = []
  19.     for each in targets:
  20.         list1.append(each.a.span.text)
  21.     return list1


  24. def main():
  25.     yeshu = 0

  27.     data = []
  28.     while yeshu <= 225:
  29.         url = "http://movie.douban.com/top250?start=" + str(yeshu) + "&filter="
  30.         res = open_url(url)
  31.         data.extend(look_movie(res))
  32.         yeshu += 25
  33.     to_excel(data, yeshu)


  36. def to_excel(data, yeshu):
  37.     wb = openpyxl.Workbook()
  38.     wb.guess_types = True
  39.     ws = wb.active
  40.     data_rank = [str(i) for i in range(yeshu+1-len(data), yeshu+1)]
  41.     ws.append(data_rank)
  42.     for movie_rank,movie_name in zip(data_rank, data):
  43.         print("%s 排名:%s" % (movie_name, movie_rank))
  44.     print(data)
  45.     ws.append(data)
  46.     wb.save("豆瓣250电影榜.xlsx")


  49. if __name__ == '__main__':
  50.     main()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

591821661
发表于 2021-4-7 00:00:32 | 显示全部楼层    本楼为最佳答案   
终于帮你改完了 满意请给最佳
2021-04-06_23-59-55 by Sharpstar_kylin.png
2021-04-07_00-00-05 by Sharpstar_kylin.png
  1. import requests
  2. import bs4
  3. import openpyxl

  5. import os
  6. # os.chdir("D:\BianCheng\Pythonwork\爬虫爬出来资料")

  8. header ={'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}

  10. def open_url(url):
  11.     res = requests.get(url, headers=header)
  12.     return res


  15. def look_movie(res):
  16.     soup = bs4.BeautifulSoup(res.text, 'html.parser')
  17.     targets = soup.find_all("div", class_='hd')
  18.     list1 = []
  19.     for each in targets:
  20.         list1.append(each.a.span.text)
  21.     return list1


  24. def main():
  25.     yeshu = 0

  27.     data = []
  28.     while yeshu <= 225:
  29.         url = "http://movie.douban.com/top250?start=" + str(yeshu) + "&filter="
  30.         res = open_url(url)
  31.         data.extend(look_movie(res))
  32.         yeshu += 25
  33.     to_excel(data, yeshu)


  36. def to_excel(data, yeshu):
  37.     wb = openpyxl.Workbook()
  38.     wb.guess_types = True
  39.     ws = wb.active
  40.     data_rank = [str(i) for i in range(yeshu+1-len(data), yeshu+1)]
  41.     ws.append(data_rank)
  42.     for movie_rank,movie_name in zip(data_rank, data):
  43.         print("%s 排名:%s" % (movie_name, movie_rank))
  44.     print(data)
  45.     ws.append(data)
  46.     wb.save("豆瓣250电影榜.xlsx")


  49. if __name__ == '__main__':
  50.     main()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

贪睡的苏简
 楼主| 发表于 2021-4-7 01:08:54 | 显示全部楼层
591821661 发表于 2021-4-7 00:00
终于帮你改完了 满意请给最佳

多谢大佬解惑
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

贪睡的苏简
 楼主| 发表于 2021-4-7 10:10:36 | 显示全部楼层
根据大佬的代码，自己弄出了自己想要的部分模样
  1. import requests
  2. import bs4
  3. import openpyxl

  5. #import os
  6. # os.chdir("D:\BianCheng\Pythonwork\爬虫爬出来资料")

  8. header ={'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}

  10. def open_url(url):
  11.     res = requests.get(url, headers=header)
  12.     return res


  15. def look_movie(res):
  16.     soup = bs4.BeautifulSoup(res.text, 'html.parser')
  17.     targets = soup.find_all("div", class_='hd')
  18.     data = []
  19.     for each in targets:
  20.         data.append(each.a.span.text)
  21.     return data


  24. def main():
  25.     yeshu = 0

  27.     data = []
  28.     while yeshu <= 225:
  29.         url = "http://movie.douban.com/top250?start=" + str(yeshu) + "&filter="
  30.         res = open_url(url)
  31.         data.extend(look_movie(res))
  32.         yeshu += 25
  33.     to_excel(data, yeshu)


  36. def to_excel(data, yeshu):
  37.     wb = openpyxl.Workbook()
  38.     wb.guess_types = True
  39.     ws = wb.active
  40.     #表格三件套

  42.     # data_rank = [str(i) for i in range(yeshu+1-len(data), yeshu+1)]

  44.     # for movie_rank,movie_name in zip(data_rank, data):
  45.     #     print("%s 排名:%s" % (movie_name, movie_rank))
  46.     nub = 0
  47.     data_rank = []
  48.     kongge = []
  49.     for i in range(1,251):
  50.         data_rank.append("第%d名"%i)
  51.         if i % 10 == 0:
  52.             ws.append(data_rank)
  53.             ws.append(data[0+nub:i])
  54.             ws.append(kongge)
  55.             nub += 10
  56.             data_rank = []

  58.     wb.save("豆瓣250电影榜.xlsx")


  61. if __name__ == '__main__':
  62.     main()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-5-19 01:44

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表