鱼C论坛

 找回密码
 立即注册
查看: 1903|回复: 1

[已解决]python爬虫01(朋友实训项目)

[复制链接]
发表于 2024-1-2 14:42:23 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 liyifeng295641 于 2024-1-3 16:09 编辑

用豆瓣网爬取豆瓣音乐 分类浏览 流行相关数据
数据量大于100个,最终数据保存Excel,Excel表格要有表头 爬取内容行数×列数>110
最佳答案
2024-1-2 14:42:43
好的,你想爬取豆瓣音乐的流行相关数据,并保存到Excel表格中。下面是一个简单的Python爬虫示例代码,可以帮助你实现这个功能:

  1. import requests
  2. from bs4 import BeautifulSoup
  3. import openpyxl

  4. # 创建Excel表格
  5. wb = openpyxl.Workbook()
  6. sheet = wb.active

  7. # 设置表头
  8. sheet['A1'] = '歌曲名称'
  9. sheet['B1'] = '艺术家'

  10. # 发起HTTP请求获取豆瓣音乐首页的HTML内容
  11. url = 'https://music.douban.com/chart'
  12. response = requests.get(url)
  13. html = response.text

  14. # 使用BeautifulSoup解析HTML内容
  15. soup = BeautifulSoup(html, 'html.parser')

  16. # 定位需要爬取的音乐列表
  17. music_list = soup.select('.col5')

  18. # 遍历音乐列表,将数据写入Excel表格
  19. for index, music in enumerate(music_list):
  20.     # 获取歌曲名称和艺术家信息
  21.     name = music.select_one('a').text.strip()
  22.     artist = music.select_one('.artist').text.strip()

  23.     # 将数据写入Excel表格
  24.     sheet.cell(row=index+2, column=1, value=name)
  25.     sheet.cell(row=index+2, column=2, value=artist)

  26.     # 控制爬取数量
  27.     if index >= 99:
  28.         break

  29. # 保存Excel表格
  30. wb.save('douban_music.xlsx')
复制代码


请确保你已经安装了`requests`、`beautifulsoup4`和`openpyxl`库,你可以使用以下命令进行安装:

  1. pip install requests beautifulsoup4 openpyxl
复制代码


这段代码会爬取豆瓣音乐首页的流行相关数据,最多爬取100个音乐条目,并将数据保存到名为`douban_music.xlsx`的Excel表格中。在代码中,我们使用了`requests`库来发送HTTP请求获取网页内容,使用了`beautifulsoup4`库来解析HTML内容,以及使用了`openpyxl`库来操作Excel文件。

以上回复来自 FishC AI 小助理,如未能正确解答您的问题,请继续追问。

本帖被以下淘专辑推荐:

小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2024-1-2 14:42:43 | 显示全部楼层    本楼为最佳答案   
好的,你想爬取豆瓣音乐的流行相关数据,并保存到Excel表格中。下面是一个简单的Python爬虫示例代码,可以帮助你实现这个功能:

  1. import requests
  2. from bs4 import BeautifulSoup
  3. import openpyxl

  4. # 创建Excel表格
  5. wb = openpyxl.Workbook()
  6. sheet = wb.active

  7. # 设置表头
  8. sheet['A1'] = '歌曲名称'
  9. sheet['B1'] = '艺术家'

  10. # 发起HTTP请求获取豆瓣音乐首页的HTML内容
  11. url = 'https://music.douban.com/chart'
  12. response = requests.get(url)
  13. html = response.text

  14. # 使用BeautifulSoup解析HTML内容
  15. soup = BeautifulSoup(html, 'html.parser')

  16. # 定位需要爬取的音乐列表
  17. music_list = soup.select('.col5')

  18. # 遍历音乐列表,将数据写入Excel表格
  19. for index, music in enumerate(music_list):
  20.     # 获取歌曲名称和艺术家信息
  21.     name = music.select_one('a').text.strip()
  22.     artist = music.select_one('.artist').text.strip()

  23.     # 将数据写入Excel表格
  24.     sheet.cell(row=index+2, column=1, value=name)
  25.     sheet.cell(row=index+2, column=2, value=artist)

  26.     # 控制爬取数量
  27.     if index >= 99:
  28.         break

  29. # 保存Excel表格
  30. wb.save('douban_music.xlsx')
复制代码


请确保你已经安装了`requests`、`beautifulsoup4`和`openpyxl`库,你可以使用以下命令进行安装:

  1. pip install requests beautifulsoup4 openpyxl
复制代码


这段代码会爬取豆瓣音乐首页的流行相关数据,最多爬取100个音乐条目,并将数据保存到名为`douban_music.xlsx`的Excel表格中。在代码中,我们使用了`requests`库来发送HTTP请求获取网页内容,使用了`beautifulsoup4`库来解析HTML内容,以及使用了`openpyxl`库来操作Excel文件。

以上回复来自 FishC AI 小助理,如未能正确解答您的问题,请继续追问。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-24 00:45

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表