鱼C论坛

 找回密码
 立即注册
查看: 1108|回复: 1

[已解决]Python爬虫05(朋友实训项目)

[复制链接]
发表于 2024-1-2 16:55:16 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 liyifeng295641 于 2024-1-3 16:08 编辑

用豆瓣网https://www.douban.com/                                                                                            
爬取豆瓣音乐—分类浏览—流行相关数据
要求数据量不小于120个,最终数据以excel表格的形式保存。Excel表格要求有表头,数据内容行数×列数>120个
能打开,能查看,用最简单的方法,有内容
最佳答案
2024-1-2 16:55:26
要实现这个需求,可以使用Python的requests和BeautifulSoup库来进行网页的爬取和数据提取,再使用pandas库将数据保存为Excel表格。下面是一个简单的实现代码:
import requests
from bs4 import BeautifulSoup
import pandas as pd

# 发送GET请求获取网页内容
url = 'https://music.douban.com/tag/#/?tag=流行'
response = requests.get(url)
html = response.text

# 解析网页内容
soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('a', class_='nbg')

# 提取相关数据
data = []
for item in items:
    title = item.get('title')
    href = item.get('href')
    data.append({'标题': title, '链接': href})

# 将数据保存为Excel表格
df = pd.DataFrame(data)
df.to_excel('豆瓣音乐流行相关数据.xlsx', index=False)

在这个示例代码中,我使用了豆瓣音乐的流行标签页面作为示例,你也可以根据自己的需要修改URL参数。

需要注意的是,由于导出Excel表格需要安装pandas库,如果你还没有安装可以使用以下命令进行安装:
pip install pandas

运行以上代码后,会在当前目录下生成一个名为"豆瓣音乐流行相关数据.xlsx"的Excel文件,其中包含了爬取到的音乐标题和链接。

以上回复来自 FishC AI 小助理,如未能正确解答您的问题,请继续追问。

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2024-1-2 16:55:26 | 显示全部楼层    本楼为最佳答案   
要实现这个需求,可以使用Python的requests和BeautifulSoup库来进行网页的爬取和数据提取,再使用pandas库将数据保存为Excel表格。下面是一个简单的实现代码:
import requests
from bs4 import BeautifulSoup
import pandas as pd

# 发送GET请求获取网页内容
url = 'https://music.douban.com/tag/#/?tag=流行'
response = requests.get(url)
html = response.text

# 解析网页内容
soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('a', class_='nbg')

# 提取相关数据
data = []
for item in items:
    title = item.get('title')
    href = item.get('href')
    data.append({'标题': title, '链接': href})

# 将数据保存为Excel表格
df = pd.DataFrame(data)
df.to_excel('豆瓣音乐流行相关数据.xlsx', index=False)

在这个示例代码中,我使用了豆瓣音乐的流行标签页面作为示例,你也可以根据自己的需要修改URL参数。

需要注意的是,由于导出Excel表格需要安装pandas库,如果你还没有安装可以使用以下命令进行安装:
pip install pandas

运行以上代码后,会在当前目录下生成一个名为"豆瓣音乐流行相关数据.xlsx"的Excel文件,其中包含了爬取到的音乐标题和链接。

以上回复来自 FishC AI 小助理,如未能正确解答您的问题,请继续追问。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-9-21 22:52

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表