[已解决]Python爬虫03(朋友实训项目)

liyifeng295641

用豆瓣网https://www.douban.com/ 爬取豆瓣音乐—分类浏览—流行相关数据
要求数据量不小于120个，最终数据以excel表格的形式保存。Excel表格要求有表头，数据内容行数×列数>120个

最佳答案

月排行榜 / 总排行榜

FishC

2024-1-2 15:34:24

好的，我们可以使用Python中的requests库和beautifulsoup库来爬取豆瓣音乐的数据，并使用pandas库将数据保存为Excel文件。首先，我们需要安装相应的库：

1. pip install requests
   
2. pip install beautifulsoup4
   
3. pip install pandas

复制代码

接下来，我们可以编写代码来完成我们的任务：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import pandas as pd
   
4. 
   
5. # 发送请求获取网页内容
   
6. url = 'https://music.douban.com/tag/流行'
   
7. headers = {'User-Agent': 'Mozilla/5.0'}
   
8. response = requests.get(url, headers=headers)
   
9. html = response.content.decode('utf-8')
   
10. 
    
11. # 使用BeautifulSoup来解析网页
    
12. soup = BeautifulSoup(html, 'html.parser')
    
13. 
    
14. # 找到所有音乐标签
    
15. music_tags = soup.find_all('a', class_='nbg')
    
16. 
    
17. # 创建一个空列表来存储数据
    
18. data_list = []
    
19. 
    
20. # 遍历每个标签，获取音乐信息
    
21. for music_tag in music_tags:
    
22.     music_name = music_tag.get('title')
    
23.     music_href = music_tag.get('href')
    
24.     data_list.append([music_name, music_href])
    
25. 
    
26. # 创建pandas的DataFrame对象
    
27. df = pd.DataFrame(data_list, columns=['音乐名称', '链接'])
    
28. 
    
29. # 将数据保存为Excel文件
    
30. df.to_excel('豆瓣音乐流行相关数据.xlsx', index=False)

复制代码

运行以上代码后，会在当前目录下生成一个名为"豆瓣音乐流行相关数据.xlsx"的Excel文件，其中包含了至少120个豆瓣音乐流行相关的数据，每个数据都有音乐名称和链接两列。注意，代码中的URL是豆瓣音乐流行分类的网址，你可以根据需要修改URL来获取其他分类的音乐数据。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

跳转到最佳答案楼层

FishC

好的，我们可以使用Python中的requests库和beautifulsoup库来爬取豆瓣音乐的数据，并使用pandas库将数据保存为Excel文件。首先，我们需要安装相应的库：

1. pip install requests
   
2. pip install beautifulsoup4
   
3. pip install pandas

复制代码

接下来，我们可以编写代码来完成我们的任务：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import pandas as pd
   
4. 
   
5. # 发送请求获取网页内容
   
6. url = 'https://music.douban.com/tag/流行'
   
7. headers = {'User-Agent': 'Mozilla/5.0'}
   
8. response = requests.get(url, headers=headers)
   
9. html = response.content.decode('utf-8')
   
10. 
    
11. # 使用BeautifulSoup来解析网页
    
12. soup = BeautifulSoup(html, 'html.parser')
    
13. 
    
14. # 找到所有音乐标签
    
15. music_tags = soup.find_all('a', class_='nbg')
    
16. 
    
17. # 创建一个空列表来存储数据
    
18. data_list = []
    
19. 
    
20. # 遍历每个标签，获取音乐信息
    
21. for music_tag in music_tags:
    
22.     music_name = music_tag.get('title')
    
23.     music_href = music_tag.get('href')
    
24.     data_list.append([music_name, music_href])
    
25. 
    
26. # 创建pandas的DataFrame对象
    
27. df = pd.DataFrame(data_list, columns=['音乐名称', '链接'])
    
28. 
    
29. # 将数据保存为Excel文件
    
30. df.to_excel('豆瓣音乐流行相关数据.xlsx', index=False)

复制代码

运行以上代码后，会在当前目录下生成一个名为"豆瓣音乐流行相关数据.xlsx"的Excel文件，其中包含了至少120个豆瓣音乐流行相关的数据，每个数据都有音乐名称和链接两列。注意，代码中的URL是豆瓣音乐流行分类的网址，你可以根据需要修改URL来获取其他分类的音乐数据。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。