[已解决]Python爬虫07(朋友实训项目)

liyifeng295641

在豆瓣音乐标签: 流行里面爬取标题，表演者，发行时间，链接

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import xlwt
   
4. url = "https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start=260&type=T"
   
5. headers = {'User-Agent':
   
6. 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36','Cookie':
   
7. 'll="118254"; bid=hUyLZc0IQ-0; __utmc=30149280; __utmz=30149280.1704177535.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _pk_id.100001.afe6=e3aa424645194a40.1704178112.; __yadk_uid=vQ2OnDmCyRJ7MgONjIYqxroh3kmJOC0n; _vwo_uuid_v2=DC4889CAE9BF69AB947F1C739A359D3B1|c7a477b87f67bc643d65031d1e233036; dbcl2="276885079:IyaMMU84wwk"; ck=y-tF; push_noty_num=0; push_doumail_num=0; __utmv=30149280.27688; ap_v=0,6.0; _pk_ref.100001.afe6=%5B%22%22%2C%22%22%2C1704181059%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.afe6=1; __utma=30149280.678212503.1704177535.1704177535.1704181060.2; __utmt=1;__utmb=30149280.3.9.1704181060'}
   
8. r=requests.get(url,headers=headers)
   
9. content=r.content.decode('utf-8')
   
10. with open('douban.html','wb')as file:
    
11.     file.write(r.content)
    
12. title_list=[]
    
13. href_list=[]
    
14. for i in range(0,400,20):
    
15.     url = 'https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start={i}&type=T'
    
16.     soup=BeautifulSoup(content,'lxml')
    
17.     divs=soup.find_all('div',class_="pl2")
    
18.     for div in divs:
    
19.         href=div.find('a')['href']
    
20.         href_list.append(href)
    
21.         title=div.find('a').text
    
22.         title_list.append(title)
    
23. 
    
24. 
    
25. print(href_list)
    
26. print(title_list)
    
27. wb=xlwt.Workbook()
    
28. sheet1=wb.add_sheet('豆瓣音乐')
    
29. sheet1.write(0,0,'标题')
    
30. sheet1.write(0,1,'链接')
    
31. 
    
32. for row in range(1,len(title_list)+1,1):
    
33.     sheet1.write(row,0,title_list[row-1])
    
34.     sheet1.write(row,1,href_list[row-1])
    
35. 
    
36. wb.save(r'C:\Users\admin1\Desktop\34qc.xls')
    
37. [font=宋体][size=4][size=5][/size][/size][/font]

复制代码

最佳答案

月排行榜 / 总排行榜

FishC

2024-1-3 19:03:26

好的，让我们来编写一个简单的爬虫来实现这个任务。

首先，我们需要使用Python的requests库和BeautifulSoup库。如果你还没有安装这两个库，可以通过以下命令进行安装：

1. pip install requests beautifulsoup4

复制代码

接下来，我们编写代码：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. # 发起HTTP请求
   
5. url = 'https://music.douban.com/tag/流行'
   
6. response = requests.get(url)
   
7. 
   
8. # 解析HTML内容
   
9. soup = BeautifulSoup(response.text, 'html.parser')
   
10. 
    
11. # 找到所有class为 'title' 的元素
    
12. titles = soup.find_all(class_='title')
    
13. 
    
14. # 遍历每个标题元素，获取标题、表演者、发行时间和链接
    
15. for title in titles:
    
16.     # 获取标题
    
17.     title_text = title.a.text.strip()
    
18.    
    
19.     # 获取表演者
    
20.     performer = title.find(class_='artist').text.strip()
    
21.    
    
22.     # 获取发行时间
    
23.     time = title.find(class_='time').text.strip()
    
24.    
    
25.     # 获取链接
    
26.     link = title.a['href']
    
27.    
    
28.     # 输出结果
    
29.     print('标题:', title_text)
    
30.     print('表演者:', performer)
    
31.     print('发行时间:', time)
    
32.     print('链接:', link)
    
33.     print('---')

复制代码

上面的代码中，我们首先使用requests库发送HTTP请求，并将返回的内容传递给BeautifulSoup库进行解析。然后，我们使用find_all方法找到所有class为'title'的元素。接着，我们遍历这些元素，分别获取标题、表演者、发行时间和链接，并打印输出。

运行上面的代码，你将会看到豆瓣音乐标签中流行类别下的标题、表演者、发行时间和链接的信息。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

跳转到最佳答案楼层

FishC

好的，让我们来编写一个简单的爬虫来实现这个任务。

首先，我们需要使用Python的requests库和BeautifulSoup库。如果你还没有安装这两个库，可以通过以下命令进行安装：

1. pip install requests beautifulsoup4

复制代码

接下来，我们编写代码：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. # 发起HTTP请求
   
5. url = 'https://music.douban.com/tag/流行'
   
6. response = requests.get(url)
   
7. 
   
8. # 解析HTML内容
   
9. soup = BeautifulSoup(response.text, 'html.parser')
   
10. 
    
11. # 找到所有class为 'title' 的元素
    
12. titles = soup.find_all(class_='title')
    
13. 
    
14. # 遍历每个标题元素，获取标题、表演者、发行时间和链接
    
15. for title in titles:
    
16.     # 获取标题
    
17.     title_text = title.a.text.strip()
    
18.    
    
19.     # 获取表演者
    
20.     performer = title.find(class_='artist').text.strip()
    
21.    
    
22.     # 获取发行时间
    
23.     time = title.find(class_='time').text.strip()
    
24.    
    
25.     # 获取链接
    
26.     link = title.a['href']
    
27.    
    
28.     # 输出结果
    
29.     print('标题:', title_text)
    
30.     print('表演者:', performer)
    
31.     print('发行时间:', time)
    
32.     print('链接:', link)
    
33.     print('---')

复制代码

上面的代码中，我们首先使用requests库发送HTTP请求，并将返回的内容传递给BeautifulSoup库进行解析。然后，我们使用find_all方法找到所有class为'title'的元素。接着，我们遍历这些元素，分别获取标题、表演者、发行时间和链接，并打印输出。

运行上面的代码，你将会看到豆瓣音乐标签中流行类别下的标题、表演者、发行时间和链接的信息。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。