Python爬虫07(朋友实训项目)
本帖最后由 liyifeng295641 于 2024-1-3 19:01 编辑在豆瓣音乐标签: 流行里面爬取标题，表演者，发行时间，链接
import requests
from bs4 import BeautifulSoup
import xlwt
url = "https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start=260&type=T"
headers = {'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36','Cookie':
'll="118254"; bid=hUyLZc0IQ-0; __utmc=30149280; __utmz=30149280.1704177535.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _pk_id.100001.afe6=e3aa424645194a40.1704178112.; __yadk_uid=vQ2OnDmCyRJ7MgONjIYqxroh3kmJOC0n; _vwo_uuid_v2=DC4889CAE9BF69AB947F1C739A359D3B1|c7a477b87f67bc643d65031d1e233036; dbcl2="276885079:IyaMMU84wwk"; ck=y-tF; push_noty_num=0; push_doumail_num=0; __utmv=30149280.27688; ap_v=0,6.0; _pk_ref.100001.afe6=%5B%22%22%2C%22%22%2C1704181059%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.afe6=1; __utma=30149280.678212503.1704177535.1704177535.1704181060.2; __utmt=1;__utmb=30149280.3.9.1704181060'}
r=requests.get(url,headers=headers)
content=r.content.decode('utf-8')
with open('douban.html','wb')as file:
file.write(r.content)
title_list=[]
href_list=[]
for i in range(0,400,20):
url = 'https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start={i}&type=T'
soup=BeautifulSoup(content,'lxml')
divs=soup.find_all('div',class_="pl2")
for div in divs:
href=div.find('a')['href']
href_list.append(href)
title=div.find('a').text
title_list.append(title)
print(href_list)
print(title_list)
wb=xlwt.Workbook()
sheet1=wb.add_sheet('豆瓣音乐')
sheet1.write(0,0,'标题')
sheet1.write(0,1,'链接')
for row in range(1,len(title_list)+1,1):
sheet1.write(row,0,title_list)
sheet1.write(row,1,href_list)
wb.save(r'C:\Users\admin1\Desktop\34qc.xls')
好的，让我们来编写一个简单的爬虫来实现这个任务。
首先，我们需要使用Python的requests库和BeautifulSoup库。如果你还没有安装这两个库，可以通过以下命令进行安装：
pip install requests beautifulsoup4
接下来，我们编写代码：
import requests
from bs4 import BeautifulSoup
# 发起HTTP请求
url = 'https://music.douban.com/tag/流行'
response = requests.get(url)
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有class为 'title' 的元素
titles = soup.find_all(class_='title')
# 遍历每个标题元素，获取标题、表演者、发行时间和链接
for title in titles:
# 获取标题
title_text = title.a.text.strip()
# 获取表演者
performer = title.find(class_='artist').text.strip()
# 获取发行时间
time = title.find(class_='time').text.strip()
# 获取链接
link = title.a['href']
# 输出结果
print('标题:', title_text)
print('表演者:', performer)
print('发行时间:', time)
print('链接:', link)
print('---')
上面的代码中，我们首先使用requests库发送HTTP请求，并将返回的内容传递给BeautifulSoup库进行解析。然后，我们使用find_all方法找到所有class为'title'的元素。接着，我们遍历这些元素，分别获取标题、表演者、发行时间和链接，并打印输出。
运行上面的代码，你将会看到豆瓣音乐标签中流行类别下的标题、表演者、发行时间和链接的信息。
以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。
页:
[1]