Python爬虫06(朋友实训项目)
在豆瓣音乐标签: 流行里只能爬取标题和链接，没有音乐家和音乐发布时间import requests
from bs4 import BeautifulSoup
import xlwt
url = "https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start=260&type=T"
headers = {'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36','Cookie':
'll="118254"; bid=hUyLZc0IQ-0; __utmc=30149280; __utmz=30149280.1704177535.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _pk_id.100001.afe6=e3aa424645194a40.1704178112.; __yadk_uid=vQ2OnDmCyRJ7MgONjIYqxroh3kmJOC0n; _vwo_uuid_v2=DC4889CAE9BF69AB947F1C739A359D3B1|c7a477b87f67bc643d65031d1e233036; dbcl2="276885079:IyaMMU84wwk"; ck=y-tF; push_noty_num=0; push_doumail_num=0; __utmv=30149280.27688; ap_v=0,6.0; _pk_ref.100001.afe6=%5B%22%22%2C%22%22%2C1704181059%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.afe6=1; __utma=30149280.678212503.1704177535.1704177535.1704181060.2; __utmt=1;__utmb=30149280.3.9.1704181060'}
r=requests.get(url,headers=headers)
content=r.content.decode('utf-8')
with open('douban.html','wb')as file:
file.write(r.content)
title_list=[]
href_list=[]
for i in range(0,400,20):
url = 'https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start={i}&type=T'
soup=BeautifulSoup(content,'lxml')
divs=soup.find_all('div',class_="pl2")
for div in divs:
href=div.find('a')['href']
href_list.append(href)
title=div.find('a').text
title_list.append(title)
print(href_list)
print(title_list)
wb=xlwt.Workbook()
sheet1=wb.add_sheet('豆瓣音乐')
sheet1.write(0,0,'标题')
sheet1.write(0,1,'链接')
for row in range(1,len(title_list)+1,1):
sheet1.write(row,0,title_list)
sheet1.write(row,1,href_list)
wb.save(r'C:\Users\admin1\Desktop\34qc.xls')
代码有一些问题。首先，在循环中获取链接和标题时，应该将网页请求和解析放在循环内部，这样才能正确获取每一页的数据。其次，在写入Excel表格时，应该将每一个标题和链接写入不同的行，现在是将整个列表写入所有行。下面是修改后的代码：
import requests
from bs4 import BeautifulSoup
import xlwt
url = "https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start=260&type=T"
headers = {'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36','Cookie':
'll="118254"; bid=hUyLZc0IQ-0; __utmc=30149280; __utmz=30149280.1704177535.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _pk_id.100001.afe6=e3aa424645194a40.1704178112.; __yadk_uid=vQ2OnDmCyRJ7MgONjIYqxroh3kmJOC0n; _vwo_uuid_v2=DC4889CAE9BF69AB947F1C739A359D3B1|c7a477b87f67bc643d65031d1e233036; dbcl2="276885079:IyaMMU84wwk"; ck=y-tF; push_noty_num=0; push_doumail_num=0; __utmv=30149280.27688; ap_v=0,6.0; _pk_ref.100001.afe6=%5B%22%22%2C%22%22%2C1704181059%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.afe6=1; __utma=30149280.678212503.1704177535.1704177535.1704181060.2; __utmt=1;__utmb=30149280.3.9.1704181060'}
r = requests.get(url, headers=headers)
content = r.content.decode('utf-8')
title_list = []
href_list = []
for i in range(0, 400, 20):
url = f'https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start={i}&type=T'
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.content, 'lxml')
divs = soup.find_all('div', class_="pl2")
for div in divs:
href = div.find('a')['href']
href_list.append(href)
title = div.find('a').text.strip()
title_list.append(title)
wb = xlwt.Workbook()
sheet1 = wb.add_sheet('豆瓣音乐')
sheet1.write(0, 0, '标题')
sheet1.write(0, 1, '链接')
for row in range(1, len(title_list) + 1, 1):
sheet1.write(row, 0, title_list)
sheet1.write(row, 1, href_list)
wb.save(r'C:\Users\admin1\Desktop\34qc.xls')
修改后的代码中，首先在循环内部发送网页请求和解析HTML，然后分别将标题和链接添加到对应的列表中。最后，在写入Excel表格时，将每一个标题和链接写入不同的行。
以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。 没有数据，爬取歌手，发行时间，相关链接 FishC 发表于 2024-1-3 17:39
代码有一些问题。首先，在循环中获取链接和标题时，应该将网页请求和解析放在循环内部，这样才能正确获取每 ...
没有数据，爬取歌手，发行时间，相关链接
没有数据，爬取歌手，发行时间，相关链接 liyifeng295641 发表于 2024-01-03 17:47
没有数据，爬取歌手，发行时间，相关链接
我了解到您想要爬取豆瓣音乐标签中流行音乐的歌手、发行时间和相关链接。下面是修改后的代码来实现这个需求：
import requests
from bs4 import BeautifulSoup
import xlwt
url = "https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start=0&type=T"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36',
'Cookie': 'll="118254"; bid=hUyLZc0IQ-0; __utmc=30149280; __utmz=30149280.1704177535.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _pk_id.100001.afe6=e3aa424645194a40.1704178112.; __yadk_uid=vQ2OnDmCyRJ7MgONjIYqxroh3kmJOC0n; _vwo_uuid_v2=DC4889CAE9BF69AB947F1C739A359D3B1|c7a477b87f67bc643d65031d1e233036; dbcl2="276885079:IyaMMU84wwk"; ck=y-tF; push_noty_num=0; push_doumail_num=0; __utmv=30149280.27688; ap_v=0,6.0; _pk_ref.100001.afe6=%5B%22%22%2C%22%22%2C1704181059%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.afe6=1; __utma=30149280.678212503.1704177535.1704177535.1704181060.2; __utmt=1;__utmb=30149280.3.9.1704181060'
}
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.content, 'lxml')
data_list = []
for item in soup.find_all('div', class_='pl2'):
title = item.find('a').text.strip()# 标题
href = item.find('a')['href']# 相关链接
r_item = requests.get(href, headers=headers)
soup_item = BeautifulSoup(r_item.content, 'lxml')
artist = soup_item.find('span', class_='pl').text.split(':').strip()# 歌手
release_time = soup_item.find('span', class_='p2').text.strip()# 发行时间
data_list.append()
wb = xlwt.Workbook()
sheet1 = wb.add_sheet('豆瓣音乐')
sheet1.write(0, 0, '标题')
sheet1.write(0, 1, '歌手')
sheet1.write(0, 2, '发行时间')
sheet1.write(0, 3, '链接')
for row, data in enumerate(data_list, start=1):
for col, value in enumerate(data):
sheet1.write(row, col, value)
wb.save('douban_music.xls')
这段代码首先发送请求获取网页内容，然后使用BeautifulSoup解析网页。之后，循环遍历每个音乐项，提取标题和相关链接。接下来，发送相关链接的请求，获取歌手和发行时间的信息，并将这些信息保存在一个列表中。最后，将列表中的数据写入Excel文件。
请注意，为了能够正确获取歌手和发行时间的信息，我对每个音乐项的相关链接进行了额外的请求和解析操作。这可能会导致爬取速度变慢。如果您觉得速度较慢，可以考虑提前获取所有相关链接，再进行批量请求和解析。
以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。 FishC 发表于 2024-1-3 17:47
我了解到您想要爬取豆瓣音乐标签中流行音乐的歌手、发行时间和相关链接。下面是修改后的代码来实现这个 ...
Traceback (most recent call last):
File "D:\Pycharm\PythonProject\main.py", line 24, in <module>
release_time = soup_item.find('span', class_='p2').text.strip()# 发行时间
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'text' cd132 发表于 2024-01-03 17:50
Traceback (most recent call last):
File "D:\Pyc ...
您遇到了一个属性错误：'NoneType' object has no attribute 'text'，这意味着在执行`soup_item.find('span', class_='p2').text.strip()`时，找不到符合条件的元素。这可能是因为没有发行时间的元素存在，或者选择器选择的是错误的元素。
为了避免出现这个错误，您可以使用`find()`方法的返回值进行判断。如果返回的结果是`None`，则说明没有找到对应的元素，此时可以给发行时间赋予一个默认值，例如"未知"。
下面是修改后的代码：
import requests
from bs4 import BeautifulSoup
import xlwt
url = "https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start=0&type=T"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36',
'Cookie': 'll="118254"; bid=hUyLZc0IQ-0; __utmc=30149280; __utmz=30149280.1704177535.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _pk_id.100001.afe6=e3aa424645194a40.1704178112.; __yadk_uid=vQ2OnDmCyRJ7MgONjIYqxroh3kmJOC0n; _vwo_uuid_v2=DC4889CAE9BF69AB947F1C739A359D3B1|c7a477b87f67bc643d65031d1e233036; dbcl2="276885079:IyaMMU84wwk"; ck=y-tF; push_noty_num=0; push_doumail_num=0; __utmv=30149280.27688; ap_v=0,6.0; _pk_ref.100001.afe6=%5B%22%22%2C%22%22%2C1704181059%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.afe6=1; __utma=30149280.678212503.1704177535.1704177535.1704181060.2; __utmt=1;__utmb=30149280.3.9.1704181060'
}
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.content, 'lxml')
data_list = []
for item in soup.find_all('div', class_='pl2'):
title = item.find('a').text.strip()# 标题
href = item.find('a')['href']# 相关链接
r_item = requests.get(href, headers=headers)
soup_item = BeautifulSoup(r_item.content, 'lxml')
artist = soup_item.find('span', class_='pl').text.split(':').strip() if soup_item.find('span', class_='pl') else "未知"# 歌手
release_time = soup_item.find('span', class_='p2').text.strip() if soup_item.find('span', class_='p2') else "未知"# 发行时间
data_list.append()
wb = xlwt.Workbook()
sheet1 = wb.add_sheet('豆瓣音乐')
sheet1.write(0, 0, '标题')
sheet1.write(0, 1, '歌手')
sheet1.write(0, 2, '发行时间')
sheet1.write(0, 3, '链接')
for row, data in enumerate(data_list, start=1):
for col, value in enumerate(data):
sheet1.write(row, col, value)
wb.save('douban_music.xls')
这样，如果没有找到对应的歌手或发行时间，会将其设置为"未知"。您可以根据实际需求修改设置的默认值。
以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。 FishC 发表于 2024-1-3 17:39
代码有一些问题。首先，在循环中获取链接和标题时，应该将网页请求和解析放在循环内部，这样才能正确获取每 ...
在豆瓣音乐标签: 流行里面只能爬取第一行标题和链接，不能爬取第二行 cd132 发表于 2024-01-03 17:59
在豆瓣音乐标签: 流行里面只能爬取第一行标题和链接， ...
原因是在循环内部的提取标题和链接的代码中，我们没有针对每一行进行循环，而是直接获取了第一个div标签的数据。为了解决这个问题，我们需要对每一个div标签进行遍历，并依次获取每一行的标题和链接。下面是修改后的代码：
import requests
from bs4 import BeautifulSoup
import xlwt
url = "https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start=260&type=T"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36',
'Cookie': 'll="118254"; bid=hUyLZc0IQ-0; __utmc=30149280; __utmz=30149280.1704177535.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _pk_id.100001.afe6=e3aa424645194a40.1704178112.; __yadk_uid=vQ2OnDmCyRJ7MgONjIYqxroh3kmJOC0n; _vwo_uuid_v2=DC4889CAE9BF69AB947F1C739A359D3B1|c7a477b87f67bc643d65031d1e233036; dbcl2="276885079:IyaMMU84wwk"; ck=y-tF; push_noty_num=0; push_doumail_num=0; __utmv=30149280.27688; ap_v=0,6.0; _pk_ref.100001.afe6=%5B%22%22%2C%22%22%2C1704181059%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.afe6=1; __utma=30149280.678212503.1704177535.1704177535.1704181060.2; __utmt=1;__utmb=30149280.3.9.1704181060'}
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.content, 'lxml')
title_list = []
href_list = []
divs = soup.find_all('div', class_="pl2")
for div in divs:
href = div.find('a')['href']
title = div.find('a').text.strip()
href_list.append(href)
title_list.append(title)
wb = xlwt.Workbook()
sheet1 = wb.add_sheet('豆瓣音乐')
sheet1.write(0, 0, '标题')
sheet1.write(0, 1, '链接')
for row in range(1, len(title_list) + 1, 1):
sheet1.write(row, 0, title_list)
sheet1.write(row, 1, href_list)
wb.save(r'C:\Users\admin1\Desktop\34qc.xls')
在修改后的代码中，我们对每一个div标签进行了遍历，通过`div.find('a')['href']`来获取链接，通过`div.find('a').text.strip()`来获取标题，并将它们分别添加到链接列表和标题列表中。然后，再通过循环将每一行的标题和链接写入对应的单元格。这样就可以获取到所有行的数据了。
以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。 按照这个基础，爬取表演者，发行时间 爬取标题，表演者，发行时间
在豆瓣音乐标签: 流行里面只爬取标题，表演者，发行时间，链接
页:
[1]