[已解决]Python爬虫06(朋友实训项目)

liyifeng295641 · 发表于 2024-1-3 17:39:30

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

在豆瓣音乐标签: 流行里只能爬取标题和链接，没有音乐家和音乐发布时间

import requests
from bs4 import BeautifulSoup
import xlwt
url = "https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start=260&type=T"
headers = {'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36','Cookie':
'll="118254"; bid=hUyLZc0IQ-0; __utmc=30149280; __utmz=30149280.1704177535.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _pk_id.100001.afe6=e3aa424645194a40.1704178112.; __yadk_uid=vQ2OnDmCyRJ7MgONjIYqxroh3kmJOC0n; _vwo_uuid_v2=DC4889CAE9BF69AB947F1C739A359D3B1|c7a477b87f67bc643d65031d1e233036; dbcl2="276885079:IyaMMU84wwk"; ck=y-tF; push_noty_num=0; push_doumail_num=0; __utmv=30149280.27688; ap_v=0,6.0; _pk_ref.100001.afe6=%5B%22%22%2C%22%22%2C1704181059%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.afe6=1; __utma=30149280.678212503.1704177535.1704177535.1704181060.2; __utmt=1;__utmb=30149280.3.9.1704181060'}
r=requests.get(url,headers=headers)
content=r.content.decode('utf-8')
with open('douban.html','wb')as file:
    file.write(r.content)
title_list=[]
href_list=[]
for i in range(0,400,20):
    url = 'https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start={i}&type=T'
    soup=BeautifulSoup(content,'lxml')
    divs=soup.find_all('div',class_="pl2")
    for div in divs:
        href=div.find('a')['href']
        href_list.append(href)
        title=div.find('a').text
        title_list.append(title)


print(href_list)
print(title_list)
wb=xlwt.Workbook()
sheet1=wb.add_sheet('豆瓣音乐')
sheet1.write(0,0,'标题')
sheet1.write(0,1,'链接')

for row in range(1,len(title_list)+1,1):
    sheet1.write(row,0,title_list[row-1])
    sheet1.write(row,1,href_list[row-1])

wb.save(r'C:\Users\admin1\Desktop\34qc.xls')

最佳答案

月排行榜 / 总排行榜

FishC

2024-1-3 17:39:52

代码有一些问题。首先，在循环中获取链接和标题时，应该将网页请求和解析放在循环内部，这样才能正确获取每一页的数据。其次，在写入Excel表格时，应该将每一个标题和链接写入不同的行，现在是将整个列表写入所有行。下面是修改后的代码：

import requests
from bs4 import BeautifulSoup
import xlwt

url = "https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start=260&type=T"
headers = {'User-Agent':
           'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36','Cookie':
           'll="118254"; bid=hUyLZc0IQ-0; __utmc=30149280; __utmz=30149280.1704177535.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _pk_id.100001.afe6=e3aa424645194a40.1704178112.; __yadk_uid=vQ2OnDmCyRJ7MgONjIYqxroh3kmJOC0n; _vwo_uuid_v2=DC4889CAE9BF69AB947F1C739A359D3B1|c7a477b87f67bc643d65031d1e233036; dbcl2="276885079:IyaMMU84wwk"; ck=y-tF; push_noty_num=0; push_doumail_num=0; __utmv=30149280.27688; ap_v=0,6.0; _pk_ref.100001.afe6=%5B%22%22%2C%22%22%2C1704181059%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.afe6=1; __utma=30149280.678212503.1704177535.1704177535.1704181060.2; __utmt=1;__utmb=30149280.3.9.1704181060'}
r = requests.get(url, headers=headers)
content = r.content.decode('utf-8')

title_list = []
href_list = []

for i in range(0, 400, 20):
    url = f'https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start={i}&type=T'
    r = requests.get(url, headers=headers)
    soup = BeautifulSoup(r.content, 'lxml')
    divs = soup.find_all('div', class_="pl2")
    for div in divs:
        href = div.find('a')['href']
        href_list.append(href)
        title = div.find('a').text.strip()
        title_list.append(title)

wb = xlwt.Workbook()
sheet1 = wb.add_sheet('豆瓣音乐')
sheet1.write(0, 0, '标题')
sheet1.write(0, 1, '链接')

for row in range(1, len(title_list) + 1, 1):
    sheet1.write(row, 0, title_list[row-1])
    sheet1.write(row, 1, href_list[row-1])

wb.save(r'C:\Users\admin1\Desktop\34qc.xls')

修改后的代码中，首先在循环内部发送网页请求和解析HTML，然后分别将标题和链接添加到对应的列表中。最后，在写入Excel表格时，将每一个标题和链接写入不同的行。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

跳转到最佳答案楼层

FishC · 发表于 2024-1-3 17:39:52

代码有一些问题。首先，在循环中获取链接和标题时，应该将网页请求和解析放在循环内部，这样才能正确获取每一页的数据。其次，在写入Excel表格时，应该将每一个标题和链接写入不同的行，现在是将整个列表写入所有行。下面是修改后的代码：

import requests
from bs4 import BeautifulSoup
import xlwt

url = "https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start=260&type=T"
headers = {'User-Agent':
           'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36','Cookie':
           'll="118254"; bid=hUyLZc0IQ-0; __utmc=30149280; __utmz=30149280.1704177535.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _pk_id.100001.afe6=e3aa424645194a40.1704178112.; __yadk_uid=vQ2OnDmCyRJ7MgONjIYqxroh3kmJOC0n; _vwo_uuid_v2=DC4889CAE9BF69AB947F1C739A359D3B1|c7a477b87f67bc643d65031d1e233036; dbcl2="276885079:IyaMMU84wwk"; ck=y-tF; push_noty_num=0; push_doumail_num=0; __utmv=30149280.27688; ap_v=0,6.0; _pk_ref.100001.afe6=%5B%22%22%2C%22%22%2C1704181059%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.afe6=1; __utma=30149280.678212503.1704177535.1704177535.1704181060.2; __utmt=1;__utmb=30149280.3.9.1704181060'}
r = requests.get(url, headers=headers)
content = r.content.decode('utf-8')

title_list = []
href_list = []

for i in range(0, 400, 20):
    url = f'https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start={i}&type=T'
    r = requests.get(url, headers=headers)
    soup = BeautifulSoup(r.content, 'lxml')
    divs = soup.find_all('div', class_="pl2")
    for div in divs:
        href = div.find('a')['href']
        href_list.append(href)
        title = div.find('a').text.strip()
        title_list.append(title)

wb = xlwt.Workbook()
sheet1 = wb.add_sheet('豆瓣音乐')
sheet1.write(0, 0, '标题')
sheet1.write(0, 1, '链接')

for row in range(1, len(title_list) + 1, 1):
    sheet1.write(row, 0, title_list[row-1])
    sheet1.write(row, 1, href_list[row-1])

wb.save(r'C:\Users\admin1\Desktop\34qc.xls')

修改后的代码中，首先在循环内部发送网页请求和解析HTML，然后分别将标题和链接添加到对应的列表中。最后，在写入Excel表格时，将每一个标题和链接写入不同的行。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

cd132 · 发表于 2024-1-3 17:47:03

没有数据，爬取歌手，发行时间，相关链接

liyifeng295641 · 发表于 2024-1-3 17:47:31

FishC 发表于 2024-1-3 17:39
代码有一些问题。首先，在循环中获取链接和标题时，应该将网页请求和解析放在循环内部，这样才能正确获取每 ...

没有数据，爬取歌手，发行时间，相关链接

cd132 · 发表于 2024-1-3 17:47:49

没有数据，爬取歌手，发行时间，相关链接

FishC · 发表于 2024-1-3 17:47:52

liyifeng295641 发表于 2024-01-03 17:47
没有数据，爬取歌手，发行时间，相关链接

我了解到您想要爬取豆瓣音乐标签中流行音乐的歌手、发行时间和相关链接。下面是修改后的代码来实现这个需求：

import requests
from bs4 import BeautifulSoup
import xlwt

url = "https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start=0&type=T"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36',
    'Cookie': 'll="118254"; bid=hUyLZc0IQ-0; __utmc=30149280; __utmz=30149280.1704177535.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _pk_id.100001.afe6=e3aa424645194a40.1704178112.; __yadk_uid=vQ2OnDmCyRJ7MgONjIYqxroh3kmJOC0n; _vwo_uuid_v2=DC4889CAE9BF69AB947F1C739A359D3B1|c7a477b87f67bc643d65031d1e233036; dbcl2="276885079:IyaMMU84wwk"; ck=y-tF; push_noty_num=0; push_doumail_num=0; __utmv=30149280.27688; ap_v=0,6.0; _pk_ref.100001.afe6=%5B%22%22%2C%22%22%2C1704181059%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.afe6=1; __utma=30149280.678212503.1704177535.1704177535.1704181060.2; __utmt=1;__utmb=30149280.3.9.1704181060'
}

r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.content, 'lxml')

data_list = []

for item in soup.find_all('div', class_='pl2'):
    title = item.find('a').text.strip()  # 标题
    href = item.find('a')['href']  # 相关链接

    r_item = requests.get(href, headers=headers)
    soup_item = BeautifulSoup(r_item.content, 'lxml')
    
    artist = soup_item.find('span', class_='pl').text.split(':')[1].strip()  # 歌手
    release_time = soup_item.find('span', class_='p2').text.strip()  # 发行时间

    data_list.append([title, artist, release_time, href])

wb = xlwt.Workbook()
sheet1 = wb.add_sheet('豆瓣音乐')
sheet1.write(0, 0, '标题')
sheet1.write(0, 1, '歌手')
sheet1.write(0, 2, '发行时间')
sheet1.write(0, 3, '链接')

for row, data in enumerate(data_list, start=1):
    for col, value in enumerate(data):
        sheet1.write(row, col, value)

wb.save('douban_music.xls')

这段代码首先发送请求获取网页内容，然后使用BeautifulSoup解析网页。之后，循环遍历每个音乐项，提取标题和相关链接。接下来，发送相关链接的请求，获取歌手和发行时间的信息，并将这些信息保存在一个列表中。最后，将列表中的数据写入Excel文件。

请注意，为了能够正确获取歌手和发行时间的信息，我对每个音乐项的相关链接进行了额外的请求和解析操作。这可能会导致爬取速度变慢。如果您觉得速度较慢，可以考虑提前获取所有相关链接，再进行批量请求和解析。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

cd132 · 发表于 2024-1-3 17:50:19

FishC 发表于 2024-1-3 17:47
我了解到您想要爬取豆瓣音乐标签中流行音乐的歌手、发行时间和相关链接。下面是修改后的代码来实现这个 ...

Traceback (most recent call last):
  File "D:\Pycharm\PythonProject\main.py", line 24, in <module>
release_time = soup_item.find('span', class_='p2').text.strip()  # 发行时间
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'text'

FishC · 发表于 2024-1-3 17:50:42

cd132 发表于 2024-01-03 17:50
Traceback (most recent call last):
File "D:\Pyc ...

您遇到了一个属性错误：'NoneType' object has no attribute 'text'，这意味着在执行`soup_item.find('span', class_='p2').text.strip()`时，找不到符合条件的元素。这可能是因为没有发行时间的元素存在，或者选择器选择的是错误的元素。

为了避免出现这个错误，您可以使用`find()`方法的返回值进行判断。如果返回的结果是`None`，则说明没有找到对应的元素，此时可以给发行时间赋予一个默认值，例如"未知"。

下面是修改后的代码：

import requests
from bs4 import BeautifulSoup
import xlwt

url = "https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start=0&type=T"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36',
    'Cookie': 'll="118254"; bid=hUyLZc0IQ-0; __utmc=30149280; __utmz=30149280.1704177535.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _pk_id.100001.afe6=e3aa424645194a40.1704178112.; __yadk_uid=vQ2OnDmCyRJ7MgONjIYqxroh3kmJOC0n; _vwo_uuid_v2=DC4889CAE9BF69AB947F1C739A359D3B1|c7a477b87f67bc643d65031d1e233036; dbcl2="276885079:IyaMMU84wwk"; ck=y-tF; push_noty_num=0; push_doumail_num=0; __utmv=30149280.27688; ap_v=0,6.0; _pk_ref.100001.afe6=%5B%22%22%2C%22%22%2C1704181059%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.afe6=1; __utma=30149280.678212503.1704177535.1704177535.1704181060.2; __utmt=1;__utmb=30149280.3.9.1704181060'
}

r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.content, 'lxml')

data_list = []

for item in soup.find_all('div', class_='pl2'):
    title = item.find('a').text.strip()  # 标题
    href = item.find('a')['href']  # 相关链接
    
    r_item = requests.get(href, headers=headers)
    soup_item = BeautifulSoup(r_item.content, 'lxml')
    
    artist = soup_item.find('span', class_='pl').text.split(':')[1].strip() if soup_item.find('span', class_='pl') else "未知"  # 歌手
    release_time = soup_item.find('span', class_='p2').text.strip() if soup_item.find('span', class_='p2') else "未知"  # 发行时间
    
    data_list.append([title, artist, release_time, href])

wb = xlwt.Workbook()
sheet1 = wb.add_sheet('豆瓣音乐')
sheet1.write(0, 0, '标题')
sheet1.write(0, 1, '歌手')
sheet1.write(0, 2, '发行时间')
sheet1.write(0, 3, '链接')

for row, data in enumerate(data_list, start=1):
    for col, value in enumerate(data):
        sheet1.write(row, col, value)

wb.save('douban_music.xls')

这样，如果没有找到对应的歌手或发行时间，会将其设置为"未知"。您可以根据实际需求修改设置的默认值。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

cd132 · 发表于 2024-1-3 17:59:24

FishC 发表于 2024-1-3 17:39
代码有一些问题。首先，在循环中获取链接和标题时，应该将网页请求和解析放在循环内部，这样才能正确获取每 ...

在豆瓣音乐标签: 流行里面只能爬取第一行标题和链接，不能爬取第二行

FishC · 发表于 2024-1-3 17:59:41

cd132 发表于 2024-01-03 17:59
在豆瓣音乐标签: 流行里面只能爬取第一行标题和链接， ...

原因是在循环内部的提取标题和链接的代码中，我们没有针对每一行进行循环，而是直接获取了第一个div标签的数据。为了解决这个问题，我们需要对每一个div标签进行遍历，并依次获取每一行的标题和链接。下面是修改后的代码：

import requests
from bs4 import BeautifulSoup
import xlwt

url = "https://music.douban.com/tag/%E6%B5%81%E8%A1%8C?start=260&type=T"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36',
           'Cookie': 'll="118254"; bid=hUyLZc0IQ-0; __utmc=30149280; __utmz=30149280.1704177535.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _pk_id.100001.afe6=e3aa424645194a40.1704178112.; __yadk_uid=vQ2OnDmCyRJ7MgONjIYqxroh3kmJOC0n; _vwo_uuid_v2=DC4889CAE9BF69AB947F1C739A359D3B1|c7a477b87f67bc643d65031d1e233036; dbcl2="276885079:IyaMMU84wwk"; ck=y-tF; push_noty_num=0; push_doumail_num=0; __utmv=30149280.27688; ap_v=0,6.0; _pk_ref.100001.afe6=%5B%22%22%2C%22%22%2C1704181059%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.afe6=1; __utma=30149280.678212503.1704177535.1704177535.1704181060.2; __utmt=1;__utmb=30149280.3.9.1704181060'}

r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.content, 'lxml')

title_list = []
href_list = []

divs = soup.find_all('div', class_="pl2")
for div in divs:
    href = div.find('a')['href']
    title = div.find('a').text.strip()
    href_list.append(href)
    title_list.append(title)

wb = xlwt.Workbook()
sheet1 = wb.add_sheet('豆瓣音乐')
sheet1.write(0, 0, '标题')
sheet1.write(0, 1, '链接')

for row in range(1, len(title_list) + 1, 1):
    sheet1.write(row, 0, title_list[row-1])
    sheet1.write(row, 1, href_list[row-1])

wb.save(r'C:\Users\admin1\Desktop\34qc.xls')

在修改后的代码中，我们对每一个div标签进行了遍历，通过`div.find('a')['href']`来获取链接，通过`div.find('a').text.strip()`来获取标题，并将它们分别添加到链接列表和标题列表中。然后，再通过循环将每一行的标题和链接写入对应的单元格。这样就可以获取到所有行的数据了。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

cd132 · 发表于 2024-1-3 18:08:00

按照这个基础，爬取表演者，发行时间

cd132 · 发表于 2024-1-3 18:10:17

爬取标题，表演者，发行时间

cd132 · 发表于 2024-1-3 18:16:30

在豆瓣音乐标签: 流行里面只爬取标题，表演者，发行时间，链接

账号		自动登录	找回密码
密码			立即注册

[已解决]Python爬虫06(朋友实训项目)

马上注册，结交更多好友，享用更多功能^_^

本帖被以下淘专辑推荐:

相关帖子