Python爬取喜马拉雅免费相声音频V2

qiuyouzhi

Python爬取喜马拉雅免费相声音频V2

本来想在上一个帖子里面写的，但是沉了，所以这里重新发一个。

需求

1，打印第一页的所有相声专辑，并让用户选择。

2，下载此专辑的所有音乐。

思路

目标URL：https://www.ximalaya.com/xiangsheng/xiangsheng/mr132t2722/

好的，先踩点。

审查元素翻一下：



emmmm，表示并没有找到什么数据，只找到了一张没有用的图片。

这时候怎么办？抓包！



哦豁，看到了什么？一个开头为 audio 的文件！

点开看看：





看到src了吗？直接去看看src对应的值：



直接可以下载了！

所以，观察刚才的包含下载URL的URL：

https://www.ximalaya.com/revision/play/v1/audio?id=276429286&ptype=1

加粗部分需要一个id，目前我们还没有什么好办法去处理它，所以跳过。

先处理第一部分，爬取第一页的相声专辑：



看到这一大片的li标签了吗？我们要的内容就在这里面，

代码实现：

1. def open_url(url):
   
2.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36'}
   
3.     res = get(url, headers=headers)
   
4.     return res
   
5. 
   
6. def get_xs(res):
   
7.     temp = 'https://www.ximalaya.com/xiangsheng'
   
8.     html = etree.HTML(res.text)
   
9.     name = html.xpath("//*[@class='general-album-list']/div[@class='content']/ul/li/div/a/span/text()")
   
10.     href = [temp + each for each in html.xpath("//*[@class='general-album-list']/div[@class='content']/ul/li/div/a[1]/@href")] # 爬下来的链接是个残品，把它和temp组合在一起
    
11.     i = 1
    
12.     result = {}
    
13.     for k in zip(name, href):
    
14.         result[i] = k
    
15.         i += 1
    
16.     return result

复制代码

OK，名字和链接已经保存进字典了，

现在，爬取专辑里面的相声：



老规矩，都在li标签里面，可以写出代码：

1. def get_Videourl(nm, hf, page):
   
2.     def tempfunc(list1):
   
3.         for each in list1:
   
4.             yield from each
   
5.     vdurl = []  # 存放视频url的列表
   
6.     name = []
   
7.     for i in range(1, page + 1):
   
8.         tempurl = hf + f'p{i}'
   
9.         res = open_url(tempurl)
   
10.         html = etree.HTML(res.text)
    
11.         href = html.xpath('//*[@class="sound-list _Qp"]/ul/li/div[2]/a/@href')
    
12.         name.append(html.xpath('//*[@class="sound-list _Qp"]/ul/li/div[2]/a/span/text()'))

复制代码

OK，差不多就这样了，但是，回头看刚才相声里的URL：

https://www.ximalaya.com/xiangsheng/35105051/290954115

诶嘿！后9位，不就是ID号吗？

直接再写一个XPath，提取出来：

1. def get_Videourl(nm, hf, page):
   
2.     def tempfunc(list1):
   
3.         for each in list1:
   
4.             yield from each
   
5.     vdurl = []  # 存放视频url的列表
   
6.     name = []
   
7.     for i in range(1, page + 1):
   
8.         tempurl = hf + f'p{i}'
   
9.         res = open_url(tempurl)
   
10.         html = etree.HTML(res.text)
    
11.         href = html.xpath('//*[@class="sound-list _Qp"]/ul/li/div[2]/a/@href')
    
12.         name.append(html.xpath('//*[@class="sound-list _Qp"]/ul/li/div[2]/a/span/text()'))
    
13.         ids = [each[-9:] for each in href] # 观察可知，id号在url的后9位，直接切片提出来
    
14.         for id in ids:
    
15.             vdurl.append('https://www.ximalaya.com/revision/play/v1/audio?id=%s&ptype=1' % id)
    
16.     return vdurl, list(tempfunc(name))

复制代码

OK啦！现在就差下载数据了。

把ID搞下来后，下载数据最简单：

1. {"ret":200,"data":{"trackId":276429286,"canPlay":true,"isPaid":false,"hasBuy":true,"src":"https://aod.cos.tx.xmcdn.com/group77/M09/AE/4F/wKgO1V6DPwKCI8dMANcavfR4wq4296.m4a","albumIsSample":false,"sampleDuration":180,"isBaiduMusic":false,"firstPlayStatus":true}}

复制代码

链接就在"src"里面，下载代码：

1. def get_Video(vdurl, nm):
   
2.     i = 0
   
3.     for url in vdurl:
   
4.         res = open_url(url).json()
   
5.         for each in res:
   
6.             if type(res[each]) != int:
   
7.                 tempurl = res[each]['src']
   
8.                 video = open_url(tempurl)
   
9.                 filename = f"{nm[i]}.m4a"
   
10.                 print("正在下载：",filename)
    
11.                 with open(filename, 'wb') as f:
    
12.                     f.write(video.content)
    
13.         i += 1
    
14.     print("下载完毕！")

复制代码

完整代码：

1. from requests import get
   
2. from lxml import etree
   
3. import os
   
4. 
   
5. try:
   
6.     os.mkdir("Video")
   
7.     os.chdir("Video")
   
8. except:
   
9.     os.chdir("Video")
   
10. 
    
11. def open_url(url):
    
12.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36'}
    
13.     res = get(url, headers=headers)
    
14.     return res
    
15. 
    
16. def get_xs(res):
    
17.     temp = 'https://www.ximalaya.com/xiangsheng'
    
18.     html = etree.HTML(res.text)
    
19.     name = html.xpath("//*[@class='general-album-list']/div[@class='content']/ul/li/div/a/span/text()")
    
20.     href = [temp + each for each in html.xpath("//*[@class='general-album-list']/div[@class='content']/ul/li/div/a[1]/@href")]
    
21.     i = 1
    
22.     result = {}
    
23.     for k in zip(name, href):
    
24.         result[i] = k
    
25.         i += 1
    
26.     return result
    
27. 
    
28. def get_Videourl(nm, hf, page):
    
29.     def tempfunc(list1):
    
30.         for each in list1:
    
31.             yield from each
    
32.     vdurl = []  # 存放视频url的列表
    
33.     name = []
    
34.     for i in range(1, page + 1):
    
35.         tempurl = hf + f'p{i}'
    
36.         res = open_url(tempurl)
    
37.         html = etree.HTML(res.text)
    
38.         href = html.xpath('//*[@class="sound-list _Qp"]/ul/li/div[2]/a/@href')
    
39.         name.append(html.xpath('//*[@class="sound-list _Qp"]/ul/li/div[2]/a/span/text()'))
    
40.         ids = [each[-9:] for each in href] # 观察可知，id号在url的后9位，直接切片提出来
    
41.         for id in ids:
    
42.             vdurl.append('https://www.ximalaya.com/revision/play/v1/audio?id=%s&ptype=1' % id)
    
43.     return vdurl, list(tempfunc(name))
    
44. 
    
45. def get_Video(vdurl, nm):
    
46.     i = 0
    
47.     for url in vdurl:
    
48.         res = open_url(url).json()
    
49.         for each in res:
    
50.             if type(res[each]) != int:
    
51.                 tempurl = res[each]['src']
    
52.                 video = open_url(tempurl)
    
53.                 filename = f"{nm[i]}.m4a"
    
54.                 print("正在下载：",filename)
    
55.                 with open(filename, 'wb') as f:
    
56.                     f.write(video.content)
    
57.         i += 1
    
58.     print("下载完毕！")
    
59. 
    
60. def main():
    
61.     url = 'https://www.ximalaya.com/xiangsheng/xiangsheng/mr132t2722/'
    
62.     res = open_url(url)
    
63.     result = get_xs(res)
    
64.     for i in result:
    
65.         for j in range(0,len(result[i]), 2):
    
66.             print(i, end = ' ')
    
67.             print(result[i][j])
    
68. 
    
69.     choice = int(input("请选择您要听的专辑序号："))
    
70.     nm, hf = result[choice]
    
71.     page = int(input("请选择您要爬取的页码："))
    
72.     vdurl, nm = get_Videourl(nm, hf, page)
    
73.     get_Video(vdurl, nm)
    
74. 
    
75. 
    
76. if __name__ == "__main__":
    
77.     main()

复制代码

乘号

沙发

cupbbboom

2892150342ABC

不懂啊·

jmy_286501

我是用selenium来爬取的，不过VIP的爬不了