鱼C论坛

 找回密码
 立即注册
查看: 2924|回复: 11

[作品展示] 爬取喜马拉雅音频文件.高端写法

[复制链接]
发表于 2020-8-21 18:24:05 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 luxiaolan6373 于 2020-8-21 18:29 编辑

喜马拉雅音频获取 我抓到了两个接口,蛮方便的获取起来.新手可以看看,我看论坛的那种是最低端的获取方法了,搞个稍微高级点的例子给你们看看
如果要获取VIP音频,那就自己把cookies获取一下,然后填进去
  1. import requests
  2. import bs4
  3. import json
  4. import os
  5. import openpyxl


  6. class Ximalaya():
  7.     def __init__(self):
  8.         self.url = 'https://www.ximalaya.com'
  9.         self.headers = {
  10.             "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}

  11.     # 关键字搜索,返回一个列表 的字典数据
  12.     def search(self, kw):
  13.         res = requests.get(self.url + "/search/" + kw, headers=self.headers)
  14.         bs = bs4.BeautifulSoup(res.text, "html.parser")
  15.         # bs1放的是标题和网址  bs2放的是图片地址
  16.         bs1 = bs.find_all('a', class_="xm-album-title ellipsis-2")
  17.         bs2 = bs.find_all('a', class_="xm-album-cover")
  18.         # 图片
  19.         ls = []
  20.         for i in range(len(bs1)):
  21.             d = dict.fromkeys(("title", "albumId", "src", 'count'))
  22.             d['title'] = bs1[i]['title']  # 标题
  23.             d['albumId'] = bs1[i]['href'].split('/')[-2]  # 网址的albumId
  24.             d['src'] = "https:" + bs2[i].img['src']  # 图片
  25.             d['count'] = bs2[i].find('div', class_='listen-count').span.text  # 播放量
  26.             ls.append(d)

  27.         return ls

  28.     # 访问目标专辑的网页,然后获取所有的章节的列表字典数据+"p1/"
  29.     def get_album(self, albumId):
  30.         res = requests.get(f"{self.url}/revision/album/v1/getTracksList?albumId={albumId}&pageNum=1&sort=0&pageSize=30",
  31.                            headers=self.headers)
  32.         js = json.loads(res.text)
  33.         # 获取总页数 分页计算总页数算法
  34.         pageSize = 1000
  35.         totalRecord = int(js['data']['trackTotalCount'])
  36.         totalPageNum = int((totalRecord + pageSize - 1) / pageSize)
  37.         ls = []
  38.         for i in range(totalPageNum):
  39.             res = requests.get(
  40.                 f"{self.url}/revision/album/v1/getTracksList?albumId={albumId}&pageNum={i + 1}&sort=0&pageSize={pageSize}",
  41.                 headers=self.headers)
  42.             js1 = json.loads(res.text)
  43.             js1 = js1['data']['tracks']
  44.             for item in js1:
  45.                 d = dict.fromkeys(('title', 'trackId', 'playCount'))
  46.                 d["title"] = item['title']  # 标题
  47.                 d["playCount"] = item['playCount']  # 播放量
  48.                 d["trackId"] = item['trackId']  # 下载接口id
  49.                 ls.append(d)
  50.         return ls

  51.     # 下载音频文件,返回下载结果 需要提供章节字典 和目录名
  52.     def donwn(self, section, sname):
  53.         try:
  54.             # 如果没有这个目录则创建一个目录
  55.             if os.path.isdir(sname) == False:
  56.                 os.makedirs(sname)
  57.             sname = sname + r"/"
  58.             res = requests.get(f"https://www.ximalaya.com/revision/play/v1/audio?id={section['trackId']}&ptype=1",
  59.                                headers=self.headers)
  60.             js = json.loads(res.text)
  61.             res = requests.get(js['data']['src'], headers=self.headers).content
  62.             with open(sname + section['title'] + ".m4a", 'wb') as file:
  63.                 file.write(res)
  64.             print(section['title'] + " 下载成功!")
  65.         except:
  66.             print(section['title'] + " 下载失败!")


  67.     #将数据保存到excel表格中
  68.     def to_excel(self, sections, sname):
  69.         try:
  70.             wb = openpyxl.Workbook()
  71.             ws = wb.active  # 获取工作表
  72.             ws.freeze_panes = 'B2'
  73.             #设置行宽 高  width是字符数 height是像素
  74.             ws.row_dimensions[1].height = 25
  75.             ws.column_dimensions['A'].width = 50
  76.             ws.column_dimensions['B'].width = 90
  77.             ws.column_dimensions['C'].width = 20
  78.             ws.append(['title', 'm4aUrl', 'playCount'])


  79.             sname = sname + ".xlsx"
  80.             for item in sections:
  81.                 res = requests.get(f"https://www.ximalaya.com/revision/play/v1/audio?id={item['trackId']}&ptype=1",
  82.                                    headers=self.headers)
  83.                 js = json.loads(res.text)
  84.                 print(item['title'], js['data']['src'], item['playCount'])
  85.                 ws.append([item['title'], js['data']['src'], item['playCount']])
  86.             wb.save(sname)
  87.             print(f"保存到 {sname} 成功!")
  88.         except:
  89.             print(f"保存到 {sname} 失败!")


  90. if __name__ == "__main__":
  91.     while True:
  92.         xmly = Ximalaya()
  93.         while True:
  94.             try:
  95.                 kw = input("请输入您想搜索的关键字:(书名或者作者)\r\n")
  96.                 ls = xmly.search(kw)
  97.                 for i, item in enumerate(ls):
  98.                     txt = f"{i + 1}-{item['title']}-{item['count']}"
  99.                     print(txt)
  100.                 xh = input(f"请输入您想要下载的专辑的序号:1-{len(ls)}  返回上一步请输入'#'键\r\n")
  101.                 # 如果输入了#号键则继续循环问..不是则跳出循环
  102.                 if xh != '#':
  103.                     try:
  104.                         xh = int(xh) - 1
  105.                         break
  106.                     except:
  107.                         print("输入有误!回到开始位置")

  108.             except:
  109.                 print("关键字有误,或者没找到!")
  110.         print("正在遍历所有的章节,这需要些时间.......")
  111.         # 根据用户选的序号来选择遍历哪个有声书的所有章节
  112.         sections = xmly.get_album(ls[xh]["albumId"])
  113.         for i, item in enumerate(sections):
  114.             print(i + 1, item['title'])
  115.         ts = input(
  116.             f"           有几种交互方式,请参考!\r\n1.请输入需要下载的章节序号:1-{len(sections)} 支持范围下载 例如输入:10-100\r\n2.如果您要全部都下载,请输入'#'键\r\n3.如果您要全部打印到excel表格里请输入'e'键\r\n4.退出按x键\r\n")
  117.         name = ls[xh]["title"]
  118.         if ts == "#":  # 全部下载
  119.             for item in sections:
  120.                 xmly.donwn(item, name)
  121.         else:
  122.             if '-' in ts:  # 范围下载
  123.                 min, max = ts.split('-')
  124.                 for i in range(int(min), int(max) + 1):
  125.                     xmly.donwn(sections[i], name)
  126.             elif ts == 'e':  # 将数据保存到excel表格里
  127.                 xmly.to_excel(sections, name)
  128.             elif ts=='x':
  129.                 break
  130.             else:  # 按序号下载
  131.                 xmly.donwn(sections[int(ts) - 1], name)
  132.         ts=input("还要继续输入'j'键,退出输入任意键")
  133.         if ts!='j':
  134.             break


复制代码

本帖被以下淘专辑推荐:

小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2020-8-21 21:32:16 | 显示全部楼层
顶一波贴!
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-8-27 19:39:50 | 显示全部楼层
本帖最后由 ChinaLee 于 2020-8-27 19:46 编辑

楼主,cookies要放在哪个位置,我放在head这边好像不行啊。cookies规则是我这样吗。
11.jpg
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-8-27 23:21:39 | 显示全部楼层
ChinaLee 发表于 2020-8-27 19:39
楼主,cookies要放在哪个位置,我放在head这边好像不行啊。cookies规则是我这样吗。

cookies不会找的话,,那你要研究一下  f12调试器了..百度一下 调试器怎么看cookies
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-8-27 23:23:53 | 显示全部楼层
ChinaLee 发表于 2020-8-27 19:39
楼主,cookies要放在哪个位置,我放在head这边好像不行啊。cookies规则是我这样吗。

,,字典类型的数据不是这样放的,,
self.headers = {
            "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36",
        'cookies':'这里填'}
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-8-28 08:44:21 | 显示全部楼层
小白前来学习
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-8-28 15:38:16 | 显示全部楼层
luxiaolan6373 发表于 2020-8-27 23:23
,,字典类型的数据不是这样放的,,
self.headers = {
            "user-agent": "Mozilla/5.0 (Windows ...

楼主,按照你的方法添加cookies进去,下载vip音频还是失败的,不知道是不是我添加的喜马拉雅cookies方式不对,不知道喜马拉雅的cookies是要全部添加进去还是只要添加1&_token=后面的。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-8-29 20:09:21 | 显示全部楼层
ChinaLee 发表于 2020-8-28 15:38
楼主,按照你的方法添加cookies进去,下载vip音频还是失败的,不知道是不是我添加的喜马拉雅cookies方式 ...

如果是那种付费喜点的,,你得先买  或者自己抓下包,,看看是不是我那个包,vip的链接接口可能有点小变化
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-8-29 21:57:03 | 显示全部楼层
luxiaolan6373 发表于 2020-8-29 20:09
如果是那种付费喜点的,,你得先买  或者自己抓下包,,看看是不是我那个包,vip的链接接口可能有点小变化

现在好像普通的也下载不了了,不知道我是不是被封IP了,还是python不行了。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-8-30 21:38:28 | 显示全部楼层
ChinaLee 发表于 2020-8-29 21:57
现在好像普通的也下载不了了,不知道我是不是被封IP了,还是python不行了。

普通的肯定可以下的,,,我都下好多了
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-8-30 21:39:09 | 显示全部楼层
luxiaolan6373 发表于 2020-8-30 21:38
普通的肯定可以下的,,,我都下好多了

py调试一下就知道了
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-9-1 21:47:56 | 显示全部楼层
luxiaolan6373 发表于 2020-8-30 21:39
py调试一下就知道了

前几天下载免费音频还可以,这几天下载都是失败,
调试了只显示:pydev debugger: process 5976 is connecting数字会随机,但没有错误。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-26 13:21

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表