鱼C论坛

 找回密码
 立即注册
查看: 6326|回复: 12

爬取酷狗音乐歌曲json数据请求错误

[复制链接]
发表于 2019-5-30 20:15:37 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 liuhaitaozky 于 2019-5-31 13:37 编辑

https://wwwapi.kugou.com/yy/inde ... 5ECF39FDA68B5D039DF
这个地址放到浏览器里就有返回值,但是Python得到json数据就会返回{'data': [], 'err_code': 20010, 'status': 0}
这是什么原因
下面是浏览器返回的内容
{"status":1,"err_code":0,"data":{"hash":"0298B1B25F6E35ECF39FDA68B5D039DF","timelength":232023,"filesize":3716494,"audio_name":"\u8521\u7434 - \u60c5\u9501","have_album":1,"album_name":"\u4f24\u5fc3\u5c0f\u7ad9","album_id":"959665","img":"http:\/\/imge.kugou.com\/stdmusic\/20150720\/20150720190918966192.jpg","have_mv":1,"video_id":"10992","author_name":"\u8521\u7434","song_name":"\u60c5\u9501","lyrics":"[00:23.88]\u6709\u4eba\u544a\u8bc9\u6211\r\n[00:26.58]\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n[00:29.68]\u6211\u4ece\u6765\u672a\u66fe\u5c1d\u8bd5\r\n[00:32.59]\u600e\u4e48\u80fd\u4fe1\u5f97\u8fc7\r\n[00:35.60]\u81ea\u4ece\u9047\u89c1\u4f60\r\n[00:38.07]\u7231\u60c5\u9501\u4f4f\u4e86\u6211\r\n[00:41.52]\u4f60\u504f\u53c8\u6084\u7136\u79bb\u53bb\r\n[00:44.42]\u5374\u6ca1\u8bf4\u4e3a\u4ec0\u4e48\u4e3a\u4ec0\u4e48\r\n[00:51.11]\u6211\u4e0d\u613f\u53bb\u76f8\u601d\r\n[00:52.91]\u76f8\u601d\u597d\u8c61\u4e00\u4e2a\u9752\u82f9\u679c\r\n[00:56.31]\u6ca1\u6709\u751c\u53ea\u6709\u6da9\r\n[00:59.36]\u4f55\u5fc5\u8ba9\u90a3\u76f8\u601d\u56f0\u6270\u6211\r\n[01:02.36]\u4e0d\u77e5\u9053\u4e3a\u4ec0\u4e48\r\n[01:05.31]\u4f60\u7684\u5f71\u5b50\u603b\u662f\u5728\u5fc3\u7a9d\r\n[01:08.27]\u60f3\u8981\u4e22\u4e22\u4e0d\u5f00\r\n[01:10.72]\u8eb2\u4e5f\u8eb2\u4e0d\u8fc7\r\n[01:14.47]\u6709\u4eba\u544a\u8bc9\u6211\r\n[01:17.03]\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n[01:20.13]\u5982\u4eca\u6211\u5df2\u7136\u5c1d\u5230\r\n[01:22.89]\u5c1d\u5230\u8fd9\u82e6\u679c\u8fd9\u82e6\u679c\r\n[01:52.91]\u6709\u4eba\u544a\u8bc9\u6211\r\n[01:55.41]\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n[01:58.76]\u6211\u4ece\u6765\u672a\u66fe\u5c1d\u8bd5\r\n[02:01.51]\u600e\u4e48\u80fd\u4fe1\u5f97\u8fc7\r\n[02:04.51]\u81ea\u4ece\u9047\u89c1\u4f60\r\n[02:07.21]\u7231\u60c5\u9501\u4f4f\u4e86\u6211\r\n[02:10.57]\u4f60\u504f\u53c8\u6084\u7136\u79bb\u53bb\r\n[02:13.27]\u5374\u6ca1\u8bf4\u4e3a\u4ec0\u4e48\u4e3a\u4ec0\u4e48\r\n[02:19.92]\u6211\u4e0d\u613f\u53bb\u76f8\u601d\r\n[02:22.17]\u76f8\u601d\u597d\u8c61\u4e00\u4e2a\u9752\u82f9\u679c\r\n[02:25.27]\u6ca1\u6709\u751c\u53ea\u6709\u6da9\r\n[02:28.28]\u4f55\u5fc5\u8ba9\u90a3\u76f8\u601d\u56f0\u6270\u6211\r\n[02:31.38]\u4e0d\u77e5\u9053\u4e3a\u4ec0\u4e48\r\n[02:34.13]\u4f60\u7684\u5f71\u5b50\u603b\u662f\u5728\u5fc3\u7a9d\r\n[02:37.13]\u60f3\u8981\u4e22\u4e22\u4e0d\u5f00\r\n[02:39.68]\u8eb2\u4e5f\u8eb2\u4e0d\u8fc7\r\n[02:43.28]\u6709\u4eba\u544a\u8bc9\u6211\r\n[02:46.08]\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n[02:49.23]\u5982\u4eca\u6211\u5df2\u7136\u5c1d\u5230\r\n[02:51.98]\u5c1d\u5230\u8fd9\u82e6\u679c\u8fd9\u82e6\u679c\r\n[02:58.24]\u6211\u4e0d\u613f\u53bb\u76f8\u601d\r\n[03:00.79]\u76f8\u601d\u597d\u8c61\u4e00\u4e2a\u9752\u82f9\u679c\r\n[03:03.84]\u6ca1\u6709\u751c\u53ea\u6709\u6da9\r\n[03:06.79]\u4f55\u5fc5\u8ba9\u90a3\u76f8\u601d\u56f0\u6270\u6211\r\n[03:09.89]\u4e0d\u77e5\u9053\u4e3a\u4ec0\u4e48\r\n[03:12.69]\u4f60\u7684\u5f71\u5b50\u603b\u662f\u5728\u5fc3\u7a9d\r\n[03:15.74]\u60f3\u8981\u4e22\u4e22\u4e0d\u5f00\r\n[03:18.19]\u8eb2\u4e5f\u8eb2\u4e0d\u8fc7\r\n[03:21.79]\u6709\u4eba\u544a\u8bc9\u6211\r\n[03:24.51]\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n[03:27.71]\u5982\u4eca\u6211\u5df2\u7136\u5c1d\u5230\r\n[03:30.51]\u5c1d\u5230\u8fd9\u82e6\u679c\u8fd9\u82e6\u679c\r\n","author_id":"4249","privilege":8,"privilege2":"1000","play_url":"https:\/\/webfs.yun.kugou.com\/201905311331\/1e1b7854f344dcc5bf6e25b42c70328e\/G142\/M00\/01\/0D\/LocBAFuKc26ASF8_ADi1jkKGRWs892.mp3","authors":[{"author_id":"4249","sizable_avatar":"http:\/\/singerimg.kugou.com\/uploadpic\/softhead\/{size}\/20160429\/20160429120324857.jpg","is_publish":"1","author_name":"\u8521\u7434","avatar":"http:\/\/singerimg.kugou.com\/uploadpic\/softhead\/400\/20160429\/20160429120324857.jpg"}],"bitrate":128,"audio_id":"71003"}}
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2019-5-31 12:18:10 | 显示全部楼层
浏览器直接访问也是错的,不懂你问啥
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-5-31 13:30:31 | 显示全部楼层
松_HWI3H 发表于 2019-5-31 12:18
浏览器直接访问也是错的,不懂你问啥

我用360极速浏览器是可以的 刚才又试了下IE 会出错
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-5-31 13:35:27 | 显示全部楼层
松_HWI3H 发表于 2019-5-31 12:18
浏览器直接访问也是错的,不懂你问啥

我现在还发不了图片 下面是360极速浏览器返回的内容
{"status":1,"err_code":0,"data":{"hash":"0298B1B25F6E35ECF39FDA68B5D039DF","timelength":232023,"filesize":3716494,"audio_name":"\u8521\u7434 - \u60c5\u9501","have_album":1,"album_name":"\u4f24\u5fc3\u5c0f\u7ad9","album_id":"959665","img":"http:\/\/imge.kugou.com\/stdmusic\/20150720\/20150720190918966192.jpg","have_mv":1,"video_id":"10992","author_name":"\u8521\u7434","song_name":"\u60c5\u9501","lyrics":"[00:23.88]\u6709\u4eba\u544a\u8bc9\u6211\r\n[00:26.58]\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n[00:29.68]\u6211\u4ece\u6765\u672a\u66fe\u5c1d\u8bd5\r\n[00:32.59]\u600e\u4e48\u80fd\u4fe1\u5f97\u8fc7\r\n[00:35.60]\u81ea\u4ece\u9047\u89c1\u4f60\r\n[00:38.07]\u7231\u60c5\u9501\u4f4f\u4e86\u6211\r\n[00:41.52]\u4f60\u504f\u53c8\u6084\u7136\u79bb\u53bb\r\n[00:44.42]\u5374\u6ca1\u8bf4\u4e3a\u4ec0\u4e48\u4e3a\u4ec0\u4e48\r\n[00:51.11]\u6211\u4e0d\u613f\u53bb\u76f8\u601d\r\n[00:52.91]\u76f8\u601d\u597d\u8c61\u4e00\u4e2a\u9752\u82f9\u679c\r\n[00:56.31]\u6ca1\u6709\u751c\u53ea\u6709\u6da9\r\n[00:59.36]\u4f55\u5fc5\u8ba9\u90a3\u76f8\u601d\u56f0\u6270\u6211\r\n[01:02.36]\u4e0d\u77e5\u9053\u4e3a\u4ec0\u4e48\r\n[01:05.31]\u4f60\u7684\u5f71\u5b50\u603b\u662f\u5728\u5fc3\u7a9d\r\n[01:08.27]\u60f3\u8981\u4e22\u4e22\u4e0d\u5f00\r\n[01:10.72]\u8eb2\u4e5f\u8eb2\u4e0d\u8fc7\r\n[01:14.47]\u6709\u4eba\u544a\u8bc9\u6211\r\n[01:17.03]\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n[01:20.13]\u5982\u4eca\u6211\u5df2\u7136\u5c1d\u5230\r\n[01:22.89]\u5c1d\u5230\u8fd9\u82e6\u679c\u8fd9\u82e6\u679c\r\n[01:52.91]\u6709\u4eba\u544a\u8bc9\u6211\r\n[01:55.41]\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n[01:58.76]\u6211\u4ece\u6765\u672a\u66fe\u5c1d\u8bd5\r\n[02:01.51]\u600e\u4e48\u80fd\u4fe1\u5f97\u8fc7\r\n[02:04.51]\u81ea\u4ece\u9047\u89c1\u4f60\r\n[02:07.21]\u7231\u60c5\u9501\u4f4f\u4e86\u6211\r\n[02:10.57]\u4f60\u504f\u53c8\u6084\u7136\u79bb\u53bb\r\n[02:13.27]\u5374\u6ca1\u8bf4\u4e3a\u4ec0\u4e48\u4e3a\u4ec0\u4e48\r\n[02:19.92]\u6211\u4e0d\u613f\u53bb\u76f8\u601d\r\n[02:22.17]\u76f8\u601d\u597d\u8c61\u4e00\u4e2a\u9752\u82f9\u679c\r\n[02:25.27]\u6ca1\u6709\u751c\u53ea\u6709\u6da9\r\n[02:28.28]\u4f55\u5fc5\u8ba9\u90a3\u76f8\u601d\u56f0\u6270\u6211\r\n[02:31.38]\u4e0d\u77e5\u9053\u4e3a\u4ec0\u4e48\r\n[02:34.13]\u4f60\u7684\u5f71\u5b50\u603b\u662f\u5728\u5fc3\u7a9d\r\n[02:37.13]\u60f3\u8981\u4e22\u4e22\u4e0d\u5f00\r\n[02:39.68]\u8eb2\u4e5f\u8eb2\u4e0d\u8fc7\r\n[02:43.28]\u6709\u4eba\u544a\u8bc9\u6211\r\n[02:46.08]\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n[02:49.23]\u5982\u4eca\u6211\u5df2\u7136\u5c1d\u5230\r\n[02:51.98]\u5c1d\u5230\u8fd9\u82e6\u679c\u8fd9\u82e6\u679c\r\n[02:58.24]\u6211\u4e0d\u613f\u53bb\u76f8\u601d\r\n[03:00.79]\u76f8\u601d\u597d\u8c61\u4e00\u4e2a\u9752\u82f9\u679c\r\n[03:03.84]\u6ca1\u6709\u751c\u53ea\u6709\u6da9\r\n[03:06.79]\u4f55\u5fc5\u8ba9\u90a3\u76f8\u601d\u56f0\u6270\u6211\r\n[03:09.89]\u4e0d\u77e5\u9053\u4e3a\u4ec0\u4e48\r\n[03:12.69]\u4f60\u7684\u5f71\u5b50\u603b\u662f\u5728\u5fc3\u7a9d\r\n[03:15.74]\u60f3\u8981\u4e22\u4e22\u4e0d\u5f00\r\n[03:18.19]\u8eb2\u4e5f\u8eb2\u4e0d\u8fc7\r\n[03:21.79]\u6709\u4eba\u544a\u8bc9\u6211\r\n[03:24.51]\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n[03:27.71]\u5982\u4eca\u6211\u5df2\u7136\u5c1d\u5230\r\n[03:30.51]\u5c1d\u5230\u8fd9\u82e6\u679c\u8fd9\u82e6\u679c\r\n","author_id":"4249","privilege":8,"privilege2":"1000","play_url":"https:\/\/webfs.yun.kugou.com\/201905311331\/1e1b7854f344dcc5bf6e25b42c70328e\/G142\/M00\/01\/0D\/LocBAFuKc26ASF8_ADi1jkKGRWs892.mp3","authors":[{"author_id":"4249","sizable_avatar":"http:\/\/singerimg.kugou.com\/uploadpic\/softhead\/{size}\/20160429\/20160429120324857.jpg","is_publish":"1","author_name":"\u8521\u7434","avatar":"http:\/\/singerimg.kugou.com\/uploadpic\/softhead\/400\/20160429\/20160429120324857.jpg"}],"bitrate":128,"audio_id":"71003"}}
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-6-2 07:56:10 | 显示全部楼层
既然浏览器能的到数据,那就是你的爬虫被识别出来了,试试加入头部信息。
(我的浏览器也得到的是{'data': [], 'err_code': 20010, 'status': 0})
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-6-2 08:49:44 | 显示全部楼层

.

现在浏览器直接返回{'data': [], 'err_code': 20010, 'status': 0},https://wwwapi.kugou.com/yy/index.php?r=play/getdata&hash=0298B1B25F6E35ECF39..里面的hash需要模拟一下。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-6-2 11:44:02 | 显示全部楼层
松_HWI3H 发表于 2019-6-2 07:56
既然浏览器能的到数据,那就是你的爬虫被识别出来了,试试加入头部信息。
(我的浏览器也得到的是{'data':  ...

加了headers也不行
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-6-2 11:45:11 | 显示全部楼层
kaohsing 发表于 2019-6-2 08:49
现在浏览器直接返回{'data': [], 'err_code': 20010, 'status': 0},https://wwwapi.kugou.com/yy/index.ph ...

能说一下具体怎么做吗
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-6-2 13:40:13 | 显示全部楼层
设计到JS加密咯
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-6-3 21:41:09 | 显示全部楼层
你得说明白要爬什么才好去网页看看
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-6-4 08:27:28 From FishC Mobile | 显示全部楼层
可能这个URL是有时效的,就和网易云的URL一样
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-5-27 16:26:43 | 显示全部楼层
我目前也遇到这个问题了,你最后解决了吗
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-10-13 04:22:45 | 显示全部楼层
本帖最后由 chen1203 于 2021-10-13 04:34 编辑

你的headers和cookie都写进去就可以爬取数据了,反爬虫会检测header和cookie的缺一不可,要不然爬到的是空数据(不用谢记得给我最佳答案,我也是爬酷狗过来的小白)
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-16 19:09

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表