liuhaitaozky 发表于 2019-5-30 20:15:37

爬取酷狗音乐歌曲json数据请求错误

本帖最后由 liuhaitaozky 于 2019-5-31 13:37 编辑

https://wwwapi.kugou.com/yy/index.php?r=play/getdata&hash=0298B1B25F6E35ECF39FDA68B5D039DF
这个地址放到浏览器里就有返回值，但是Python得到json数据就会返回{'data': [], 'err_code': 20010, 'status': 0}
这是什么原因
下面是浏览器返回的内容
{"status":1,"err_code":0,"data":{"hash":"0298B1B25F6E35ECF39FDA68B5D039DF","timelength":232023,"filesize":3716494,"audio_name":"\u8521\u7434 - \u60c5\u9501","have_album":1,"album_name":"\u4f24\u5fc3\u5c0f\u7ad9","album_id":"959665","img":"http:\/\/imge.kugou.com\/stdmusic\/20150720\/20150720190918966192.jpg","have_mv":1,"video_id":"10992","author_name":"\u8521\u7434","song_name":"\u60c5\u9501","lyrics":"\u6709\u4eba\u544a\u8bc9\u6211\r\n\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n\u6211\u4ece\u6765\u672a\u66fe\u5c1d\u8bd5\r\n\u600e\u4e48\u80fd\u4fe1\u5f97\u8fc7\r\n\u81ea\u4ece\u9047\u89c1\u4f60\r\n\u7231\u60c5\u9501\u4f4f\u4e86\u6211\r\n\u4f60\u504f\u53c8\u6084\u7136\u79bb\u53bb\r\n\u5374\u6ca1\u8bf4\u4e3a\u4ec0\u4e48\u4e3a\u4ec0\u4e48\r\n\u6211\u4e0d\u613f\u53bb\u76f8\u601d\r\n\u76f8\u601d\u597d\u8c61\u4e00\u4e2a\u9752\u82f9\u679c\r\n\u6ca1\u6709\u751c\u53ea\u6709\u6da9\r\n\u4f55\u5fc5\u8ba9\u90a3\u76f8\u601d\u56f0\u6270\u6211\r\n\u4e0d\u77e5\u9053\u4e3a\u4ec0\u4e48\r\n\u4f60\u7684\u5f71\u5b50\u603b\u662f\u5728\u5fc3\u7a9d\r\n\u60f3\u8981\u4e22\u4e22\u4e0d\u5f00\r\n\u8eb2\u4e5f\u8eb2\u4e0d\u8fc7\r\n\u6709\u4eba\u544a\u8bc9\u6211\r\n\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n\u5982\u4eca\u6211\u5df2\u7136\u5c1d\u5230\r\n\u5c1d\u5230\u8fd9\u82e6\u679c\u8fd9\u82e6\u679c\r\n\u6709\u4eba\u544a\u8bc9\u6211\r\n\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n\u6211\u4ece\u6765\u672a\u66fe\u5c1d\u8bd5\r\n\u600e\u4e48\u80fd\u4fe1\u5f97\u8fc7\r\n\u81ea\u4ece\u9047\u89c1\u4f60\r\n\u7231\u60c5\u9501\u4f4f\u4e86\u6211\r\n\u4f60\u504f\u53c8\u6084\u7136\u79bb\u53bb\r\n\u5374\u6ca1\u8bf4\u4e3a\u4ec0\u4e48\u4e3a\u4ec0\u4e48\r\n\u6211\u4e0d\u613f\u53bb\u76f8\u601d\r\n\u76f8\u601d\u597d\u8c61\u4e00\u4e2a\u9752\u82f9\u679c\r\n\u6ca1\u6709\u751c\u53ea\u6709\u6da9\r\n\u4f55\u5fc5\u8ba9\u90a3\u76f8\u601d\u56f0\u6270\u6211\r\n\u4e0d\u77e5\u9053\u4e3a\u4ec0\u4e48\r\n\u4f60\u7684\u5f71\u5b50\u603b\u662f\u5728\u5fc3\u7a9d\r\n\u60f3\u8981\u4e22\u4e22\u4e0d\u5f00\r\n\u8eb2\u4e5f\u8eb2\u4e0d\u8fc7\r\n\u6709\u4eba\u544a\u8bc9\u6211\r\n\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n\u5982\u4eca\u6211\u5df2\u7136\u5c1d\u5230\r\n\u5c1d\u5230\u8fd9\u82e6\u679c\u8fd9\u82e6\u679c\r\n\u6211\u4e0d\u613f\u53bb\u76f8\u601d\r\n\u76f8\u601d\u597d\u8c61\u4e00\u4e2a\u9752\u82f9\u679c\r\n\u6ca1\u6709\u751c\u53ea\u6709\u6da9\r\n\u4f55\u5fc5\u8ba9\u90a3\u76f8\u601d\u56f0\u6270\u6211\r\n\u4e0d\u77e5\u9053\u4e3a\u4ec0\u4e48\r\n\u4f60\u7684\u5f71\u5b50\u603b\u662f\u5728\u5fc3\u7a9d\r\n\u60f3\u8981\u4e22\u4e22\u4e0d\u5f00\r\n\u8eb2\u4e5f\u8eb2\u4e0d\u8fc7\r\n\u6709\u4eba\u544a\u8bc9\u6211\r\n\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n\u5982\u4eca\u6211\u5df2\u7136\u5c1d\u5230\r\n\u5c1d\u5230\u8fd9\u82e6\u679c\u8fd9\u82e6\u679c\r\n","author_id":"4249","privilege":8,"privilege2":"1000","play_url":"https:\/\/webfs.yun.kugou.com\/201905311331\/1e1b7854f344dcc5bf6e25b42c70328e\/G142\/M00\/01\/0D\/LocBAFuKc26ASF8_ADi1jkKGRWs892.mp3","authors":[{"author_id":"4249","sizable_avatar":"http:\/\/singerimg.kugou.com\/uploadpic\/softhead\/{size}\/20160429\/20160429120324857.jpg","is_publish":"1","author_name":"\u8521\u7434","avatar":"http:\/\/singerimg.kugou.com\/uploadpic\/softhead\/400\/20160429\/20160429120324857.jpg"}],"bitrate":128,"audio_id":"71003"}}

松_HWI3H 发表于 2019-5-31 12:18:10

浏览器直接访问也是错的，不懂你问啥

liuhaitaozky 发表于 2019-5-31 13:30:31

松_HWI3H 发表于 2019-5-31 12:18
浏览器直接访问也是错的，不懂你问啥

我用360极速浏览器是可以的 刚才又试了下IE 会出错

liuhaitaozky 发表于 2019-5-31 13:35:27

松_HWI3H 发表于 2019-5-31 12:18
浏览器直接访问也是错的，不懂你问啥

我现在还发不了图片 下面是360极速浏览器返回的内容
{"status":1,"err_code":0,"data":{"hash":"0298B1B25F6E35ECF39FDA68B5D039DF","timelength":232023,"filesize":3716494,"audio_name":"\u8521\u7434 - \u60c5\u9501","have_album":1,"album_name":"\u4f24\u5fc3\u5c0f\u7ad9","album_id":"959665","img":"http:\/\/imge.kugou.com\/stdmusic\/20150720\/20150720190918966192.jpg","have_mv":1,"video_id":"10992","author_name":"\u8521\u7434","song_name":"\u60c5\u9501","lyrics":"\u6709\u4eba\u544a\u8bc9\u6211\r\n\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n\u6211\u4ece\u6765\u672a\u66fe\u5c1d\u8bd5\r\n\u600e\u4e48\u80fd\u4fe1\u5f97\u8fc7\r\n\u81ea\u4ece\u9047\u89c1\u4f60\r\n\u7231\u60c5\u9501\u4f4f\u4e86\u6211\r\n\u4f60\u504f\u53c8\u6084\u7136\u79bb\u53bb\r\n\u5374\u6ca1\u8bf4\u4e3a\u4ec0\u4e48\u4e3a\u4ec0\u4e48\r\n\u6211\u4e0d\u613f\u53bb\u76f8\u601d\r\n\u76f8\u601d\u597d\u8c61\u4e00\u4e2a\u9752\u82f9\u679c\r\n\u6ca1\u6709\u751c\u53ea\u6709\u6da9\r\n\u4f55\u5fc5\u8ba9\u90a3\u76f8\u601d\u56f0\u6270\u6211\r\n\u4e0d\u77e5\u9053\u4e3a\u4ec0\u4e48\r\n\u4f60\u7684\u5f71\u5b50\u603b\u662f\u5728\u5fc3\u7a9d\r\n\u60f3\u8981\u4e22\u4e22\u4e0d\u5f00\r\n\u8eb2\u4e5f\u8eb2\u4e0d\u8fc7\r\n\u6709\u4eba\u544a\u8bc9\u6211\r\n\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n\u5982\u4eca\u6211\u5df2\u7136\u5c1d\u5230\r\n\u5c1d\u5230\u8fd9\u82e6\u679c\u8fd9\u82e6\u679c\r\n\u6709\u4eba\u544a\u8bc9\u6211\r\n\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n\u6211\u4ece\u6765\u672a\u66fe\u5c1d\u8bd5\r\n\u600e\u4e48\u80fd\u4fe1\u5f97\u8fc7\r\n\u81ea\u4ece\u9047\u89c1\u4f60\r\n\u7231\u60c5\u9501\u4f4f\u4e86\u6211\r\n\u4f60\u504f\u53c8\u6084\u7136\u79bb\u53bb\r\n\u5374\u6ca1\u8bf4\u4e3a\u4ec0\u4e48\u4e3a\u4ec0\u4e48\r\n\u6211\u4e0d\u613f\u53bb\u76f8\u601d\r\n\u76f8\u601d\u597d\u8c61\u4e00\u4e2a\u9752\u82f9\u679c\r\n\u6ca1\u6709\u751c\u53ea\u6709\u6da9\r\n\u4f55\u5fc5\u8ba9\u90a3\u76f8\u601d\u56f0\u6270\u6211\r\n\u4e0d\u77e5\u9053\u4e3a\u4ec0\u4e48\r\n\u4f60\u7684\u5f71\u5b50\u603b\u662f\u5728\u5fc3\u7a9d\r\n\u60f3\u8981\u4e22\u4e22\u4e0d\u5f00\r\n\u8eb2\u4e5f\u8eb2\u4e0d\u8fc7\r\n\u6709\u4eba\u544a\u8bc9\u6211\r\n\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n\u5982\u4eca\u6211\u5df2\u7136\u5c1d\u5230\r\n\u5c1d\u5230\u8fd9\u82e6\u679c\u8fd9\u82e6\u679c\r\n\u6211\u4e0d\u613f\u53bb\u76f8\u601d\r\n\u76f8\u601d\u597d\u8c61\u4e00\u4e2a\u9752\u82f9\u679c\r\n\u6ca1\u6709\u751c\u53ea\u6709\u6da9\r\n\u4f55\u5fc5\u8ba9\u90a3\u76f8\u601d\u56f0\u6270\u6211\r\n\u4e0d\u77e5\u9053\u4e3a\u4ec0\u4e48\r\n\u4f60\u7684\u5f71\u5b50\u603b\u662f\u5728\u5fc3\u7a9d\r\n\u60f3\u8981\u4e22\u4e22\u4e0d\u5f00\r\n\u8eb2\u4e5f\u8eb2\u4e0d\u8fc7\r\n\u6709\u4eba\u544a\u8bc9\u6211\r\n\u7231\u60c5\u8c61\u4e00\u628a\u9501\r\n\u5982\u4eca\u6211\u5df2\u7136\u5c1d\u5230\r\n\u5c1d\u5230\u8fd9\u82e6\u679c\u8fd9\u82e6\u679c\r\n","author_id":"4249","privilege":8,"privilege2":"1000","play_url":"https:\/\/webfs.yun.kugou.com\/201905311331\/1e1b7854f344dcc5bf6e25b42c70328e\/G142\/M00\/01\/0D\/LocBAFuKc26ASF8_ADi1jkKGRWs892.mp3","authors":[{"author_id":"4249","sizable_avatar":"http:\/\/singerimg.kugou.com\/uploadpic\/softhead\/{size}\/20160429\/20160429120324857.jpg","is_publish":"1","author_name":"\u8521\u7434","avatar":"http:\/\/singerimg.kugou.com\/uploadpic\/softhead\/400\/20160429\/20160429120324857.jpg"}],"bitrate":128,"audio_id":"71003"}}

松_HWI3H 发表于 2019-6-2 07:56:10

既然浏览器能的到数据，那就是你的爬虫被识别出来了，试试加入头部信息。
(我的浏览器也得到的是{'data': [], 'err_code': 20010, 'status': 0}{:10_249:})

kaohsing 发表于 2019-6-2 08:49:44

.

现在浏览器直接返回{'data': [], 'err_code': 20010, 'status': 0}，https://wwwapi.kugou.com/yy/index.php?r=play/getdata&hash=0298B1B25F6E35ECF39..里面的hash需要模拟一下。

liuhaitaozky 发表于 2019-6-2 11:44:02

松_HWI3H 发表于 2019-6-2 07:56
既然浏览器能的到数据，那就是你的爬虫被识别出来了，试试加入头部信息。
(我的浏览器也得到的是{'data':...

加了headers也不行

liuhaitaozky 发表于 2019-6-2 11:45:11

kaohsing 发表于 2019-6-2 08:49
现在浏览器直接返回{'data': [], 'err_code': 20010, 'status': 0}，https://wwwapi.kugou.com/yy/index.ph ...

能说一下具体怎么做吗

Stubborn 发表于 2019-6-2 13:40:13

设计到JS加密咯

湖心残雪 发表于 2019-6-3 21:41:09

你得说明白要爬什么才好去网页看看

幽梦三影 发表于 2019-6-4 08:27:28

可能这个URL是有时效的，就和网易云的URL一样

d714520540 发表于 2020-5-27 16:26:43

我目前也遇到这个问题了，你最后解决了吗

chen1203 发表于 2021-10-13 04:22:45

本帖最后由 chen1203 于 2021-10-13 04:34 编辑

你的headers和cookie都写进去就可以爬取数据了，反爬虫会检测header和cookie的缺一不可，要不然爬到的是空数据（不用谢记得给我最佳答案，我也是爬酷狗过来的小白）
页: [1]
查看完整版本: 爬取酷狗音乐歌曲json数据请求错误