爬虫：网站链接突然反403，浏览器也不能直接打开，但访问网站没问题，什么原因？

dequantianhe

各位大佬！

                小弟自己写了个小爬虫（爬取酷我音乐的歌曲），以前运行的好好地，最近突然不行了，查看发现获取一个js页面的
网址不能用了，但抓包发现对方的网址构造并没有变化，于是直接复制链接从浏览器打开尝试，还是不行，返回错误码403，并且无其他任何提示.
                于是去原网站访问，发现没有问题，可以进入想要访问的页面，按说不应该是IP被封了，网上大概查了下403的解决方案，有的看不懂，看得懂的感觉都不大对。
                请各位大佬指教！
                下面附上关键代码：
                构造URL：
                url = 'http://www.kuwo.cn/api/www/search/searchMusicBykeyWord?key='+music+'&pn=1&rn=30'（ps:music需用自己想要下载的音乐名称替换）
                小弟对比来对比去，不知道问题在哪里，烦请大佬指教！

阴阳神万物主

HTTP 状态码大全
https://fishc.com.cn/thread-103840-1-1.html
(出处: 鱼C论坛)
可能是目标网址开始反爬了。

dequantianhe

阴阳神万物主 发表于 2019-11-9 23:24
HTTP 状态码大全
https://fishc.com.cn/thread-103840-1-1.html
(出处: 鱼C论坛)

我想知道这种情况应该怎么破呢？感觉挺奇怪的，因为我即便是直接用浏览器打开那个网址也不行，所以添加请求头记录估计是不行的，但从原网页链接打开却可以执行~

kaohsing

模拟referer试试

dequantianhe

kaohsing 发表于 2019-11-11 11:21
模拟referer试试

，那是什么东东。。。。

阴阳神万物主

dequantianhe 发表于 2019-11-11 10:58
我想知道这种情况应该怎么破呢？感觉挺奇怪的，因为我即便是直接用浏览器打开那个网址也不行，所以添加请 ...

估计有 Cookie 的事情
或者说服务端获得了某样表示身份的信息，但是不准访问。

dequantianhe

阴阳神万物主 发表于 2019-11-11 15:09
估计有 Cookie 的事情
或者说服务端获得了某样表示身份的信息，但是不准访问。

是不是说，出现了目前常规反反爬套路解决不了的问题~

Stubborn

仔细抓包，在音乐播放前，所有抓的都情况，然后点击播放，会有三个链接，有MP3链接，可以直接请求

dequantianhe

Stubborn 发表于 2019-11-12 21:44
仔细抓包，在音乐播放前，所有抓的都情况，然后点击播放，会有三个链接，有MP3链接，可以直接请求

嗯，不用爬虫也可以下载，现在的影响是，我之前的爬虫可以按关键字搜索后把结果列出来供用户选择，现在无法做到这步了，因为对应列表的网页打不开了