爬虫爬取虾米音乐，被拦住了

xy123151

<title>亲，访问受限了</title>

1. import requests
   
2. 
   
3. def open_url(url):
   
4.     headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134'}
   
5.     headers['Accept']='*/*'
   
6.     headers['Host']='www.xiami.com'
   
7.     headers['Accept-Encoding']='gzip, deflate, br'
   
8.     headers['Accept-Language'] = 'zh-Hans-CN, zh-Hans; q=0.5'
   
9.     headers['Cache-Control'] ='no-cache'
   
10.     req=requests.get(url,headers=headers)
    
11.     req.encoding='utf-8'
    
12.     return req
    
13. 
    
14. url='https://www.xiami.com/album/2103752486'
    
15. with open('111.txt', 'w', encoding='utf-8') as f:
    
16.     f.write(open_url(url).text)

复制代码

wongyusing

header哪里需要曲奇和refer参数

简单来说，需要进行验证码验证后方可访问

xy123151

wongyusing 发表于 2018-12-15 20:23
header哪里需要曲奇和refer参数

简单来说，需要进行验证码验证后方可访问

盯着请求头看的时候，发现网页加载完后会把F12里的全清掉了，这个就是验证码验证导致的？

wongyusing

xy123151 发表于 2018-12-15 20:34
盯着请求头看的时候，发现网页加载完后会把F12里的全清掉了，这个就是验证码验证导致的？

你说的应该是重定向吧？？？

由于你的header没有refer和曲奇参数，把你重定向到验证页面。

xy123151

wongyusing 发表于 2018-12-15 20:42
你说的应该是重定向吧？？？

由于你的header没有refer和曲奇参数，把你重定向到验证页面。

refer和cookie参数要在哪里去找，F12里找不到

wongyusing

这两个参数注意点。   
不知道为什么，只要验证通过后就不需要这两个参数了。  
应该还有其他条件在验证。   
注意一下reponse那边会set一些东西的。加到会话中就好了  
手头上还有事情做。慢慢分析吧。