python爬取接口数据问题

supercyt

58同城某子网站：http://bj.58.com/pbdn/0/
进入任意一个商品，如http://bj.58.com/pingbandiannao/ ... e=q_2&ClickID=2

想要查询该商品的访问量，由于该网站反爬虫机制，该数据由JS生成，直接爬取只能得到数值0，故找到了他的请求页面：
选择点开：


访问量依然返回0：


此时的请求页面已经是带有请求数据的了，，为什么依然访问不到真实的访问量值？


http://jst1.58.com/counter?infoid=26088204291258&userid=&uname=&sid=517158095&lid=1&px=&cfpath=
5,38484

跪求！！！

jerryxjr1220

你没有加头部信息headers进去啊，这样反爬虫机制一检测，你就被拒了。
看这样：

1. import requests
   
2. 
   
3. url = 'http://jst1.58.com/counter?infoid=26088204291258&userid=&uname=&sid=517158095&lid=1&px=&cfpath=5,38484'
   
4. header ={
   
5. 'Host':'jst1.58.com',
   
6. 'Referer':'http://bj.58.com/pingbandiannao/26088204291258x.shtml?adtype=1&PGTID=0d305a36-0000-1964-f50c-5410655172ff&entinfo=26088204291258_0&psid=100645297194654662872322528&iuType=q_2&ClickID=2',
   
7. 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.100 YaBrowser/16.11.1.673 Yowser/2.5 Safari/537.36'
   
8. }
   
9. 
   
10. res = requests.get(url,headers=header)
    
11. print (res.text)

复制代码

输出：
Counter58.userlist[0]={uid:'0',uname:'',face:'',vt:''};Counter58.total=19714
[Finished in 3.5s]

supercyt

jerryxjr1220 发表于 2017-1-23 07:40
你没有加头部信息headers进去啊，这样反爬虫机制一检测，你就被拒了。
看这样：

厉害了 我的大兄弟！

还有个问题就是 我电脑直接复制粘贴：
http://jst1.58.com/counter?infoi ... &cfpath=5,38484
这个界面为什么获取不到真实值，infoid=26088204291258&userid=&uname=&sid=517158095&lid=1&px=&cfpath=
5,38484这些值不是已经加上了么 而且电脑访问应该有header吧？

而且不知道为什么，从鱼C论坛这里直接点开链接是有的，但是我从别的（如微信）点开链接就没有。。。。小白求解答一下！

jerryxjr1220

supercyt 发表于 2017-1-23 10:18
厉害了 我的大兄弟！

还有个问题就是 我电脑直接复制粘贴：

你看我的头部信息：
header ={
'Host':'jst1.58.com',
'Referer':'http://bj.58.com/pingbandiannao/26088204291258x.shtml?adtype=1&PGTID=0d305a36-0000-1964-f50c-5410655172ff&entinfo=26088204291258_0&psid=100645297194654662872322528&iuType=q_2&ClickID=2',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.100 YaBrowser/16.11.1.673 Yowser/2.5 Safari/537.36'
}
你从其他地方访问的话，未必有这些信息的。
其中referer和Host信息说明了你是从哪里获取的访问信息，因为从浏览器正常访问的话，这些信息都可以获取的，但是如果是爬虫或者你从其他地方获取链接的话，未必就会有这些信息，然后就把你拒了