[已解决]爬虫58同城问题高额求助

waitforlove

问题如图
请求地址是个callback,返回的还是那个
求callback后面那一串东东哪里来的

最佳答案

月排行榜 / 总排行榜

waitforlove

2018-8-19 20:33:02

请求方式写错了,换一种写法就OK了自己解决了

1. import requests
   
2. from urllib.parse import urlencode
   
3. 
   
4. def get_page_index():
   
5.         data={'infoId':'34977462900300',
   
6.                         'userId':'50309730815255',
   
7.                         'local':'1734',
   
8.                         'cateID':'607',
   
9.                         'referUrl':'' ,
   
10.                         'callback':'jQuery110208506778244349542_1534823551334',
    
11.                         '_':'1534823551335'}
    
12.         return 'http://statisticszp.58.com/position/totalcount/?'+urlencode(data)
    
13. 
    
14. def open_url(url):
    
15.         headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'}
    
16.         res=requests.get(url,headers=headers)
    
17.         print(res.text)
    
18.        
    
19. def main():
    
20.         #测试地址
    
21.         #http://hshi.58.com/zpshengchankaifa/34977462900300x.shtml?psid=137527556201164859385554779&entinfo=34977462900300_j&ytdzwdetaildj=0&finalCp=000001250000000000000000000000000000_137527556201164859385554779
    
22.         url=get_page_index()
    
23.         open_url(url)
    
24.        
    
25. if __name__=='__main__':
    
26.         main()

复制代码

跳转到最佳答案楼层

waitforlove

请求方式写错了,换一种写法就OK了自己解决了

1. import requests
   
2. from urllib.parse import urlencode
   
3. 
   
4. def get_page_index():
   
5.         data={'infoId':'34977462900300',
   
6.                         'userId':'50309730815255',
   
7.                         'local':'1734',
   
8.                         'cateID':'607',
   
9.                         'referUrl':'' ,
   
10.                         'callback':'jQuery110208506778244349542_1534823551334',
    
11.                         '_':'1534823551335'}
    
12.         return 'http://statisticszp.58.com/position/totalcount/?'+urlencode(data)
    
13. 
    
14. def open_url(url):
    
15.         headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'}
    
16.         res=requests.get(url,headers=headers)
    
17.         print(res.text)
    
18.        
    
19. def main():
    
20.         #测试地址
    
21.         #http://hshi.58.com/zpshengchankaifa/34977462900300x.shtml?psid=137527556201164859385554779&entinfo=34977462900300_j&ytdzwdetaildj=0&finalCp=000001250000000000000000000000000000_137527556201164859385554779
    
22.         url=get_page_index()
    
23.         open_url(url)
    
24.        
    
25. if __name__=='__main__':
    
26.         main()

复制代码

第四时空

jquery callback，jquery自动生成的。这种参数你随便传也没事。服务器会根据你传的callback名称来返回js的response

waitforlove

第四时空 发表于 2018-8-20 19:42
jquery callback，jquery自动生成的。这种参数你随便传也没事。服务器会根据你传的callback名称来返回js的r ...

试过了,更改不行

waitforlove

waitforlove 发表于 2018-8-20 20:25
试过了,更改不行

1. import requests
   
2. 
   
3. def open_url(url):
   
4.         headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'}
   
5.         data={'infoId':'34977462900300',
   
6.                         'userId':'50309730815255',
   
7.                         'local':'1734',
   
8.                         'cateID':'607',
   
9.                         'referUrl':'' ,
   
10.                         'callback':'jQuery110203748564264886445_1534766332197',
    
11.                         '_':'1534766332198'}
    
12.         res=requests.get(url,headers=headers,data=data)
    
13.         print(res.text)
    
14.        
    
15. def main():
    
16.         #测试地
    
17.         #http://hshi.58.com/zpshengchankaifa/34977462900300x.shtml?psid=137527556201164859385554779&entinfo=34977462900300_j&ytdzwdetaildj=0&finalCp=000001250000000000000000000000000000_137527556201164859385554779
    
18.         post_url='http://statisticszp.58.com/position/totalcount/'
    
19.         open_url(post_url)
    
20.        
    
21. if __name__=='__main__':
    
22.         main()

复制代码