鱼C论坛

 找回密码
 立即注册
查看: 1411|回复: 4

[已解决]爬虫58同城问题高额求助

[复制链接]
发表于 2018-8-19 20:33:01 | 显示全部楼层 |阅读模式
100鱼币
问题如图
请求地址是个callback,返回的还是那个
求callback后面那一串东东哪里来的
最佳答案
2018-8-19 20:33:02
请求方式写错了,换一种写法就OK了自己解决了
  1. import requests
  2. from urllib.parse import urlencode

  3. def get_page_index():
  4.         data={'infoId':'34977462900300',
  5.                         'userId':'50309730815255',
  6.                         'local':'1734',
  7.                         'cateID':'607',
  8.                         'referUrl':'' ,
  9.                         'callback':'jQuery110208506778244349542_1534823551334',
  10.                         '_':'1534823551335'}
  11.         return 'http://statisticszp.58.com/position/totalcount/?'+urlencode(data)

  12. def open_url(url):
  13.         headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'}
  14.         res=requests.get(url,headers=headers)
  15.         print(res.text)
  16.        
  17. def main():
  18.         #测试地址
  19.         #http://hshi.58.com/zpshengchankaifa/34977462900300x.shtml?psid=137527556201164859385554779&entinfo=34977462900300_j&ytdzwdetaildj=0&finalCp=000001250000000000000000000000000000_137527556201164859385554779
  20.         url=get_page_index()
  21.         open_url(url)
  22.        
  23. if __name__=='__main__':
  24.         main()
复制代码
58-1.png
58-2.png
58-3.png

最佳答案

查看完整内容

请求方式写错了,换一种写法就OK了自己解决了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-8-19 20:33:02 | 显示全部楼层    本楼为最佳答案   
请求方式写错了,换一种写法就OK了自己解决了
  1. import requests
  2. from urllib.parse import urlencode

  3. def get_page_index():
  4.         data={'infoId':'34977462900300',
  5.                         'userId':'50309730815255',
  6.                         'local':'1734',
  7.                         'cateID':'607',
  8.                         'referUrl':'' ,
  9.                         'callback':'jQuery110208506778244349542_1534823551334',
  10.                         '_':'1534823551335'}
  11.         return 'http://statisticszp.58.com/position/totalcount/?'+urlencode(data)

  12. def open_url(url):
  13.         headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'}
  14.         res=requests.get(url,headers=headers)
  15.         print(res.text)
  16.        
  17. def main():
  18.         #测试地址
  19.         #http://hshi.58.com/zpshengchankaifa/34977462900300x.shtml?psid=137527556201164859385554779&entinfo=34977462900300_j&ytdzwdetaildj=0&finalCp=000001250000000000000000000000000000_137527556201164859385554779
  20.         url=get_page_index()
  21.         open_url(url)
  22.        
  23. if __name__=='__main__':
  24.         main()
复制代码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-8-20 19:42:11 | 显示全部楼层
jquery callback,jquery自动生成的。这种参数你随便传也没事。服务器会根据你传的callback名称来返回js的response
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-8-20 20:25:44 | 显示全部楼层
第四时空 发表于 2018-8-20 19:42
jquery callback,jquery自动生成的。这种参数你随便传也没事。服务器会根据你传的callback名称来返回js的r ...

试过了,更改不行
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-8-20 20:44:49 | 显示全部楼层
  1. import requests

  2. def open_url(url):
  3.         headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'}
  4.         data={'infoId':'34977462900300',
  5.                         'userId':'50309730815255',
  6.                         'local':'1734',
  7.                         'cateID':'607',
  8.                         'referUrl':'' ,
  9.                         'callback':'jQuery110203748564264886445_1534766332197',
  10.                         '_':'1534766332198'}
  11.         res=requests.get(url,headers=headers,data=data)
  12.         print(res.text)
  13.        
  14. def main():
  15.         #测试地
  16.         #http://hshi.58.com/zpshengchankaifa/34977462900300x.shtml?psid=137527556201164859385554779&entinfo=34977462900300_j&ytdzwdetaildj=0&finalCp=000001250000000000000000000000000000_137527556201164859385554779
  17.         post_url='http://statisticszp.58.com/position/totalcount/'
  18.         open_url(post_url)
  19.        
  20. if __name__=='__main__':
  21.         main()
复制代码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 08:40

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表