爬虫问题。用xpath插件能查询到内容，但用爬虫程序爬出来的是空的列表

wk934530

                               
登录/注册后可看大图

1. import requests
   
2. from lxml import etree
   
3. import os
   
4. 
   
5. if __name__ == "__main__":
   
6. 
   
7.     url = 'http://quote.eastmoney.com/center/gridlist.html#hs_a_board'
   
8.     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'}
   
9. 
   
10.     response = requests.get(url=url,headers=headers)
    
11.     stocks_text = response.text
    
12. 
    
13.     tree = etree.HTML(stocks_text)
    
14.     ls_list = tree.xpath('//*[@id="table_wrapper-table"]')
    
15.     for td in ls_list:
    
16.         id = td.xpath('.//tr/td[2]/a/text()')
    
17.         name = td.xpath('.//tr/td[3]/a')
    
18.         #delivery = td.xpath('./td[9]/a/text()')
    
19. 
    
20.         print(id,name)

复制代码

suchocolate

数据在其他请求里，这个爬取估计你的用selenium。

1. import requests
   
2. 
   
3. 
   
4. if __name__ == "__main__":
   
5.     url = 'http://86.push2.eastmoney.com/api/qt/clist/get?cb=jQuery1124042877305978362634_1638009527518&pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1638009527519'
   
6.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
   
7.     r = requests.get(url=url, headers=headers)
   
8.     print(r.text)
   

复制代码

wk934530

suchocolate 发表于 2021-11-27 18:47
数据在其他请求里，这个爬取估计你的用selenium。

好嘞，谢谢。requests是没有办法爬出来吗

suchocolate

wk934530 发表于 2021-11-27 22:10
好嘞，谢谢。requests是没有办法爬出来吗

requests能爬是能爬出来，但是上面的url的生成方式不好办，得分析一下网页，可能要用逆向js相关的技术，才能知道上面的url是如何生成的，我在html没搜到上面的url，应该是浏览器根据js生成的。

mongoole

自己要抓包分析一下：
"http://68.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112400238512513163176_1638175880651&pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1638175880652"

代码小白liu

mongoole 发表于 2021-11-29 16:55
自己要抓包分析一下：
"http://68.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112400238512513163176 ...

像这种怎么去抓包分析出来这个地址呀 ，麻烦能讲一下么

mongoole

代码小白liu 发表于 2021-12-2 20:49
像这种怎么去抓包分析出来这个地址呀 ，麻烦能讲一下么

chrome浏览器，F12。抓包工具fiddler，都可以，，刚开始就一条条去看，时间长了有经验就可以节省很多时间

Stubborn

截取两次请求，目测是pn是翻页函数，get请求，payload表单

1. 
   
2. url = 'http://38.push2.eastmoney.com/api/qt/clist/get?'
   
3. requests.get(url=url, data=json.dumps({}), headers=headers)

复制代码

1. #!/usr/bin/env python
   
2. # -*- coding: utf-8 -*-
   
3. 
   
4. 
   
5. txt = """
   
6. cb: jQuery112403713310545920947_1638505060052
   
7. pn: 2
   
8. pz: 20
   
9. po: 1
   
10. np: 1
    
11. ut: bd1d9ddb04089700cf9c27f6f7426281
    
12. fltt: 2
    
13. invt: 2
    
14. fid: f3
    
15. fs: m:0 t:6,m:0 t:80,m:1 t:2,m:1 t:23,m:0 t:81 s:2048
    
16. fields: f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152
    
17. _: 1638505060057
    
18. """
    
19. 
    
20. 
    
21. t = """
    
22. cb: jQuery112403713310545920947_1638505060054
    
23. pn: 3
    
24. pz: 20
    
25. po: 1
    
26. np: 1
    
27. ut: bd1d9ddb04089700cf9c27f6f7426281
    
28. fltt: 2
    
29. invt: 2
    
30. fid: f3
    
31. fs: m:0 t:6,m:0 t:80,m:1 t:2,m:1 t:23,m:0 t:81 s:2048
    
32. fields: f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152
    
33. _: 1638505060083
    
34. """
    

复制代码

Stubborn

代码小白liu 发表于 2021-12-2 20:49
像这种怎么去抓包分析出来这个地址呀 ，麻烦能讲一下么

抓想要的数据，点击就可以，比如当前页面数据，需要翻页，点击下一页，单独抓下一页的url，对比一下翻页的规律