关于爬虫，js点击提交的问题

cupbbboom

需要爬取得数据在：  点击提交后，返回的一个表框当中（提交前和返回的页面，他们链接不同，但都是指向提交前的页面）。 那这个提交和返回的过程是怎么样的啊，我要爬数据，应该怎么做呢？

cupbbboom

有人吗，有人吗，自己顶下先

wongyusing

你说的应该是post吧，一样会有像get请求会有响应给你的

cupbbboom

wongyusing 发表于 2018-11-30 10:08
你说的应该是post吧，一样会有像get请求会有响应给你的

对，就是post请求 。 他需要的cookie、参数我都给他了，但是发送post后，还是得到不到想要的页面。
这个网址：'http://219.135.157.143/gdyj/sjwz/yp/ypjyqyLsydList.faces' ，数据在页面上的一条条链接里面  
老哥帮我看下咯

wongyusing

你post完的页面就是你想要的数据啦

就在script里面

然后再根据需要的参数再post到同一个链接。
参数大概如下：

1. sjwzYpLsydForm:total: 460
   
2. sjwzYpLsydForm:row: 10
   
3. sjwzYpLsydForm:page: 1
   
4. sjwzYpLsydForm:totalPage: 46
   
5. sjwzYpLsydForm:oldRow: 10
   
6. sjwzYpLsydForm:select_id:
   
7. sjwzYpLsydForm:qymc:
   
8. sjwzYpLsydForm:xkzh:
   
9. sjwzYpLsydForm:qyfzr:
   
10. sjwzYpLsydForm:zcdz:
    
11. sjwzYpLsydForm:sjwzYpLsydBean:inputPage: 1
    
12. sjwzYpLsydForm_SUBMIT: 1
    
13. sjwzYpLsydForm:_link_hidden_:
    
14. detailId: WWSJSB201612210111293854224WWSJSB201612210111294274225
    
15. sjwzYpLsydForm:_idcl: sjwzYpLsydForm:sjwzYpLsydBean:2:lookLink11
    
16. javax.faces.ViewState: rO0ABXVyABNbTGphdmEubGFuZy5PYmplY3Q7kM5YnxBzKWwCAAB4cAAAAAN0AAhfaWQ0Nzc1MXB0ACIvZ2R5ai9zand6L3lwL3lwanlxeUxzeWRMaXN0LnhodG1s

复制代码

cupbbboom

wongyusing 发表于 2018-11-30 11:50
你post完的页面就是你想要的数据啦

就在script里面

为什么我post后，看到的还是之前的页面啊（难道是看错了，我这个ip好像被延时了，暂时看不了哦），我把我代码贴上来吧，你帮我看看是不是哪儿错了

1. import requests,re
   
2. from lxml import etree
   
3. 
   
4. url = 'http://219.135.157.143/gdyj/sjwz/yp/ypjyqyLsydList.faces'
   
5. headers = {
   
6.                 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',
   
7.                 'Connection': 'keep-alive',
   
8.                 'Host': '219.135.157.143',
   
9.                 'Origin': 'http://219.135.157.143',
   
10.                 'Referer': 'http://219.135.157.143/gdyj/sjwz/yp/sjwzYpScqyList.faces',
    
11.                 'Content-Type': 'application/x-www-form-urlencoded',
    
12.         }
    
13. 
    
14. s = requests.session()
    
15. r = s.get(url=url,headers=headers)
    
16. cookie_params = r.headers['Set-Cookie'].split(';')[0]
    
17. headers['Cookie'] = cookie_params
    
18. new_url = url + ';' + cookie_params
    
19. 
    
20. #解析
    
21. html = etree.HTML(r.content)
    
22. hidden_value_params = html.xpath('//form//input[@type="hidden"]//@value')
    
23. javax = hidden_value_params[-1]
    
24. data = {
    
25.         'sjwzYpScqyListForm:total': 571,
    
26.         'sjwzYpScqyListForm:row': 10,
    
27.         'sjwzYpScqyListForm:page': 1,
    
28.         'sjwzYpScqyListForm:totalPage': 58,
    
29.         'sjwzYpScqyListForm:oldRow': 10,
    
30.         'sjwzYpScqyListForm:select_id':'',
    
31.         'sjwzYpScqyListForm:qymc': '',
    
32.         'sjwzYpScqyListForm:zcdz': '',
    
33.         'sjwzYpScqyListForm:fddbr': '',
    
34.         'sjwzYpScqyListForm:qyfzr': '',
    
35.         'sjwzYpScqyListForm:scdzjfw': '',
    
36.         'sjwzYpScqyListForm:xkzbh': '',
    
37.         'sjwzYpScqyListForm:_id16': '',
    
38.         'sjwzYpScqyListForm:_id18': '',
    
39.         'sjwzYpScqyListForm:_id20': '',
    
40.         'sjwzYpScqyListForm:_id22': '',
    
41.         'sjwzYpScqyListForm:sjwzYpScqyBean:inputPage': 1,
    
42.         'sjwzYpScqyListForm_SUBMIT': 1,
    
43.         'detailId': '497BE74C44E1ADD8E040007F01000A2B20080328161602',
    
44.         'sjwzYpScqyListForm:_link_hidden_': '',
    
45.         'sjwzYpScqyListForm:_idcl': 'sjwzYpScqyListForm:sjwzYpScqyBean:0:pzzsLink',
    
46.         'javax.faces.ViewState': javax,
    
47. }
    
48. print(data)
    
49. print(headers)
    
50. # 带上数据post请求
    
51. # 不过这里 post完之后，返回的页面仍旧是之前的页面 ，得不到像浏览器看到数据页面
    
52. q = s.post(url=new_url,headers=headers,data=data)
    
53. print(q.url)
    
54. 
    
55. print(q.status_code)
    
56. 
    
57. # 分析源码 ，结果这个源码就是未提交之前的页面
    
58. with open(r'C:\Users\GJ005\Desktop\xxx.txt','w',encoding='utf-8') as f:
    
59.         f.write(q.text)
    

复制代码

cupbbboom

wongyusing 发表于 2018-11-30 11:50
你post完的页面就是你想要的数据啦

就在script里面

刚才又对比了下浏览器post的请求头，和我伪造的请求头，除了 Accept-language ,其他的没区别啊，data我都带了。 发过去后，返回的页面还是 一样的，并不是我要的数据页面。难道只能用 selenium ? 模拟点击获取页面数据吗？

wongyusing

cupbbboom 发表于 2018-11-30 17:04
刚才又对比了下浏览器post的请求头，和我伪造的请求头，除了 Accept-language ,其他的没区别啊，data我都 ...

打不开网站，无能为力。  
服务器的问题