[已解决]求助各位前辈，为什么我爬取网页信息时他不翻页呢？

jjxx2005

1. import requests
   
2. from lxml import etree
   
3. UA = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}
   
4. url2 = 'http://www.jkl.com.cn/cn/shopLis.aspx?id=865'
   
5. for i in range(1, 4):
   
6.     data = {'__EVENTARGUMENT':i}
   
7.     text1 = requests.get(url=url2, params=data,headers=UA).text
   
8.     tree1 = etree.HTML(text1)
   
9.     myname = tree1.xpath('//span[@class="con01"]/text()')
   
10.     print(myname)

复制代码

我用
for i in range(1, 4):
    data = {'__EVENTARGUMENT':i}
获取的永远都是第1页

网页上有下一页  有什么简单又智能的方法让他自动查找下一页吗？

最佳答案

月排行榜 / 总排行榜

comeheres

2020-7-13 14:22:40

网页点击的数据包有分析吗？你这问题就是因为少了提交的参数

提交方式是POST

总共提交了4个参数


其中__VIEWSTATE和__VIEWSTATEGENERATOR这参数的值就在网页源码中，但经过分析只需提交__EVENTTARGET和__EVENTARGUMENT这两个参数就能正常获取信息。

1. import requests
   
2. from lxml import etree
   
3. UA = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}
   
4. url2 = 'http://www.jkl.com.cn/cn/shopLis.aspx?id=865'
   
5. for i in range(1, 4):
   
6.     data = {
   
7.         '__EVENTARGUMENT':i,
   
8.         '__EVENTTARGET':'AspNetPager1'
   
9.     }
   
10.     text1 = requests.post(url=url2, data=data, headers=UA).text
    
11.     tree1 = etree.HTML(text1)
    
12.     myname = [x.strip() for x in tree1.xpath('//span[@class="con01"]/text()')]
    
13.     print(myname)

复制代码

跳转到最佳答案楼层

jjxx2005

网上有人说可以通过点下一页，然后动态的去翻页，但是代码都太复杂了，有没有易懂的？

comeheres

网页点击的数据包有分析吗？你这问题就是因为少了提交的参数

提交方式是POST

总共提交了4个参数


其中__VIEWSTATE和__VIEWSTATEGENERATOR这参数的值就在网页源码中，但经过分析只需提交__EVENTTARGET和__EVENTARGUMENT这两个参数就能正常获取信息。

1. import requests
   
2. from lxml import etree
   
3. UA = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}
   
4. url2 = 'http://www.jkl.com.cn/cn/shopLis.aspx?id=865'
   
5. for i in range(1, 4):
   
6.     data = {
   
7.         '__EVENTARGUMENT':i,
   
8.         '__EVENTTARGET':'AspNetPager1'
   
9.     }
   
10.     text1 = requests.post(url=url2, data=data, headers=UA).text
    
11.     tree1 = etree.HTML(text1)
    
12.     myname = [x.strip() for x in tree1.xpath('//span[@class="con01"]/text()')]
    
13.     print(myname)

复制代码

jjxx2005

comeheres 发表于 2020-7-13 14:22
网页点击的数据包有分析吗？你这问题就是因为少了提交的参数

提交方式是POST

感谢回复，完全正确，还有一个问题，就是
for i in range(1, 4):
能不能写成动态的？就是这页有多少页就到多少页？

suchocolate

post得用data=data方式，写在url里的其他参数采用params。
这个页面总共3页，查询的时候  '__VIEWSTATE'，'__EVENTARGUMENT' 都会变动，前者需要从当前页面获得，后者用for循环替代，又因为页面就3页，__EVENTARGUMENT就用2和3，所以range(2,4)

1. # _*_ coding: utf-8 _*_
   
2. 
   
3. 
   
4. import requests
   
5. from lxml import etree
   
6. 
   
7. 
   
8. def get_next_page_paramas(r):
   
9.     html = etree.HTML(r.text)
   
10.     params = html.xpath('//input[@type="hidden"]/@value')
    
11.     return params
    
12. 
    
13. 
    
14. def main():
    
15.     global data
    
16.     global headers
    
17.     r = requests.get(url=url, headers=headers)
    
18.     params = get_next_page_paramas(r)
    
19.     data['__VIEWSTATE'] = params[0]
    
20.     data['__VIEWSTATEGENERATOR'] = params[1]
    
21.     for item in range(2, 4):
    
22.         data['__EVENTARGUMENT'] = str(item)
    
23.         r = requests.post(url=url, headers=headers, data=data)
    
24.         html = etree.HTML(r.text)
    
25.         result = html.xpath('//span[@class="con01"]/text()')
    
26.         print(result)
    
27.         data['__VIEWSTATE'] = get_next_page_paramas(r)[0]
    
28.         print('='*100)
    
29. 
    
30. 
    
31. if __name__ == '__main__':
    
32.     data = {'__EVENTTARGET': 'AspNetPager1'}
    
33.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}
    
34.     url = 'http://www.jkl.com.cn/cn/shopLis.aspx?id=865'
    
35.     main()

复制代码

comeheres

jjxx2005 发表于 2020-7-13 14:33
感谢回复，完全正确，还有一个问题，就是
for i in range(1, 4):
能不能写成动态的？就是这页有多少页 ...

通过分析网页上“尾页”按钮所对应的href内容来确定


批量获取每个区的页数

1. import requests
   
2. from lxml import etree
   
3. import re
   
4. UA = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}
   
5. 
   
6. r1 = requests.get(url='http://www.jkl.com.cn/cn/shop.aspx', headers=UA).text
   
7. html1 = etree.HTML(r1)
   
8. xlist = html1.xpath('//*[@id="form1"]/div[5]/div[1]/div/ul/li/a')
   
9. for x in xlist:
   
10.     id = x.xpath('@id')[0]
    
11.     name = x.xpath('text()')[0].strip()
    
12.     url = 'http://www.jkl.com.cn/cn/shopLis.aspx?id=%s' % id
    
13. 
    
14.     r2 = requests.get(url=url, headers=UA).text
    
15.     html2 = etree.HTML(r2)
    
16.     page = html2.xpath('//a[text()="尾页"]/@href')
    
17.     if page != []:
    
18.         result = re.search("(\d+)'\)", page[0])
    
19.         total = result.group(1)
    
20.     else:
    
21.         total = 1
    
22.     print('%s(%s)对应页数为:%s' % (name, url, total))
    
23. 
    

复制代码

结果输出为：

1. 西城区(http://www.jkl.com.cn/cn/shopLis.aspx?id=862)对应页数为:1
   
2. 朝阳区(http://www.jkl.com.cn/cn/shopLis.aspx?id=865)对应页数为:3
   
3. 海淀区(http://www.jkl.com.cn/cn/shopLis.aspx?id=866)对应页数为:1
   
4. 丰台区(http://www.jkl.com.cn/cn/shopLis.aspx?id=867)对应页数为:1
   
5. 石景山区(http://www.jkl.com.cn/cn/shopLis.aspx?id=868)对应页数为:1
   
6. 顺义区(http://www.jkl.com.cn/cn/shopLis.aspx?id=869)对应页数为:1
   
7. 昌平区(http://www.jkl.com.cn/cn/shopLis.aspx?id=870)对应页数为:1
   
8. 门头沟区(http://www.jkl.com.cn/cn/shopLis.aspx?id=871)对应页数为:1
   
9. 大兴区(http://www.jkl.com.cn/cn/shopLis.aspx?id=873)对应页数为:1
   
10. 通州区(http://www.jkl.com.cn/cn/shopLis.aspx?id=874)对应页数为:1
    
11. 密云区(http://www.jkl.com.cn/cn/shopLis.aspx?id=876)对应页数为:1
    
12. 怀柔区(http://www.jkl.com.cn/cn/shopLis.aspx?id=877)对应页数为:1

复制代码