[已解决]python 爬虫问题求助

代码小白liu

因为网页上存在分页，观察了下分页是ddlpage发生了变化，可是下边的代码爬取时还是只爬取了一页，求个大神指点

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. import time
   
5. 
   
6. 
   
7. def gethtml():
   
8.     url ="https://www.zjgrc.com/posSearchRslt.aspx?textPosKey=沙钢集团"
   
9.     headers = {
   
10.       "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36"
    
11.     }
    
12.     for i in range(0,2):
    
13.         data = {
    
14.             "ddlPage": 0,
    
15.             "ddlPage": 1
    
16. 
    
17.         }
    
18.         r = requests.post(url, data=data)
    
19.         time.sleep(2)
    
20. 
    
21.         print(r.text)
    
22.         print("结束")
    
23. 
    
24. if __name__ == '__main__':
    
25.     gethtml()

复制代码

最佳答案

月排行榜 / 总排行榜

YunGuo

2021-5-23 21:08:23

代码小白liu 发表于 2021-5-22 22:02
方便的话给点代码吧

1. import requests
   
2. import re
   
3. 
   
4. url = 'https://www.zjgrc.com/posSearchRslt.aspx?textPosKey=%E6%B2%99%E9%92%A2%E9%9B%86%E5%9B%A2'
   
5. headers = {
   
6.     'User-Agent': 'Mozilla/5.0',
   
7. }
   
8. 
   
9. # 第一页
   
10. res = requests.get(url, headers=headers)
    
11. 
    
12. # 获取翻页参数
    
13. state = re.findall('__VIEWSTATE" value="(.*?)" />', res.text)[0]
    
14. state_generator = re.findall('__VIEWSTATEGENERATOR" value="(.*?)" />', res.text)[0]
    
15. event_validation = re.findall('__EVENTVALIDATION" value="(.*?)" />', res.text)[0]
    
16. 
    
17. # 翻页(第二页)
    
18. data = {
    
19.     '__EVENTTARGET': 'lbNext',
    
20.     '__EVENTARGUMENT': '',
    
21.     '__LASTFOCUS': '',
    
22.     '__VIEWSTATE': state,
    
23.         '__VIEWSTATEGENERATOR': state_generator,
    
24.     '__EVENTVALIDATION': event_validation,
    
25.     'hfKey': '沙钢集团',
    
26.     'txtDw': '',
    
27.     'txtDw_TextBoxWatermarkExtender_ClientState': '',
    
28.     'txtPos': '',
    
29.     'txtPos_TextBoxWatermarkExtender_ClientState': '',
    
30.     'ddlPage': 0
    
31. }
    
32. res1 = requests.post(url, headers=headers, data=data)
    
33. print(res1.text)

复制代码

跳转到最佳答案楼层

路神

for i in range(0,2):
        data = {
            "ddlPage": i
        }

代码小白liu

路神 发表于 2021-5-22 21:21
for i in range(0,2):
        data = {
            "ddlPage": i

不行，我最开始也是这么写的，爬下来还是只有一页

路神

代码小白liu 发表于 2021-5-22 21:25
不行，我最开始也是这么写的，爬下来还是只有一页

其他参数也要填

代码小白liu

路神 发表于 2021-5-22 21:50
其他参数也要填

方便的话给点代码吧

YunGuo

代码小白liu 发表于 2021-5-22 22:02
方便的话给点代码吧

1. import requests
   
2. import re
   
3. 
   
4. url = 'https://www.zjgrc.com/posSearchRslt.aspx?textPosKey=%E6%B2%99%E9%92%A2%E9%9B%86%E5%9B%A2'
   
5. headers = {
   
6.     'User-Agent': 'Mozilla/5.0',
   
7. }
   
8. 
   
9. # 第一页
   
10. res = requests.get(url, headers=headers)
    
11. 
    
12. # 获取翻页参数
    
13. state = re.findall('__VIEWSTATE" value="(.*?)" />', res.text)[0]
    
14. state_generator = re.findall('__VIEWSTATEGENERATOR" value="(.*?)" />', res.text)[0]
    
15. event_validation = re.findall('__EVENTVALIDATION" value="(.*?)" />', res.text)[0]
    
16. 
    
17. # 翻页(第二页)
    
18. data = {
    
19.     '__EVENTTARGET': 'lbNext',
    
20.     '__EVENTARGUMENT': '',
    
21.     '__LASTFOCUS': '',
    
22.     '__VIEWSTATE': state,
    
23.         '__VIEWSTATEGENERATOR': state_generator,
    
24.     '__EVENTVALIDATION': event_validation,
    
25.     'hfKey': '沙钢集团',
    
26.     'txtDw': '',
    
27.     'txtDw_TextBoxWatermarkExtender_ClientState': '',
    
28.     'txtPos': '',
    
29.     'txtPos_TextBoxWatermarkExtender_ClientState': '',
    
30.     'ddlPage': 0
    
31. }
    
32. res1 = requests.post(url, headers=headers, data=data)
    
33. print(res1.text)

复制代码