[已解决]python 爬虫问题求助

代码小白liu · 发表于 2021-5-22 21:08:26

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

因为网页上存在分页，观察了下分页是ddlpage发生了变化，可是下边的代码爬取时还是只爬取了一页，求个大神指点

import requests
from bs4 import BeautifulSoup
import re
import time


def gethtml():
    url ="https://www.zjgrc.com/posSearchRslt.aspx?textPosKey=沙钢集团"
    headers = {
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36"
    }
    for i in range(0,2):
        data = {
            "ddlPage": 0,
            "ddlPage": 1

        }
        r = requests.post(url, data=data)
        time.sleep(2)

        print(r.text)
        print("结束")

if __name__ == '__main__':
    gethtml()

最佳答案

月排行榜 / 总排行榜

YunGuo

2021-5-23 21:08:23

代码小白liu 发表于 2021-5-22 22:02
方便的话给点代码吧

import requests
import re

url = 'https://www.zjgrc.com/posSearchRslt.aspx?textPosKey=%E6%B2%99%E9%92%A2%E9%9B%86%E5%9B%A2'
headers = {
    'User-Agent': 'Mozilla/5.0',
}

# 第一页
res = requests.get(url, headers=headers)

# 获取翻页参数
state = re.findall('__VIEWSTATE" value="(.*?)" />', res.text)[0]
state_generator = re.findall('__VIEWSTATEGENERATOR" value="(.*?)" />', res.text)[0]
event_validation = re.findall('__EVENTVALIDATION" value="(.*?)" />', res.text)[0]

# 翻页(第二页)
data = {
    '__EVENTTARGET': 'lbNext',
    '__EVENTARGUMENT': '',
    '__LASTFOCUS': '',
    '__VIEWSTATE': state,
        '__VIEWSTATEGENERATOR': state_generator,
    '__EVENTVALIDATION': event_validation,
    'hfKey': '沙钢集团',
    'txtDw': '',
    'txtDw_TextBoxWatermarkExtender_ClientState': '',
    'txtPos': '',
    'txtPos_TextBoxWatermarkExtender_ClientState': '',
    'ddlPage': 0
}
res1 = requests.post(url, headers=headers, data=data)
print(res1.text)

跳转到最佳答案楼层

路神 · 发表于 2021-5-22 21:21:22

for i in range(0,2):
      data = {
         "ddlPage": i
      }

代码小白liu · 发表于 2021-5-22 21:25:20

路神发表于 2021-5-22 21:21
for i in range(0,2):
data = {
"ddlPage": i

不行，我最开始也是这么写的，爬下来还是只有一页

路神 · 发表于 2021-5-22 21:50:41

代码小白liu 发表于 2021-5-22 21:25
不行，我最开始也是这么写的，爬下来还是只有一页

其他参数也要填

代码小白liu · 发表于 2021-5-22 22:02:14

路神发表于 2021-5-22 21:50
其他参数也要填

方便的话给点代码吧

YunGuo · 发表于 2021-5-23 21:08:23

这个最佳答案由 YunGuo 给出，感谢 YunGuo 的回答。

单击隐藏图章

代码小白liu 发表于 2021-5-22 22:02
方便的话给点代码吧

import requests
import re

url = 'https://www.zjgrc.com/posSearchRslt.aspx?textPosKey=%E6%B2%99%E9%92%A2%E9%9B%86%E5%9B%A2'
headers = {
    'User-Agent': 'Mozilla/5.0',
}

# 第一页
res = requests.get(url, headers=headers)

# 获取翻页参数
state = re.findall('__VIEWSTATE" value="(.*?)" />', res.text)[0]
state_generator = re.findall('__VIEWSTATEGENERATOR" value="(.*?)" />', res.text)[0]
event_validation = re.findall('__EVENTVALIDATION" value="(.*?)" />', res.text)[0]

# 翻页(第二页)
data = {
    '__EVENTTARGET': 'lbNext',
    '__EVENTARGUMENT': '',
    '__LASTFOCUS': '',
    '__VIEWSTATE': state,
        '__VIEWSTATEGENERATOR': state_generator,
    '__EVENTVALIDATION': event_validation,
    'hfKey': '沙钢集团',
    'txtDw': '',
    'txtDw_TextBoxWatermarkExtender_ClientState': '',
    'txtPos': '',
    'txtPos_TextBoxWatermarkExtender_ClientState': '',
    'ddlPage': 0
}
res1 = requests.post(url, headers=headers, data=data)
print(res1.text)

账号		自动登录	找回密码
密码			立即注册