[已解决]python爬虫怎么翻页呢，怎么知道有几页

Gigi233

1. import requests
   
2. import json
   
3. for page in range(1,)
   
4. url='http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
   
5. location=input('输入你想要查询的地名：')
   
6. param={'cname': '','pid':'', 'keyword':location,'pageIndex':page,'pageSize': '10'}
   
7. headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.1.4031 SLBChan/105'}
   
8. response=requests.post(url=url,data=param,headers=headers)
   
9. list=response.json()
   
10. for i in list['Table1']:
    
11.     print(i['cityName']+i['storeName'],i['addressDetail'])

复制代码

最佳答案

月排行榜 / 总排行榜

isdkz

2023-10-23 21:38:25

要翻页，你需要知道有多少页数据可用。在这种情况下，你可以通过检查返回的数据中的页数来确定有多少页。

在你的代码中，你可以使用以下方法来获取页数：

1. 在发送POST请求后，获取响应对象response。
2. 使用response的json()方法将响应内容转换为JSON格式。
3. 从JSON数据中提取页数信息。

以下是修改后的代码示例：

1. import requests
   
2. import json
   
3. 
   
4. url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
   
5. location = input('输入你想要查询的地名：')
   
6. 
   
7. # 初始化页数为1
   
8. page = 1
   
9. param = {'cname': '', 'pid': '', 'keyword': location, 'pageIndex': page, 'pageSize': '10'}
   
10. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.1.4031 SLBChan/105'}
    
11. 
    
12. response = requests.post(url=url, data=param, headers=headers)
    
13. data = response.json()
    
14. 
    
15. # 获取总页数
    
16. total_pages = data['Table'][0]['Table1'][0]['rowcount'] // 10 + 1
    
17. 
    
18. print('总页数:', total_pages)
    
19. 
    
20. # 进行翻页操作
    
21. for page in range(1, total_pages + 1):
    
22.     param['pageIndex'] = page
    
23.     response = requests.post(url=url, data=param, headers=headers)
    
24.     data = response.json()
    
25. 
    
26.     # 处理每一页的数据
    
27.     for item in data['Table1']:
    
28.         print(item['cityName'] + item['storeName'], item['addressDetail'])
    

复制代码

这段代码将首先发送一个POST请求来获取第一页的数据，并从返回的JSON数据中提取总页数。然后，它将使用一个循环来遍历每一页的数据，并进行相应的处理。

注意：根据你的具体需求，你可能还需要添加一些错误处理和异常处理的代码。

跳转到最佳答案楼层

isdkz

要翻页，你需要知道有多少页数据可用。在这种情况下，你可以通过检查返回的数据中的页数来确定有多少页。

在你的代码中，你可以使用以下方法来获取页数：

1. 在发送POST请求后，获取响应对象response。
2. 使用response的json()方法将响应内容转换为JSON格式。
3. 从JSON数据中提取页数信息。

以下是修改后的代码示例：

1. import requests
   
2. import json
   
3. 
   
4. url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
   
5. location = input('输入你想要查询的地名：')
   
6. 
   
7. # 初始化页数为1
   
8. page = 1
   
9. param = {'cname': '', 'pid': '', 'keyword': location, 'pageIndex': page, 'pageSize': '10'}
   
10. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.1.4031 SLBChan/105'}
    
11. 
    
12. response = requests.post(url=url, data=param, headers=headers)
    
13. data = response.json()
    
14. 
    
15. # 获取总页数
    
16. total_pages = data['Table'][0]['Table1'][0]['rowcount'] // 10 + 1
    
17. 
    
18. print('总页数:', total_pages)
    
19. 
    
20. # 进行翻页操作
    
21. for page in range(1, total_pages + 1):
    
22.     param['pageIndex'] = page
    
23.     response = requests.post(url=url, data=param, headers=headers)
    
24.     data = response.json()
    
25. 
    
26.     # 处理每一页的数据
    
27.     for item in data['Table1']:
    
28.         print(item['cityName'] + item['storeName'], item['addressDetail'])
    

复制代码

这段代码将首先发送一个POST请求来获取第一页的数据，并从返回的JSON数据中提取总页数。然后，它将使用一个循环来遍历每一页的数据，并进行相应的处理。

注意：根据你的具体需求，你可能还需要添加一些错误处理和异常处理的代码。