爬取肯德基官网的各地区店名及地址 的页码问题

今天的我更强了

首先代码如下：
import requests
import json
import openpyxl
def open_url(url):
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
    # kw=input('输入查询地区：')
    list1=[]
    list2=[]
    list3=[]
    for i in range(1,5):
        data={"cname":"",
    "pid":"",
    "keyword": "上海",
    "pageIndex": i,
    "pageSize": "10",
            }
        response=requests.post(url,data=data,headers=headers)
        req=json.loads(response.text)['Table1']
        for each in req:
            list1.append(each['storeName'])
            list2.append(each['addressDetail'])
            list3.append(each["provinceName"]+each['cityName'])
    result=[]
    for i in range(len(list1)):
        result.append([list1[i],list2[i],list3[i]])
    wb=openpyxl.Workbook()
    wa=wb.active
    wa['A1']='店名'
    wa['B1']='地址'
    wa['C1']='位置'
    wa.column_dimensions['A'].width = 30
    wa.column_dimensions['B'].width = 45
    wa.column_dimensions['C'].width = 30
    for each in result:
        wa.append(each)
    wb.save('上海.xlsx')
   
  
        

   
if __name__=='__main__':
    url='http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
    open_url(url)
有一个问题就是在爬取各个地区的时候，想把地区设置成动态的，由于各地区店的数量不同，一页展示十个，所以页数也会不同，应该如何爬取页码数？卡在这个地方不会了，有没有大佬指点一下

suchocolate

get拿到的是json数据(非html)，没有办法通过html解析，不过json写了总数目：

1.    
   
2.     num = response.json()['Table'][0]['rowcount']
   
3.     max = (int(num) // 10) + 2
   
4.     for i in range(1, max):
   
5.         xxx
   
6. 
   

复制代码

上面是34，除以10取整就是3，加1就是4页能容下，放range里再加1。

Veblent_Azz

1. import requests
   
2. import json
   
3. import openpyxl
   
4. def open_url(url):
   
5.     headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
   
6.     global kw
   
7.     kw=input('输入查询地区：')
   
8.     list1=[]
   
9.     list2=[]
   
10.     list3=[]
    
11.     for i in range(1,5):
    
12.         data={"cname":"",
    
13.     "pid":"",
    
14.     "keyword": "%s"%(kw),
    
15.     "pageIndex": i,
    
16.     "pageSize": "10",
    
17.             }
    
18.         response=requests.post(url,data=data,headers=headers)
    
19.         req=json.loads(response.text)['Table1']
    
20.         for each in req:
    
21.             list1.append(each['storeName'])
    
22.             list2.append(each['addressDetail'])
    
23.             list3.append(each["provinceName"]+each['cityName'])
    
24.     result=[]
    
25.     for i in range(len(list1)):
    
26.         result.append([list1[i],list2[i],list3[i]])
    
27.     wb=openpyxl.Workbook()
    
28.     wa=wb.active
    
29.     wa['A1']='店名'
    
30.     wa['B1']='地址'
    
31.     wa['C1']='位置'
    
32.     wa.column_dimensions['A'].width = 30
    
33.     wa.column_dimensions['B'].width = 45
    
34.     wa.column_dimensions['C'].width = 30
    
35.     for each in result:
    
36.         wa.append(each)
    
37.     wb.save('%s.xlsx'%(kw))
    
38.    
    
39.   
    
40.         
    
41. 
    
42.    
    
43. if __name__=='__main__':
    
44.     url='http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
    
45.     open_url(url)

复制代码