新手爬虫.全国KFC门店地址抓取.

johnnyb

新手第一个简单爬虫.
爬取全国KFC门店地址. 输入城市名称即可.
请指点1 2  感谢感谢

1. import requests
   
2. import json
   
3. 
   
4. 
   
5. def getJSON_text(url, num=str(10), city='北京'):
   
6.     headers = {
   
7.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
   
8.     }
   
9.     data = {
   
10.         "cname": city,
    
11.         "pid": "",
    
12.         "pageIndex": "1",
    
13.         "pageSize": num
    
14.     }
    
15.     try:
    
16.         response = requests.post(url=url, data=data, headers=headers, timeout=30)
    
17.         response.raise_for_status()
    
18.         response.encoding = response.apparent_encoding
    
19.         return response.text
    
20.     except:
    
21.         print('出错了,请检查城市名称!')
    
22. 
    
23. 
    
24. def user_input():
    
25.     city = input("请输入目标城市(回车默认'北京'):")
    
26.     if city == '':
    
27.         return '北京'
    
28.     else:
    
29.         return city
    
30. 
    
31. 
    
32. def main():
    
33.     url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'
    
34.     city = user_input() # 用户指定城市
    
35.     JSON = getJSON_text(url,  city=city)    # 第一次调用函数 获取json内容
    
36.     num = json.loads(JSON)["Table"][0]['rowcount']  # 解析json取得地址总数num
    
37.     print("含有地址{}个.如下!".format(num))
    
38.     str_json = getJSON_text(url, num, city)  # 第二次调用函数 指定总数.
    
39.     for i in json.loads(str_json)['Table1']:  # 开始遍历
    
40.         print("{}{}{} 辅助标记地点:({}), 特色: {}".format(i['provinceName'], i['cityName'], i['addressDetail'], i['storeName'], i['pro']))
    
41. 
    
42. 
    
43. if __name__ == '__main__':
    
44.     main()
    
45. 
    
46. 
    
47. 
    
48. 
    
49. 
    
50. '''
    
51. 这是返回的json内容, 对照最后的格式化输出,方便理解.
    
52.     {
    
53.         "Table": [
    
54.                     {
    
55.                         "rowcount": 83
    
56.                     }
    
57.         ],
    
58.         "Table1": [
    
59.             {
    
60.                 "rownum": 1,
    
61.                 "storeName": "车百餐厅",
    
62.                 "addressDetail": "东风大街38号欧亚车百一楼肯德基",
    
63.                 "pro": "Wi-Fi,店内参观,礼品卡,生日餐会",
    
64.                 "provinceName": "吉林省",
    
65.                 "cityName": "长春市"
    
66.             },
    
67.             {
    
68.                 "rownum": 2,
    
69.                 "storeName": "福林",
    
70.                 "addressDetail": "同志街68号",
    
71.                 "pro": "24小时,Wi-Fi,礼品卡",
    
72.                 "provinceName": "吉林省",
    
73.                 "cityName": "长春市"
    
74.             }
    
75.         ]
    
76.         
    
77.     }  
    
78. '''

复制代码

Hello.

厉害！

乘号

哇塞可以啊

Twilight6

很棒....刚刚还想抢沙发的，去开个空调就没了

johnnyb

Twilight6 发表于 2020-7-11 20:15
很棒....刚刚还想抢沙发的，去开个空调就没了

这门入的还多亏了你帮助. 没你帮我解答那些问题. 估计已经放弃了. 感谢有你!

xiaosi4081

Twilight6 发表于 2020-7-11 20:15
很棒....刚刚还想抢沙发的，去开个空调就没了

你是在外国吧，要不然，都不复工复产

Twilight6

xiaosi4081 发表于 2020-7-11 20:37
你是在外国吧，要不然，都不复工复产

宅家里呢