[已解决]python爬取百度地图的数据为什么只能返回400条记录?

azsxdf

1. import requests
   
2. import json
   
3. from datetime import datetime
   
4. 
   
5. def getjson(page_num=0):
   
6.     headers = {
   
7.         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
   
8.     }
   
9.     url='http://api.map.baidu.com/place/v2/search'
   
10.     params={
    
11.         'q':'网吧',
    
12.         'region':'北京',
    
13.         'scope':'2',
    
14.         'page_size':'10',
    
15.         'page_num':page_num,
    
16.         'output':'json',
    
17.         'ak':'XM53LMurtNQaAPFuKVy1WzSyZCNmNA9H',
    
18.     }
    
19.     response=requests.get(url=url,params=params,headers=headers)
    
20.     html=response.text
    
21.     decodejson=json.loads(html)
    
22.     return decodejson
    
23. 
    
24. 
    
25. count = 0  #计数器
    
26. 
    
27. not_last_page=True
    
28. page_num=0
    
29. while not_last_page:
    
30.     decodejson=getjson(page_num)
    
31.     print(page_num)
    
32.     if decodejson.get('results'):
    
33.         for result in decodejson.get('results'):
    
34.             name=result.get('name')
    
35.             lat=result.get('location').get('lat')
    
36.             lng=result.get('location').get('lng')
    
37.             address=result.get('address')
    
38.             street_id=result.get('street_id')
    
39.             uid=result.get('uid')
    
40.             print('\naddress:''name:',name,'\n','address:',address,'\n','lat:',lat,'\n','lng:',lng)
    
41.             count+=1;
    
42.             print('count:',count)
    
43.         page_num=page_num+1
    
44.     else:
    
45.         not_last_page=False
    
46.         
    

复制代码

最佳答案

月排行榜 / 总排行榜

sky

2018-1-24 16:55:14

http://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-placeapi
POI检索总数，开发者请求中设置了page_num字段才会出现total字段。出于数据保护目的，单次请求total最多为400。

跳转到最佳答案楼层

sky

可能 大概 北京只有400个网吧吧

azsxdf

sky 发表于 2018-1-24 16:39
可能 大概 北京只有400个网吧吧

sky

http://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-placeapi
POI检索总数，开发者请求中设置了page_num字段才会出现total字段。出于数据保护目的，单次请求total最多为400。

azsxdf

sky 发表于 2018-1-24 16:55
http://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-placeapi
POI检索总数，开发者请求中 ...

把page_num去掉后根本停不下来
感谢大佬!!!