[已解决]python爬虫

1141429506

哪位大佬可以逐行讲解一下下面的爬虫每一步都是在干嘛？只有一点python基础，没怎么学爬虫，，，学长让解决其中爬取数据会断页的问题，，脑袋要炸。。。得先看的懂下面的代码是在干嘛才行啊啊啊啊



import requests
import json
head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
url_ = 'https://maps.googleapis.com/maps/api/place/search/json?language=en&key='
result = []
#url = url_ + key + "&radius=1000&location=" +str(lat) + ',' +str(lng) + '&types=' + types
url = 'https://maps.googleapis.com/maps/api/place/search/json?language=en&key=AIzaSyDIplmP9mM7w7DVf3tHMpLngwA8uc9zl_M&radius=1000&location=1.3066,103.870339&types=accounting'
while True:
    print(url)
    request = requests.get(url,timeout = 3,headers=head)
    request.encoding = 'utf8'
    if "error_message" in request.text:
        print('error')
        break
    res = json.loads(request.text)#
    result.extend(res['results'])
    print('处理开始')
    #如果多页则处理下页
    if res.get('next_page_token') != None:
        print(res.get('next_page_token'))
        url = url_ + 'AIzaSyDIplmP9mM7w7DVf3tHMpLngwA8uc9zl_M' + '&' + 'pagetoken=' + res.get('next_page_token')
    else:
        break
#返回一个 list列表[latlng,result,types,number]
print(len(result))

最佳答案

月排行榜 / 总排行榜

sunnychou

2017-10-24 08:52:40

ooxx7788 发表于 2017-10-23 22:59
一条一条我做不到了，分个块吧，爬虫其实一般可以分为3部分
1、准备部分，用来包装提交请求需要的东西，例 ...

跳转到最佳答案楼层

ba21

不懂就先慢慢先学着，这叫人家一条一条的解释，你也未必能懂。

ooxx7788

一条一条我做不到了，分个块吧，爬虫其实一般可以分为3部分
1、准备部分，用来包装提交请求需要的东西，例如头部代码，代理，cookies之类的东西
2、获取解析部分，提交请求，解析页面。这部分一般由库requests，BeautifulSoup，re这些来完成，就是用来获取页面html的过程
3、提取保存部分。从html中抽取需要的内容，保存成文件或者导入数据库

1. import requests
   
2. import json
   
3. # 准备部分
   
4. head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
   
5. url_ = 'https://maps.googleapis.com/maps/api/place/search/json?language=en&key='
   
6. result = []
   
7. #url = url_ + key + "&radius=1000&location=" +str(lat) + ',' +str(lng) + '&types=' + types
   
8. url = 'https://maps.googleapis.com/maps/api/place/search/json?language=en&key=AIzaSyDIplmP9mM7w7DVf3tHMpLngwA8uc9zl_M&radius=1000&location=1.3066,103.870339&types=accounting'
   
9. # 请求获取
   
10. while True:
    
11.     print(url)
    
12.     request = requests.get(url,timeout = 3,headers=head)
    
13.     request.encoding = 'utf8'
    
14.     if "error_message" in request.text:
    
15.         print('error')
    
16.         break
    
17. # 提取保存
    
18.     res = json.loads(request.text)#
    
19.     result.extend(res['results'])
    
20.     print('处理开始')
    
21.     #如果多页则处理下页
    
22.     if res.get('next_page_token') != None:
    
23.         print(res.get('next_page_token'))
    
24.         url = url_ + 'AIzaSyDIplmP9mM7w7DVf3tHMpLngwA8uc9zl_M' + '&' + 'pagetoken=' + res.get('next_page_token')
    
25.     else:
    
26.         break
    
27. #返回一个 list列表[latlng,result,types,number]
    
28. print(len(result))

复制代码

sunnychou

ooxx7788 发表于 2017-10-23 22:59
一条一条我做不到了，分个块吧，爬虫其实一般可以分为3部分
1、准备部分，用来包装提交请求需要的东西，例 ...

gopythoner

递归爬虫