爬虫中json问题

slhlde

import pymongo
import json
import time
import requests

client=pymongo.MongoClient('localhost',27017)
mydb=client['mydb']
lagou=mydb['lagou']

headers={
    'cookies':"xxxxx",
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
       AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
    'Connection':'keep-live'
}

def get_page(url,params):
    html=requests.get(url,data=params,headers=headers)
    json_data=json.loads(html.text)
    total_count=json_data['content']['positionResult']['totalCount']
    page_number=int(total_count/15) if int(total_count/15) <30 else 30
    get_page(url,page_number)

def get_info(url,page):
    for pn in range(1,page+1):
        params={
            'first':'ture',
            'pn':str(pn),
            'kd':'Python'
        }
    try:
        html=requests.get(url,data=params,headers=headers)
        print(html.text)
        json_data=json.loads(html.text)
        results=json_data['content']['positionResult']['result']
        for result in results:
            infos={
                'businessZones': result['businessZones'],
                'city': result['city'],
                'companyFullName': result['companyFullName'],
                'companyLabelList': result['companyLabelList'],
                'companySize': result['companySize'],
                'district': result['district'],
                'education': result['education'],
                'explain': result['explain'],
                'financeStage': result['financeStage'],
                'firstType': result['firstType'],
                'formatCreateTime': result['formatCreateTime'],
                'gradeDescription': result['gradeDescription'],
                'imState': result['imState'],
                'industryField': result['industryField'],
                'jobNature': result['jobNature'],
                'positionAdvantage': result['positionAdvantage'],
                'salary': result['salary'],
                'secondType': result['secondType'],
                'workYear': result['workYear']

            }
            lagou.insert_one(infos)
            time.sleep(2)
    except requests.exceptions.ConnectionError:
        pass
if __name__=='__main__':
    url='https://www.lagou.com/jobs/positionAjax.json'
    params={
        'first':'true',
        'pn':'1',
        'kd':'Python'
    }
    get_page(url,params)
报错为：KeyError: 'content'
但是看了是有这个 content的啊。  
请大家帮忙看看

拉了盏灯

操作太过频繁，，，，
的确没有content

slhlde

拉了盏灯 发表于 2018-9-7 23:08
操作太过频繁，，，，
的确没有content

已经加了 cookie 和 headers 还有限制啊？？

拉了盏灯

slhlde 发表于 2018-9-7 23:11
已经加了 cookie 和 headers 还有限制啊？？

换个ip试试，

wongyusing

因为你没有拿到正确的数据，看我这里

1. #import pymongo
   
2. import json
   
3. import time
   
4. import requests
   
5. 
   
6. #client=pymongo.MongoClient('localhost',27017)
   
7. #mydb=client['mydb']
   
8. #lagou=mydb['lagou']
   
9. 
   
10. headers={
    
11.     'cookies':"xxxxx",
    
12.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
    
13.        AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
    
14.     'Connection':'keep-live'
    
15. }
    
16. 
    
17. def get_page(url,params):
    
18.     html=requests.get(url,data=params,headers=headers)
    
19.     json_data=json.loads(html.text)
    
20.     # 这里打印一下获取到的的数据
    
21.     print(json_data)
    
22.     total_count=json_data['content']['positionResult']['totalCount']
    
23.     page_number=int(total_count/15) if int(total_count/15) <30 else 30
    
24.     get_page(url,page_number)
    
25. 
    
26. def get_info(url,page):
    
27.     for pn in range(1,page+1):
    
28.         params={
    
29.             'first':'ture',
    
30.             'pn':str(pn),
    
31.             'kd':'Python'
    
32.         }
    
33.     try:
    
34.         html=requests.get(url,data=params,headers=headers)
    
35.         print(html.text)
    
36.         json_data=json.loads(html.text)
    
37.         results=json_data['content']['positionResult']['result']
    
38.         for result in results:
    
39.             infos={
    
40.                 'businessZones': result['businessZones'],
    
41.                 'city': result['city'],
    
42.                 'companyFullName': result['companyFullName'],
    
43.                 'companyLabelList': result['companyLabelList'],
    
44.                 'companySize': result['companySize'],
    
45.                 'district': result['district'],
    
46.                 'education': result['education'],
    
47.                 'explain': result['explain'],
    
48.                 'financeStage': result['financeStage'],
    
49.                 'firstType': result['firstType'],
    
50.                 'formatCreateTime': result['formatCreateTime'],
    
51.                 'gradeDescription': result['gradeDescription'],
    
52.                 'imState': result['imState'],
    
53.                 'industryField': result['industryField'],
    
54.                 'jobNature': result['jobNature'],
    
55.                 'positionAdvantage': result['positionAdvantage'],
    
56.                 'salary': result['salary'],
    
57.                 'secondType': result['secondType'],
    
58.                 'workYear': result['workYear']
    
59. 
    
60.             }
    
61.         print(infos)
    
62.             #lagou.insert_one(infos)
    
63.         time.sleep(2)
    
64.     except requests.exceptions.ConnectionError:
    
65.         pass
    
66. if __name__=='__main__':
    
67.     url='https://www.lagou.com/jobs/positionAjax.json'
    
68.     params={
    
69.         'first':'true',
    
70.         'pn':'1',
    
71.         'kd':'Python'
    
72.     }
    
73.     get_page(url,params)

复制代码

打印你的获取到的数据，结果如下

1. (py_web) &#10140;  amazon python spider.py
   
2. {'success': False, 'msg': '您操作太频繁,请稍后再访问', 'clientIp': '218.15.235.105'}
   
3. Traceback (most recent call last):
   
4.   File "spider.py", line 72, in <module>
   
5.     get_page(url,params)
   
6.   File "spider.py", line 21, in get_page
   
7.     total_count=json_data['content']['positionResult']['totalCount']
   
8. KeyError: 'content'
   

复制代码

slhlde

wongyusing 发表于 2018-9-7 23:17
因为你没有拿到正确的数据，看我这里

打印你的获取到的数据，结果如下

谢谢您  我看了 你的博客  请坚持 我在学习您博客。

wongyusing

slhlde 发表于 2018-9-8 13:23
谢谢您  我看了 你的博客  请坚持 我在学习您博客。

哦，我没上传而已，
我还要修改一下步骤，有需要可以到github上，写到标签分类部分。  
有项目文件和gitbook。  
需要pdf可以生成一份给你

slhlde

wongyusing 发表于 2018-9-8 15:51
哦，我没上传而已，
我还要修改一下步骤，有需要可以到github上，写到标签分类部分。  
有项目文件和gi ...

如果有pdf格式就更好了  可以发送到我邮箱吗？？slhlde@163.com
谢谢您

wongyusing

slhlde 发表于 2018-9-8 17:35
如果有pdf格式就更好了  可以发送到我邮箱吗？？
谢谢您

pdf版生成了，但是，代码方面分成一页一页的，
不方便阅读。等我吃完饭再弄吧。

wongyusing

wongyusing 发表于 2018-9-8 18:11
pdf版生成了，但是，代码方面分成一页一页的，
不方便阅读。等我吃完饭再弄吧。

下载这个github仓库。  
使用方法看介绍。
最好使用node.js生成的服务器。  
来浏览这些教程。  
你也可以看pdf。不过不建议