微博爬虫问题

华北小野狼

做一个爬微博的

1. from urllib.parse import urlencode
   
2. import requests
   
3. base_url = 'https://m.weibo.cn/qpi/container/getIndex?'
   
4. 
   
5. headers = {
   
6.     'Host':'m.weibo.cn',
   
7.     'Referer':'https://m.weibo.cn/u/2830678474',
   
8.     'User-Agent':'Mozilla/5.0(Macintosh; Intel Mac OS X 10_12_3) AppleWebkit/537.36(KHTML, like Gecko)'
   
9.                  'Chrome/58.0.3029.110 Safari/537.36',
   
10.     'X-Requested-With': 'XMLHTTpRequest',
    
11. }
    
12. def get_page(page):
    
13.     params ={
    
14.         'type':'uid',
    
15.         'value':'2830678474',
    
16.         'containerid':'1076032830678474',
    
17.         'page':page
    
18.     }
    
19.     url = base_url + urlencode(params)
    
20.     try:
    
21.         response = requests.get(url, headers=headers)
    
22.         if response.status_code == 200:
    
23.             return response.json()
    
24.     except requests.ConnectionError as e:
    
25.         print('Error', e.args)
    
26. 
    
27. from pyquery import PyQuery as pq
    
28. 
    
29. def parse_page(json):
    
30.     if json:
    
31.         items = json.get('data').get('cards')
    
32.         for item in items:
    
33.             item = item.get('mblog')
    
34.             weibo = {}
    
35.             weibo['id'] = item.get('id')
    
36.             weibo['text'] = pq(item.get('text')).text()
    
37.             weibo['attitudes'] = item.get('attitudes_count')
    
38.             weibo['comments'] = item.get('comments_count')
    
39.             weibo['reposts'] = item.get('reposts_count')
    
40.             yield weibo
    
41. if __name__ == '__main__':
    
42.     for page in range(1,11):
    
43.         json = get_page(page)
    
44.         results = parse_page(json)
    
45.         for result in results:
    
46.             print(result)
    
47. from pymongo import MongoClinent
    
48. 
    
49. client = MongoClinent()
    
50. db = client['weibo']
    
51. collection = db['weibo']
    
52. 
    
53. def save_to_mongo(result):
    
54.     if collection.insert(result):
    
55.         print('Saved to Mongo')

复制代码

——————————————————————————————————
Traceback (most recent call last):
  File "D:/learn/pycharm/exercise/微博.py", line 45, in <module>
    for result in results:
  File "D:/learn/pycharm/exercise/微博.py", line 31, in parse_page
    items = json.get('data').get('cards')
AttributeError: 'NoneType' object has no attribute 'get'
这是要怎么修改啊新手求助谢谢大佬

团团不好吃

你好这个是爬微博什么的鸭？我最近想爬超话里的微博诶

华北小野狼

wongyusing 发表于 2018-11-5 16:37
你先for一下这个字典的keys()。  
看一下你获取的内容是什么。  
我看了你贴出来的报错信息。  

嗯嗯我知道了是这个微博API改了，谢谢老哥，麻烦了哈哈哈

wongyusing

华北小野狼 发表于 2018-11-5 16:07
不好意思排版确实有点问题哈哈哈哈
这个好像也不对
Traceback (most recent call last):

你先for一下这个字典的keys()。  
看一下你获取的内容是什么。  
我看了你贴出来的报错信息。  
这里应该是一个列表。  

华北小野狼

康小泡 发表于 2018-11-2 18:41
json等于了NoneType,

改成

还是没变哈哈哈，不过我感觉这个也不太对

华北小野狼

wongyusing 发表于 2018-11-2 17:28
这里写错了
应该写成(我没记错的话)

不好意思排版确实有点问题哈哈哈哈
这个好像也不对
Traceback (most recent call last):
  File "D:/learn/pycharm/exercise/微博.py", line 45, in <module>
    for result in results:
  File "D:/learn/pycharm/exercise/微博.py", line 31, in parse_page
    items = json.get(['data']['cards'])
TypeError: list indices must be integers or slices, not str

康小泡

json等于了NoneType,

1. if json:
   
2.     xxxx

复制代码

改成

1. if json  is not   None:

复制代码

wongyusing

这里写错了

1. items = json.get('data').get('cards')

复制代码

应该写成(我没记错的话)

1. items = json.get(['data']['cards'])

复制代码

mongoole

有点强迫症哈，希望以后发代码的时候用专用的代码格式。