[已解决]'str' object has no attribute 'get'

寄安

目的是爬取今日头条街拍图片，大哥们帮我看看这个怎么解决

1. import requests
   
2. from requests.exceptions import RequestException
   
3. from urllib.parse import urlencode
   
4. import json
   
5. 
   
6. def get_page_index(page_num):
   
7.     data = {
   
8.         'keyword': '街拍',
   
9.         'pd': 'atlas',
   
10.         'source': 'search_subtab_switch',
    
11.         'dvpf': 'pc',
    
12.         'aid': '4916',
    
13.         'page_num': 'page_num',
    
14.         'rawJSON': '1',
    
15.         'search_id': '202110031811450101501322040B5D277C'
    
16.     }
    
17.     url = 'https://so.toutiao.com/search?' + urlencode(data)
    
18.     response = requests.get(url)
    
19.     try:
    
20.         if response.status_code == 200:
    
21.             return response.text
    
22.         return None
    
23.     except RequestException:
    
24.         print('索引失败')
    
25.         return None
    
26. 
    
27. def parse_page_index(html):
    
28.     images = html.get('rawData').get('data')
    
29.     for image in images:
    
30.         link = image.get('img_url')
    
31.         yield link
    
32. 
    
33. 
    
34. 
    
35. def main(page_num):
    
36.     html = get_page_index(page_num)
    
37.     for url in parse_page_index(html):
    
38.         print(url)
    
39. 
    
40. if __name__ == '__main__':
    
41.     for i in range(2):
    
42.         main(i)
    

复制代码

下面是提示错误信息

1. Traceback (most recent call last):
   
2.   File "E:\QMDownload\今日头条\main.py", line 42, in <module>
   
3.     main(i)
   
4.   File "E:\QMDownload\今日头条\main.py", line 37, in main
   
5.     for url in parse_page_index(html):
   
6.   File "E:\QMDownload\今日头条\main.py", line 28, in parse_page_index
   
7.     images = html.get('rawData').get('data')
   
8. AttributeError: 'str' object has no attribute 'get'
   

复制代码

最佳答案

月排行榜 / 总排行榜

白two

2021-10-3 20:55:56

给个建议，可以把 json 数据转换为字典来进行解析
而且你想要图片的话应该找的是图片对应的链接

跳转到最佳答案楼层

wp231957

images = html.get('rawData').get('data')
这句代码狠另人迷惑

寄安

wp231957 发表于 2021-10-3 19:32
images = html.get('rawData').get('data')
这句代码狠另人迷惑

我看的视频有点老了，网页不一样，所以我就找了一篇差不多的博客看
我写的就是在这篇博客看的

寄安

wp231957 发表于 2021-10-3 19:32
images = html.get('rawData').get('data')
这句代码狠另人迷惑

就像这样，我也没啥头绪，咋处理

wp231957

寄安 发表于 2021-10-3 19:41
就像这样，我也没啥头绪，咋处理

这句代码images = html.get('rawData').get('data')
很像是处理json数据，所以呢，写爬虫代码呢
还是要有自己的思想，说白了就是自己写
别人的毕竟是别人的，有些人代码根本就不全
你的拿来主义根本就没用

寄安

wp231957 发表于 2021-10-3 20:04
这句代码images = html.get('rawData').get('data')
很像是处理json数据，所以呢，写爬虫代码呢
还是要 ...

是各种不懂
我的思想还是要建立在学了的基础上，在看视频的过程中，肯定有错误，我就要问，问了就学了7788了。
但是我也不能总是看完各种基础知识，前端后端，再来学，再来敲自己的代码，人无完人，而且也没有那么多时间一直做一件事，在一个个小项目中才能更好的锻炼自己的思想
所以，我还是想问问这个咋解决的，我也在网上搜了好多，但是大多数说的不是一件事，大佬可以给我说一下解决方法吗，虽然我的拿来主义不靠谱，但是这也是目前最好的办法了，对我来说确实是这样。

wp231957

寄安 发表于 2021-10-3 20:19
是各种不懂
我的思想还是要建立在学了的基础上，在看视频的过程中，肯定有错误，我就要问，问了就学了77 ...

没在电脑旁，感觉①楼代码是过时的代码，也就是说是不能运行的代码，或者说是错的代码
写爬虫确实需要一些前端知识，这是肯定的
至于如何解决，就是抛弃所有的前辈代码
自己根据需求，自己去抓包，去分析网页
不会抓包，咋学爬虫啊？？

寄安

wp231957 发表于 2021-10-3 20:30
没在电脑旁，感觉①楼代码是过时的代码，也就是说是不能运行的代码，或者说是错的代码
写爬虫确实需要一 ...

嗯，说的有道理，那我再看看

wp231957

寄安 发表于 2021-10-3 20:19
是各种不懂
我的思想还是要建立在学了的基础上，在看视频的过程中，肯定有错误，我就要问，问了就学了77 ...

除非你不想学，那就找人根据你的需求，别人给你一段能满足需求的代码，但是这样会有，过一段时间，网站修改，代码又不能用了
所以自己会才是真的会

寄安

wp231957 发表于 2021-10-3 20:33
除非你不想学，那就找人根据你的需求，别人给你一段能满足需求的代码，但是这样会有，过一段时间，网站修 ...

确实

白two

给个建议，可以把 json 数据转换为字典来进行解析
而且你想要图片的话应该找的是图片对应的链接