[已解决]爬取肯德基门店的练习：如何把字符串转为JSON数据

青松100

以下是B站　某爬虫　视频教程　的作业。视频中老师布置一个作业，要爬取　肯德基门　门店的信息，他也具体讲解了怎么写爬虫，不过最后一步，我没听懂。

最后一步是：肯德基门店的信息的响应数据是text, 但是要存储为json形式，他说，要用 dumps  来转。我百度了dumps的用法。网上说：
json.dumps()函数是将字典转化为字符串
而json.loads 才是把字符串转为字典。

老师是不是说错了，还是我应该怎么做？

1. import request
   
2. import json
   
3. if __name__ == "__main__":
   
4.     url = 'http://www.kfc.com.cn/kfccda/index.aspx'
   
5.     headers = {
   
6.          'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
   
7. 
   
8.     }
   
9.     keyword = input('enter a word:')
   
10.     data = {
    
11.         'op': keyword
    
12.     }
    
13.     response = requests.post(url=url, data=data, headers=headers)
    
14.    [color=Red] page_text = response.text    [/color]
    
15.    

复制代码

最佳答案

月排行榜 / 总排行榜

zltzlt

2020-7-28 12:41:47

青松100 发表于 2020-7-28 12:32
谢谢版主审核，和各位大神的回答。我还有一个问题，就是这个代码我写好了，但是出错了。能不能麻烦你们或路 ...

因为 page_text 不是 JSON 类型呀，它是一串正常的网页代码

跳转到最佳答案楼层

zltzlt

应该是用 json.loads()

qiuyouzhi

是的，老师说错了。

青松100

谢谢版主审核，和各位大神的回答。我还有一个问题，就是这个代码我写好了，但是出错了。能不能麻烦你们或路过的大神有空的时候帮助看看啊？


小白零基础自学，希望别骂我太蠢。

1. import requests
   
2. import json
   
3. if __name__ == "__main__":
   
4.     url = 'http://www.kfc.com.cn/kfccda/index.aspx'
   
5.     headers = {
   
6.          'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
   
7. 
   
8.     }
   
9.     keyword = input('enter a word:')
   
10.     data = {
    
11.         'op': keyword
    
12.     }
    
13.     response = requests.post(url=url, data=data, headers=headers)
    
14.     page_text = response.text  
    
15.     j_data=json.loads(page_text)
    
16.     fp=open('./kfc.json','w',encoding='utf-8')
    
17.     json.dump(j_data, fp=fp, headers=headers)  
    
18.     print('over...')

复制代码

我的VS　CODE提示，什么第二行的第一列(char2)　

F:\python>C:/Users/Administrator.PC-20200712CPJN/AppData/Local/Programs/Python/Python38/python.exe f:/python/0019.py
enter a word:北京
Traceback (most recent call last):
  File "f:/python/0019.py", line 15, in <module>
    j_data=json.loads(page_text)
  File "C:\Users\Administrator.PC-20200712CPJN\AppData\Local\Programs\Python\Python38\lib\json\__init__.py", line 357, in loads
    return _default_decoder.decode(s)
  File "C:\Users\Administrator.PC-20200712CPJN\AppData\Local\Programs\Python\Python38\lib\json\decoder.py", line 337, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "C:\Users\Administrator.PC-20200712CPJN\AppData\Local\Programs\Python\Python38\lib\json\decoder.py", line 355, in raw_decode
    raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 2 column 1 (char 2)

zltzlt

青松100 发表于 2020-7-28 12:32
谢谢版主审核，和各位大神的回答。我还有一个问题，就是这个代码我写好了，但是出错了。能不能麻烦你们或路 ...

因为 page_text 不是 JSON 类型呀，它是一串正常的网页代码

suchocolate

青松100 发表于 2020-7-28 12:32
谢谢版主审核，和各位大神的回答。我还有一个问题，就是这个代码我写好了，但是出错了。能不能麻烦你们或路 ...

这个页面返回的是html，不能直接转json.loads。
我觉得你还是买书吧，网上的视频好多误人子弟。

青松100

谢谢各位大神的回复，很想都采纳，可是答案只有一个。

左右为难。

大马强

楼主找到解决问题的方法了吗?我也是在搞这个，但完全蒙b了

青松100

大马强 发表于 2020-11-24 18:21
楼主找到解决问题的方法了吗?我也是在搞这个，但完全蒙b了

啥意思？你是不是在爬肯德基？

利用requests模块进行数据爬取初级操作　　－－－百度这篇文章，找到这篇文章之后，再搜　肯德基

这块代码他放在文章的中间。

博主叫阿良

都好久了，我也忘记是咋写的了。以后回头再复习。

大马强

青松100 发表于 2020-11-24 19:05
啥意思？你是不是在爬肯德基？

利用requests模块进行数据爬取初级操作　　－－－百度这篇文章，找到这 ...

感谢