[已解决]爬取肯德基门店的练习：如何把字符串转为JSON数据

青松100 · 发表于 2020-7-28 10:22:00

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

以下是B站　某爬虫　视频教程　的作业。视频中老师布置一个作业，要爬取　肯德基门　门店的信息，他也具体讲解了怎么写爬虫，不过最后一步，我没听懂。

最后一步是：肯德基门店的信息的响应数据是text, 但是要存储为json形式，他说，要用 dumps 来转。我百度了dumps的用法。网上说：
json.dumps()函数是将字典转化为字符串
而json.loads 才是把字符串转为字典。

老师是不是说错了，还是我应该怎么做？

import request
import json
if __name__ == "__main__":
url = 'http://www.kfc.com.cn/kfccda/index.aspx'
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}
keyword = input('enter a word:')
data = {
'op': keyword
}
response = requests.post(url=url, data=data, headers=headers)
[color=Red] page_text = response.text [/color]

复制代码

最佳答案

月排行榜 / 总排行榜

zltzlt

2020-7-28 12:41:47

青松100 发表于 2020-7-28 12:32
谢谢版主审核，和各位大神的回答。我还有一个问题，就是这个代码我写好了，但是出错了。能不能麻烦你们或路 ...

因为 page_text 不是 JSON 类型呀，它是一串正常的网页代码

跳转到最佳答案楼层

zltzlt · 发表于 2020-7-28 10:24:21

应该是用 json.loads()

qiuyouzhi · 发表于 2020-7-28 10:25:56

是的，老师说错了。

青松100 · 发表于 2020-7-28 12:32:09

谢谢版主审核，和各位大神的回答。我还有一个问题，就是这个代码我写好了，但是出错了。能不能麻烦你们或路过的大神有空的时候帮助看看啊？

小白零基础自学，希望别骂我太蠢。

import requests
import json
if __name__ == "__main__":
url = 'http://www.kfc.com.cn/kfccda/index.aspx'
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}
keyword = input('enter a word:')
data = {
'op': keyword
}
response = requests.post(url=url, data=data, headers=headers)
page_text = response.text
j_data=json.loads(page_text)
fp=open('./kfc.json','w',encoding='utf-8')
json.dump(j_data, fp=fp, headers=headers)
print('over...')

复制代码

我的VS　CODE提示，什么第二行的第一列(char2)　

F:\python>C:/Users/Administrator.PC-20200712CPJN/AppData/Local/Programs/Python/Python38/python.exe f:/python/0019.py
enter a word:北京
Traceback (most recent call last):
  File "f:/python/0019.py", line 15, in <module>
j_data=json.loads(page_text)
  File "C:\Users\Administrator.PC-20200712CPJN\AppData\Local\Programs\Python\Python38\lib\json\__init__.py", line 357, in loads
return _default_decoder.decode(s)
  File "C:\Users\Administrator.PC-20200712CPJN\AppData\Local\Programs\Python\Python38\lib\json\decoder.py", line 337, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "C:\Users\Administrator.PC-20200712CPJN\AppData\Local\Programs\Python\Python38\lib\json\decoder.py", line 355, in raw_decode
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 2 column 1 (char 2)

zltzlt · 发表于 2020-7-28 12:41:47

这个最佳答案由 zltzlt 给出，感谢 zltzlt 的回答。

单击隐藏图章

青松100 发表于 2020-7-28 12:32
谢谢版主审核，和各位大神的回答。我还有一个问题，就是这个代码我写好了，但是出错了。能不能麻烦你们或路 ...

因为 page_text 不是 JSON 类型呀，它是一串正常的网页代码

suchocolate · 发表于 2020-7-28 12:43:38

青松100 发表于 2020-7-28 12:32
谢谢版主审核，和各位大神的回答。我还有一个问题，就是这个代码我写好了，但是出错了。能不能麻烦你们或路 ...

这个页面返回的是html，不能直接转json.loads。
我觉得你还是买书吧，网上的视频好多误人子弟。

青松100 · 发表于 2020-7-28 15:18:12

谢谢各位大神的回复，很想都采纳，可是答案只有一个。

左右为难。

大马强 · 发表于 2020-11-24 18:21:50

楼主找到解决问题的方法了吗?我也是在搞这个，但完全蒙b了

青松100 · 发表于 2020-11-24 19:05:59

大马强发表于 2020-11-24 18:21
楼主找到解决问题的方法了吗?我也是在搞这个，但完全蒙b了

啥意思？你是不是在爬肯德基？

利用requests模块进行数据爬取初级操作　　－－－百度这篇文章，找到这篇文章之后，再搜　肯德基

这块代码他放在文章的中间。

博主叫阿良

都好久了，我也忘记是咋写的了。以后回头再复习。

大马强 · 发表于 2020-11-24 23:02:34

青松100 发表于 2020-11-24 19:05
啥意思？你是不是在爬肯德基？

利用requests模块进行数据爬取初级操作　　－－－百度这篇文章，找到这 ...

感谢

账号		自动登录	找回密码
密码			立即注册

[已解决]爬取肯德基门店的练习：如何把字符串转为JSON数据

马上注册，结交更多好友，享用更多功能^_^

浏览过的版块