鱼C论坛

 找回密码
 立即注册
查看: 2986|回复: 9

[已解决]请教爬取如下动态网页解析json方法

[复制链接]
发表于 2017-3-13 12:50:54 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
url = ‘https://2.smzdm.com/home/json_more?limit=1’

通过观察以上链接返回的内容并不是标准的json格式,我的思路是先处理一下源码。

两个地方请教一下:
1.首先是如何获得“[ ]里的json格式内容;
2.这里的json是嵌套的,请问如何解析出数据;

最佳答案
2017-3-27 16:30:03
使用正则表达式把JSON的标准格式部分提取出来,然后在用json.loads(html)去解析就行了
比如你得到的网页信息是这样的:
  1. html = "json12345({"abc":"abc12343555"})"
  2. data = re.findall(".*?\((.*)\)",html)[0]
  3. info  = json.loads(data)
复制代码


一般都是这种格式,你需要提取的是{"abc":"abc12343555"}这部分对吧,那就用正则提取就行,我给的这个正则是通用的
记得把我的答案设置成标准答案
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2017-3-13 13:02:09 | 显示全部楼层
  1. >>> import requests
  2. >>> print(requests.get('https://2.smzdm.com/home/json_more?limit=1', headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}).json())
  3. {'res': [{'contact_type': '3', 'create_time': '2017-03-12 23:05:48', 'title': 'Kipling 凯普林 Artelo男士钱包', 'publish_time': '2017-03-13 12:50:15', 'publish_from': 'web', 'wiki_brand_id': '0', 'comment_count': '0', 'user_remark': '', 'origin_use_title': 'Kipling 凯普林 Artelo男士钱包', 'user_id': '3064649', 'area': '33', 'sort_time': '2017-03-13 12:50:15', 'product_desc': '转手原因:买多了,转2个  招行的汇率我也是醉了\n入手渠道:德国亚马逊\n是否包邮:不包邮\n是否接受议价:不二价\n宝贝介绍:沿用了kipling家经典尼龙面料........
复制代码

小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

 楼主| 发表于 2017-3-13 13:24:50 | 显示全部楼层

感谢,请问大大此时打印出来的结果是标准json吗?可以直接获取里面各个数据吗?
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-3-13 14:05:50 | 显示全部楼层
hiraicn 发表于 2017-3-13 13:24
感谢,请问大大此时打印出来的结果是标准json吗?可以直接获取里面各个数据吗?

你试试不就知道了
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-3-13 16:06:27 | 显示全部楼层
  1. # -*- coding: utf-8 -*-
  2. import requests
  3. url = 'https://2.smzdm.com/home/json_more?limit=1'
  4. hearder = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}
  5. data = requests.get(url,headers = hearder).json()['res']
  6. for i in data:
  7.     item_info = {
  8.         'title' = i['title'],
  9.         'price' = i['order_price'],
  10.         'link' = i['buy_link'],
  11.     }
  12.     print item_info
复制代码


报错如下:
    'title' = i['title'],
            ^
SyntaxError: invalid syntax

小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-3-13 16:11:59 | 显示全部楼层
是标准的json
QQ截图20170313161133.png
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-3-13 17:17:27 | 显示全部楼层
hiraicn 发表于 2017-3-13 16:06
报错如下:
    'title' = i['title'],
            ^

好好复习一下基本 python 语法吧
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-3-13 18:15:24 | 显示全部楼层
hldh214 发表于 2017-3-13 17:17
好好复习一下基本 python 语法吧

等号应该改冒号...
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-3-27 16:30:03 | 显示全部楼层    本楼为最佳答案   
使用正则表达式把JSON的标准格式部分提取出来,然后在用json.loads(html)去解析就行了
比如你得到的网页信息是这样的:
  1. html = "json12345({"abc":"abc12343555"})"
  2. data = re.findall(".*?\((.*)\)",html)[0]
  3. info  = json.loads(data)
复制代码


一般都是这种格式,你需要提取的是{"abc":"abc12343555"}这部分对吧,那就用正则提取就行,我给的这个正则是通用的
记得把我的答案设置成标准答案
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-3-27 16:31:50 | 显示全部楼层
你的这个网页信息分明就是标准的JSON文件,根本不需要用正则提取,可以直接json.loads(html)
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-2-26 01:54

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表