[已解决]求大佬看看如何存储爬取到的json数组方便？

头发

[
        {
                "a" : "aa" ,
                "b" : "bb" ,
        },
        {
                "a" : "cc",
                "b" : "dd",
        }
]
[
        {
                "a" : "11" ,
                "b" : "22" ,
        },
        {
                "a" : "33",
                "b" : "44",
        },
        {       
                "a" : "55",
                "b" : "66"
        }
]

爬取到的格式如上（a和b不变，只有后边跟的数据变），实际远远比上边的数组多。
如何在pycharm中改格式才能方便把json数组里的数据存入到mysql中？
求有经验的大佬们指点指点

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-1-18 13:37:37

1. 
   
2. import requests
   
3. import pymysql
   
4. 
   
5. 
   
6. def main():
   
7.     # 准备数据库连接，假如已有数据库test，其中已有stock这个表
   
8.     db = pymysql.connect(host='localhost', user='root', password='123456', port=3306, db='test')
   
9.     cursor = db.cursor()
   
10.     sql = 'INSERT INTO stock(id, name, symbol) values(%s, %s, %s)'
    
11.     # 获取数据
    
12.     url = 'http://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQFuturesData?page=1&num=5&sort=position&asc=0&node=dlm_qh&base=futures'
    
13.     headers = {'user-agent': 'firefox'}
    
14.     r = requests.get(url, headers=headers)
    
15.     j_data = r.json()
    
16.     # 处理数据，拿name和symbol这2个值做例子
    
17.     for n, i in enumerate(j_data):
    
18.         nm = i['name']
    
19.         sy = i['symbol']
    
20.         print(nm)
    
21.         print(sy)
    
22.         # 写数据库
    
23.         try:
    
24.             cursor.execute(sql, (n, nm, sy))
    
25.             db.commit()
    
26.         except:
    
27.             db.rollback()
    
28.     db.close()
    
29. 
    
30. 
    
31. if __name__ == '__main__':
    
32.     main()

复制代码

跳转到最佳答案楼层

suchocolate

1. 
   
2. import requests
   
3. import pymysql
   
4. 
   
5. 
   
6. def main():
   
7.     # 准备数据库连接，假如已有数据库test，其中已有stock这个表
   
8.     db = pymysql.connect(host='localhost', user='root', password='123456', port=3306, db='test')
   
9.     cursor = db.cursor()
   
10.     sql = 'INSERT INTO stock(id, name, symbol) values(%s, %s, %s)'
    
11.     # 获取数据
    
12.     url = 'http://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQFuturesData?page=1&num=5&sort=position&asc=0&node=dlm_qh&base=futures'
    
13.     headers = {'user-agent': 'firefox'}
    
14.     r = requests.get(url, headers=headers)
    
15.     j_data = r.json()
    
16.     # 处理数据，拿name和symbol这2个值做例子
    
17.     for n, i in enumerate(j_data):
    
18.         nm = i['name']
    
19.         sy = i['symbol']
    
20.         print(nm)
    
21.         print(sy)
    
22.         # 写数据库
    
23.         try:
    
24.             cursor.execute(sql, (n, nm, sy))
    
25.             db.commit()
    
26.         except:
    
27.             db.rollback()
    
28.     db.close()
    
29. 
    
30. 
    
31. if __name__ == '__main__':
    
32.     main()

复制代码

suchocolate

数据格式不太对，你是如何获得这个数据的，我需要看下原始数据。

头发

suchocolate 发表于 2021-1-18 13:43
数据格式不太对，你是如何获得这个数据的，我需要看下原始数据。

http://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQFuturesData?page=1&num=5&sort=position&asc=0&node=dlm_qh&base=futures

原始的就是上边网址里的数据 爬了很多个这种网址的，以json格式保存了

头发

suchocolate 发表于 2021-1-18 13:37

多谢老哥！

头发

suchocolate 发表于 2021-1-18 13:37

第一个数组正常，换下一个数组的时候，程序会报错：

1. pymysql.err.InterfaceError: (0, '')

复制代码

老哥你再爬一个url试下，就是把这俩的name和symbol写入
新url：
http://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQFuturesData?page=1&num=5&sort=position&asc=0&node=pta_qh&base=futures

suchocolate

头发 发表于 2021-1-18 19:57
第一个数组正常，换下一个数组的时候，程序会报错：
老哥你再爬一个url试下，就是把这俩的name和symbol ...

报错信息贴全

suchocolate

头发 发表于 2021-1-18 19:57
第一个数组正常，换下一个数组的时候，程序会报错：
老哥你再爬一个url试下，就是把这俩的name和symbol ...

我尝试了这个新连接，可以爬到并保存到数据库中。
我这个只是案例，你需要根据你自己的数据实际情况修改数据库的名称，表名。
另外还需要确认一下id，列名。
如果还是有问题，请把你的全部代码发出来。

头发

suchocolate 发表于 2021-1-18 20:59
我尝试了这个新连接，可以爬到并保存到数据库中。
我这个只是案例，你需要根据你自己的数据实际情况修改 ...

老哥，我刚才没描述清楚。
爬完下边两个url的数据，然后再一起存到mysql，也就是有两个json数组数据了
http://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQFuturesData?page=1&num=5&sort=position&asc=0&node=pta_qh&base=futures
http://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQFuturesData?page=1&num=5&sort=position&asc=0&node=dlm_qh&base=futures

头发

suchocolate 发表于 2021-1-18 20:59
我尝试了这个新连接，可以爬到并保存到数据库中。
我这个只是案例，你需要根据你自己的数据实际情况修改 ...

我想要把所有期货数据全爬下来，就会有好多个json数组。
老哥刚才给的程序存完第一个数组后就会报错：pymysql.err.InterfaceError: (0, '') 就不再继续存第二个json数组了

suchocolate

头发 发表于 2021-1-18 21:31
我想要把所有期货数据全爬下来，就会有好多个json数组。
老哥刚才给的程序存完第一个数组后就会报错：py ...

你设一个循环，遍历多个url，爬到的数据先放在一个临时的列表里，等爬完所有url之后，再把数据存到数据库中。

头发

suchocolate 发表于 2021-1-19 08:34
你设一个循环，遍历多个url，爬到的数据先放在一个临时的列表里，等爬完所有url之后，再把数据存到数据库 ...

我就是用循环把所有url里的数据爬下来了，然后用老哥给的方法存储，只能把第一个数组存储下来。
爬下的咋改成列表类型的呀

suchocolate

头发 发表于 2021-1-19 11:37
我就是用循环把所有url里的数据爬下来了，然后用老哥给的方法存储，只能把第一个数组存储下来。
爬下的 ...

看不到你的代码，没法看哪里有错误，请把你的代码都发上来。