[已解决]爬虫存储数据到MySQL

哈岁NB

请问大佬们，这个代码哪里错了

1. import requests
   
2. import logging
   
3. import pymongo
   
4. import pymysql
   
5. 
   
6. index_url = 'https://spa1.scrape.center/api/movie/?limit=10&offset={}'
   
7. detail_url = 'https://spa1.scrape.center/api/movie/{}/'
   
8. header = {
   
9.    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
   
10. }
    
11. logging.basicConfig(level=logging.INFO,format = '%(asctime)s - %(levelname)s: %(message)s')
    
12. 
    
13. 
    
14. #连接MySQL数据库
    
15. #初始化
    
16. conn = pymysql.Connect(
    
17.     host='127.0.0.1',
    
18.     port=3306,
    
19.     user='root',
    
20.     password='123456a'
    
21. )
    
22. cursor = conn.cursor()
    
23. 
    
24. 
    
25. 
    
26. 
    
27. 
    
28. 
    
29. #发起请求
    
30. def scrapy_api(index_url):
    
31.     logging.info('正在爬取{}...'.format(index_url))
    
32.     try:
    
33.         response = requests.get(url=index_url,headers=header,verify=False)
    
34.         if response.status_code == 200:
    
35.             return response.json()
    
36.         logging.error('爬取代码为{}，爬取{}失败'.format(response.status_code,index_url))
    
37.     except requests.RequestException:
    
38.         logging.error('爬取{}失败'.format(index_url),exc_info=True)
    
39. 
    
40. #爬取列表页
    
41. def scrape_index(page):
    
42.     page_url = index_url.format(10*(page-1))
    
43.     return scrapy_api(page_url)
    
44. 
    
45. #拼接url并发起请求
    
46. def scrape_detail(id):
    
47.     url = detail_url.format(id)
    
48.     return scrapy_api(url)
    
49. 
    
50. 
    
51. 
    
52. #保存2：MySQL
    
53. def save_data(data):
    
54.     sql = 'INSERT INTO movies(id,name,score) values (%s,%s,%s)'
    
55.     try:
    
56.         cursor.execute(sql, (data.get('id'),data.get('name'),data.get('score')))
    
57.         conn.commit()
    
58.     except:
    
59.         conn.rollback()
    
60.     conn.close()
    
61. 
    
62. def main():
    
63.     for page in range(1,3):
    
64.         index_data = scrape_index(page)
    
65.         for item in index_data.get('results'):
    
66.             id = item.get('id')
    
67.             detail_data = scrape_detail(id)
    
68.             logging.info('detail data {}'.format(detail_data))
    
69.             save_data(detail_data)
    
70.             logging.info('保存成功')
    
71. 
    
72. 
    
73. 
    
74. if __name__ == '__main__':
    
75.     main()

复制代码

最佳答案

月排行榜 / 总排行榜

isdkz

2023-6-4 15:46:14

您的代码中有一个明显的问题，就是在  save_data  函数中，您关闭了数据库连接。在您的代码中，这个函数会在每次爬取和保存电影详情信息时都被调用，所以在第一次调用后，数据库连接就会被关闭，之后的数据库操作都会失败。

如果您想要在所有的电影详情信息都爬取和保存后再关闭数据库连接，您可以把  conn.close()  这行代码移到  main  函数中，比如在所有循环结束后。

修改后的代码如下：

1. def save_data(data):
   
2.     sql = 'INSERT INTO movies(id,name,score) values (%s,%s,%s)'
   
3.     try:
   
4.         cursor.execute(sql, (data.get('id'),data.get('name'),data.get('score')))
   
5.         conn.commit()
   
6.     except:
   
7.         conn.rollback()
   
8. 
   
9. def main():
   
10.     for page in range(1,3):
    
11.         index_data = scrape_index(page)
    
12.         for item in index_data.get('results'):
    
13.             id = item.get('id')
    
14.             detail_data = scrape_detail(id)
    
15.             logging.info('detail data {}'.format(detail_data))
    
16.             save_data(detail_data)
    
17.             logging.info('保存成功')
    
18.     conn.close()
    
19. 
    
20. if __name__ == '__main__':
    
21.     main()
    

复制代码

另外，有两个小问题可能也会引发错误。首先，我注意到您使用了 pymongo 模块，但是在这段代码中并没有实际用到它，因此，如果没有必要，您可以考虑删除这个导入。其次，您没有在连接到MySQL数据库时指定数据库的名称，这可能会导致在插入数据时出错。您可以在  pymysql.Connect  中添加一个  db='database_name'  的参数， database_name  是您要连接的数据库的名称。

跳转到最佳答案楼层

哈岁NB

isdkz 发表于 2023-6-4 15:46
您的代码中有一个明显的问题，就是在  save_data  函数中，您关闭了数据库连接。在您的代码中，这个函数会 ...

好的，感谢感谢

哈岁NB

歌者文明清理员 发表于 2023-6-4 15:45
这段代码缺少了连接 MongoDB 数据库的初始化和连接过程，可能会导致在爬取数据时无法将数据存储到 MongoDB  ...

好的，感谢感谢

哈岁NB

歌者文明清理员 发表于 2023-6-4 15:51
我先回答的

因为想存到mysql，您回答MongoDB，所以就不能给您了，不好意思

哈岁NB

歌者文明清理员 发表于 2023-6-4 15:56
你也不能给我，因为没注意敏感词被审核了

哈岁NB

歌者文明清理员 发表于 2023-6-4 15:57
“HEI KE”
你回复试试

黑客

哈岁NB

歌者文明清理员 发表于 2023-6-4 15:57
“HEI KE”
你回复试试

被审核了

哈岁NB

isdkz 发表于 2023-6-4 15:46
您的代码中有一个明显的问题，就是在  save_data  函数中，您关闭了数据库连接。在您的代码中，这个函数会 ...

请问这个代码要是想把爬取到的JSON字符串所有的键值都保存到数据库里，只能一个一个创建和插入吗

哈岁NB

isdkz 发表于 2023-6-4 16:33
如果您想要将爬取到的 JSON 数据的所有键值都保存到数据库中，确实需要确保数据库中的每个字段都有对应的 ...

好的，感谢感谢