把爬到的数据存到数据库的问题

python小小白哟

数据已经成功爬到了，但是存到数据库的时候只有单个字符存储，就是不能一个字段保存一个数据，如图所示:



字段的类型我写的是char(255)，为什么会出现这个情况呢？



代码如下：

1. import requests
   
2. import re
   
3. import mysql.connector
   
4. 
   
5. headers = {
   
6.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"
   
7. }
   
8. mydb = mysql.connector.connect(host="127.0.0.1",user="root",passwd="root",auth_plugin='mysql_native_password',database="movies")
   
9. mycursor = mydb.cursor()
   
10. sql = "insert into top250 values (%s)"
    
11. 
    
12. for i in range(0, 226, 25):
    
13.     zxcvzx = f"https://movie.douban.com/top250?start={i}&filter="
    
14.     response = requests.get(zxcvzx, headers=headers)
    
15.     a = re.findall("<img width="100" alt="(.*?)"", response.text, re.S)
    
16.     for vbn in a:
    
17.         mycursor.executemany(sql,vbn)
    
18.         mydb.commit()
    
19.         print("正在添加数据库中...")
    
20. 
    
21. print("完毕！")

复制代码

请问大神们这个问题该如何解决呢？

学习编程中的Ben

问题解决：将爬取到的数据存储到数据库

问题出现的原因是在插入数据时使用了executemany方法，但是却将一个字符串作为参数传递给了该方法。这导致数据库中每个字符都被认为是一个独立的记录。

要解决这个问题，你可以使用execute方法来插入单条数据，或者使用executemany方法与正确的数据格式进行插入。

下面是修正后的代码示例，采用了executemany方法和正确的参数格式化：

1. import requests
2. import re
3. import mysql.connector
6. headers = {
7.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"
8. }
10. mydb = mysql.connector.connect(
11.     host="127.0.0.1",
12.     user="root",
13.     passwd="root",
14.     auth_plugin='mysql_native_password',
15.     database="movies"
16. )
18. mycursor = mydb.cursor()
19. sql = "INSERT INTO top250 (movie_name) VALUES (%s)"
21. for i in range(0, 226, 25):
22.     zxcvzx = f"https://movie.douban.com/top250?start={i}&filter="
23.     response = requests.get(zxcvzx, headers=headers)
24.     a = re.findall('<img width="100" alt="(.*?)"', response.text, re.S)
25.    
26.     movie_data = [(name,) for name in a]  # 将每个电影名称转换为元组的列表
27.    
28.     mycursor.executemany(sql, movie_data)  # 执行插入操作
29.     mydb.commit()
30.     print("正在添加到数据库中...")
31.    
32. print("完毕！")

复制代码

在上述代码中，我们使用了列表推导式将电影名称转换为元组的列表movie_data。然后使用executemany方法将整个列表作为参数传递给插入语句，以便一次性插入多条数据。在执行前记得调用commit()方法提交事务。

请注意，你可能还需要根据实际情况修改数据库表名、字段名和连接信息等。

希望这能解决你的问题！如果还有其他疑问，请随时提问。

如果回答对你有帮助，请给我一个最佳答案！

陶远航

问题出在以下代码段中：

1. for vbn in a:
   
2.     mycursor.executemany(sql, vbn)
   

复制代码

executemany() 方法用于执行一条 SQL 语句多次，并将数据作为参数传入。但是在这里，你传递给 executemany() 方法的第二个参数 vbn 是一个字符串，而不是一个可迭代的对象。

为了解决这个问题，你可以修改代码如下：

1. for vbn in a:
   
2.     mycursor.execute(sql, (vbn,))
   

复制代码

在这里，我们使用 execute() 方法执行一次 SQL 语句，并且将数据作为单个元组 (vbn,) 的形式传递给它。这样，每次循环都会插入一个字符串到数据库中。

希望这个解决方案能够帮助到你！如果还有其他问题，请随时提问。
如果问题已经解决，请设置最佳答案

isdkz

问题出在你的代码中，具体是在以下这段代码：

1. for vbn in a:
   
2.     mycursor.executemany(sql,vbn)
   
3.     mydb.commit()
   
4.     print("正在添加数据库中...")
   

复制代码

executemany  方法用于执行多个参数化的 SQL 语句，但是你这里却将单个字符  vbn  作为参数传递进去了，导致每次只能插入一个字符到数据库中。

解决这个问题的方法是将  vbn  封装成一个元组或列表，然后将这个元组或列表作为参数传递给  executemany  方法。修改代码如下：

1. for vbn in a:
   
2.     mycursor.executemany(sql, [(vbn,)])
   
3.     mydb.commit()
   
4.     print("正在添加数据库中...")
   

复制代码

这里使用了列表推导式将  vbn  封装成一个列表，然后将这个列表作为参数传递给  executemany  方法。注意，由于  executemany  方法需要接收一个可迭代对象，所以需要将  vbn  封装成一个元组  (vbn,) 。

另外，你还需要注意的是，每次插入数据后都要调用  commit  方法来提交事务，以确保数据被正确地保存到数据库中。

python小小白哟

isdkz 发表于 2023-8-19 11:26
问题出在你的代码中，具体是在以下这段代码：

使用vbn_list = list(vbn)  行不行呢？

isdkz

python小小白哟 发表于 2023-8-19 11:37
使用vbn_list = list(vbn)  行不行呢？

一样不行的，你可以不要用for循环

1. mycursor.executemany(sql, a)
   
2. mydb.commit()
   
3. print("正在添加数据库中...")

复制代码

这样应该可以

python小小白哟

isdkz 发表于 2023-8-19 11:40
一样不行的，你可以不要用for循环

你好  不用for循环依然不行

阿奇_o

python小小白哟 发表于 2023-8-21 09:04
你好  不用for循环依然不行

不是用for不行，而是说你得先理解它到底是怎么个逻辑，以及它的对应的数据格式/类型。executemany()实际上等价于 SQL中的
insert into tb (a, b) values (1, 'A'), (2, 'B'), (3, 'C'), ...;  # 一条insert语句插入多行记录
executemany()就是把第二个参数作为多行数据的容器，支持list/tuple/dict ，如 executemany(sql, [(1, 'A'), (2, 'B'), (3, 'C'), ...])   

所以才说，如果用executemany的话，就没必要在外面用for，直接把正则提取到数据变成元组列表即可，
如 executemany('insert into top250 (movie_name) values (%s)', [(name, ) for name in result] )  

ps: 多条SQL语句其实得用 execute(..., multi=True)