把爬到的数据存到数据库的问题

python小小白哟

数据已经成功爬到了，但是存到数据库的时候只有单个字符存储，就是不能一个字段保存一个数据，如图所示:



字段的类型我写的是char(255)，为什么会出现这个情况呢？



代码如下：

import requests
import re
import mysql.connector

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"
}
mydb = mysql.connector.connect(host="127.0.0.1",user="root",passwd="root",auth_plugin='mysql_native_password',database="movies")
mycursor = mydb.cursor()
sql = "insert into top250 values (%s)"

for i in range(0, 226, 25):
    zxcvzx = f"https://movie.douban.com/top250?start={i}&filter="
    response = requests.get(zxcvzx, headers=headers)
    a = re.findall("<img width="100" alt="(.*?)"", response.text, re.S)
    for vbn in a:
        mycursor.executemany(sql,vbn)
        mydb.commit()
        print("正在添加数据库中...")

print("完毕！")

请问大神们这个问题该如何解决呢？

学习编程中的Ben

问题解决：将爬取到的数据存储到数据库

问题出现的原因是在插入数据时使用了executemany方法，但是却将一个字符串作为参数传递给了该方法。这导致数据库中每个字符都被认为是一个独立的记录。

要解决这个问题，你可以使用execute方法来插入单条数据，或者使用executemany方法与正确的数据格式进行插入。

下面是修正后的代码示例，采用了executemany方法和正确的参数格式化：

import requestsimport reimport mysql.connectorheaders = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"}mydb = mysql.connector.connect(    host="127.0.0.1",    user="root",    passwd="root",    auth_plugin='mysql_native_password',    database="movies")mycursor = mydb.cursor()sql = "INSERT INTO top250 (movie_name) VALUES (%s)"for i in range(0, 226, 25):    zxcvzx = f"https://movie.douban.com/top250?start={i}&filter="    response = requests.get(zxcvzx, headers=headers)    a = re.findall('<img width="100" alt="(.*?)"', response.text, re.S)        movie_data = [(name,) for name in a]  # 将每个电影名称转换为元组的列表        mycursor.executemany(sql, movie_data)  # 执行插入操作    mydb.commit()    print("正在添加到数据库中...")    print("完毕！")

在上述代码中，我们使用了列表推导式将电影名称转换为元组的列表movie_data。然后使用executemany方法将整个列表作为参数传递给插入语句，以便一次性插入多条数据。在执行前记得调用commit()方法提交事务。

请注意，你可能还需要根据实际情况修改数据库表名、字段名和连接信息等。

希望这能解决你的问题！如果还有其他疑问，请随时提问。

如果回答对你有帮助，请给我一个最佳答案！

陶远航

问题出在以下代码段中：

for vbn in a:
    mycursor.executemany(sql, vbn)

executemany() 方法用于执行一条 SQL 语句多次，并将数据作为参数传入。但是在这里，你传递给 executemany() 方法的第二个参数 vbn 是一个字符串，而不是一个可迭代的对象。

为了解决这个问题，你可以修改代码如下：

for vbn in a:
    mycursor.execute(sql, (vbn,))

在这里，我们使用 execute() 方法执行一次 SQL 语句，并且将数据作为单个元组 (vbn,) 的形式传递给它。这样，每次循环都会插入一个字符串到数据库中。

希望这个解决方案能够帮助到你！如果还有其他问题，请随时提问。
如果问题已经解决，请设置最佳答案

isdkz

问题出在你的代码中，具体是在以下这段代码：

for vbn in a:
    mycursor.executemany(sql,vbn)
    mydb.commit()
    print("正在添加数据库中...")

executemany  方法用于执行多个参数化的 SQL 语句，但是你这里却将单个字符  vbn  作为参数传递进去了，导致每次只能插入一个字符到数据库中。

解决这个问题的方法是将  vbn  封装成一个元组或列表，然后将这个元组或列表作为参数传递给  executemany  方法。修改代码如下：

for vbn in a:
    mycursor.executemany(sql, [(vbn,)])
    mydb.commit()
    print("正在添加数据库中...")

这里使用了列表推导式将  vbn  封装成一个列表，然后将这个列表作为参数传递给  executemany  方法。注意，由于  executemany  方法需要接收一个可迭代对象，所以需要将  vbn  封装成一个元组  (vbn,) 。

另外，你还需要注意的是，每次插入数据后都要调用  commit  方法来提交事务，以确保数据被正确地保存到数据库中。

python小小白哟

isdkz 发表于 2023-8-19 11:26
问题出在你的代码中，具体是在以下这段代码：

使用vbn_list = list(vbn)  行不行呢？

isdkz

python小小白哟 发表于 2023-8-19 11:37
使用vbn_list = list(vbn)  行不行呢？

一样不行的，你可以不要用for循环

mycursor.executemany(sql, a)
mydb.commit()
print("正在添加数据库中...")

这样应该可以

python小小白哟

isdkz 发表于 2023-8-19 11:40
一样不行的，你可以不要用for循环

你好  不用for循环依然不行

阿奇_o

python小小白哟 发表于 2023-8-21 09:04
你好  不用for循环依然不行

不是用for不行，而是说你得先理解它到底是怎么个逻辑，以及它的对应的数据格式/类型。executemany()实际上等价于 SQL中的
insert into tb (a, b) values (1, 'A'), (2, 'B'), (3, 'C'), ...;  # 一条insert语句插入多行记录
executemany()就是把第二个参数作为多行数据的容器，支持list/tuple/dict ，如 executemany(sql, [(1, 'A'), (2, 'B'), (3, 'C'), ...])   

所以才说，如果用executemany的话，就没必要在外面用for，直接把正则提取到数据变成元组列表即可，
如 executemany('insert into top250 (movie_name) values (%s)', [(name, ) for name in result] )  

ps: 多条SQL语句其实得用 execute(..., multi=True)