把爬到的数据存到数据库的问题
数据已经成功爬到了，但是存到数据库的时候只有单个字符存储，就是不能一个字段保存一个数据，如图所示:字段的类型我写的是char(255)，为什么会出现这个情况呢？
代码如下：
import requests
import re
import mysql.connector
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"
}
mydb = mysql.connector.connect(host="127.0.0.1",user="root",passwd="root",auth_plugin='mysql_native_password',database="movies")
mycursor = mydb.cursor()
sql = "insert into top250 values (%s)"
for i in range(0, 226, 25):
zxcvzx = f"https://movie.douban.com/top250?start={i}&filter="
response = requests.get(zxcvzx, headers=headers)
a = re.findall("<img width=\"100\" alt=\"(.*?)\"", response.text, re.S)
for vbn in a:
mycursor.executemany(sql,vbn)
mydb.commit()
print("正在添加数据库中...")
print("完毕！")
请问大神们这个问题该如何解决呢？ 问题解决：将爬取到的数据存储到数据库
问题出现的原因是在插入数据时使用了executemany方法，但是却将一个字符串作为参数传递给了该方法。这导致数据库中每个字符都被认为是一个独立的记录。
要解决这个问题，你可以使用execute方法来插入单条数据，或者使用executemany方法与正确的数据格式进行插入。
下面是修正后的代码示例，采用了executemany方法和正确的参数格式化：
import requests
import re
import mysql.connector
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"
}
mydb = mysql.connector.connect(
host="127.0.0.1",
user="root",
passwd="root",
auth_plugin='mysql_native_password',
database="movies"
)
mycursor = mydb.cursor()
sql = "INSERT INTO top250 (movie_name) VALUES (%s)"
for i in range(0, 226, 25):
zxcvzx = f"https://movie.douban.com/top250?start={i}&filter="
response = requests.get(zxcvzx, headers=headers)
a = re.findall('<img width="100" alt="(.*?)"', response.text, re.S)
movie_data = [(name,) for name in a]# 将每个电影名称转换为元组的列表
mycursor.executemany(sql, movie_data)# 执行插入操作
mydb.commit()
print("正在添加到数据库中...")
print("完毕！")
在上述代码中，我们使用了列表推导式将电影名称转换为元组的列表movie_data。然后使用executemany方法将整个列表作为参数传递给插入语句，以便一次性插入多条数据。在执行前记得调用commit()方法提交事务。
请注意，你可能还需要根据实际情况修改数据库表名、字段名和连接信息等。
希望这能解决你的问题！如果还有其他疑问，请随时提问。
如果回答对你有帮助，请给我一个最佳答案！{:10_254:}{:10_254:}{:10_254:}
问题出在以下代码段中：
for vbn in a:
mycursor.executemany(sql, vbn)
executemany() 方法用于执行一条 SQL 语句多次，并将数据作为参数传入。但是在这里，你传递给 executemany() 方法的第二个参数 vbn 是一个字符串，而不是一个可迭代的对象。
为了解决这个问题，你可以修改代码如下：
for vbn in a:
mycursor.execute(sql, (vbn,))
在这里，我们使用 execute() 方法执行一次 SQL 语句，并且将数据作为单个元组 (vbn,) 的形式传递给它。这样，每次循环都会插入一个字符串到数据库中。
希望这个解决方案能够帮助到你！如果还有其他问题，请随时提问。
如果问题已经解决，请设置最佳答案 问题出在你的代码中，具体是在以下这段代码：
for vbn in a:
mycursor.executemany(sql,vbn)
mydb.commit()
print("正在添加数据库中...")
executemany方法用于执行多个参数化的 SQL 语句，但是你这里却将单个字符vbn作为参数传递进去了，导致每次只能插入一个字符到数据库中。
解决这个问题的方法是将vbn封装成一个元组或列表，然后将这个元组或列表作为参数传递给executemany方法。修改代码如下：
for vbn in a:
mycursor.executemany(sql, [(vbn,)])
mydb.commit()
print("正在添加数据库中...")
这里使用了列表推导式将vbn封装成一个列表，然后将这个列表作为参数传递给executemany方法。注意，由于executemany方法需要接收一个可迭代对象，所以需要将vbn封装成一个元组(vbn,) 。
另外，你还需要注意的是，每次插入数据后都要调用commit方法来提交事务，以确保数据被正确地保存到数据库中。 isdkz 发表于 2023-8-19 11:26
问题出在你的代码中，具体是在以下这段代码：
使用vbn_list = list(vbn)行不行呢？ python小小白哟 发表于 2023-8-19 11:37
使用vbn_list = list(vbn)行不行呢？
一样不行的，你可以不要用for循环
mycursor.executemany(sql, a)
mydb.commit()
print("正在添加数据库中...")
这样应该可以 isdkz 发表于 2023-8-19 11:40
一样不行的，你可以不要用for循环
你好不用for循环依然不行 python小小白哟 发表于 2023-8-21 09:04
你好不用for循环依然不行
不是用for不行，而是说你得先理解它到底是怎么个逻辑，以及它的对应的数据格式/类型。executemany()实际上等价于 SQL中的
insert into tb (a, b) values (1, 'A'), (2, 'B'), (3, 'C'), ...;# 一条insert语句插入多行记录
executemany()就是把第二个参数作为多行数据的容器，支持list/tuple/dict ，如 executemany(sql, [(1, 'A'), (2, 'B'), (3, 'C'), ...])
所以才说，如果用executemany的话，就没必要在外面用for，直接把正则提取到数据变成元组列表即可，
如 executemany('insert into top250 (movie_name) values (%s)', [(name, ) for name in result] )
ps: 多条SQL语句其实得用 execute(..., multi=True)
页:
[1]