设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › pymysql问题
返回列表 发新帖
查看: 117|回复: 11

[已解决]pymysql问题

[复制链接]
python小小白哟
发表于 5 天前 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
代码如下：

  1. import requests
  2. from pyquery import PyQuery
  3. import pymysql

  5. conn = pymysql.connect(host="127.0.0.1",port=3306,user="root",password="root",db="hsc")
  6. cursor = conn.cursor()

  8. headers ={
  9.     "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36 Edg/135.0.0.0"
  10. }

  12. for i in range(1,11):
  13.     res = requests.get(f"https://ssr1.scrape.center/page/{i}",headers=headers)
  14.     aaa = res.text
  15.     c = PyQuery(aaa)
  16.     aa = c.find("#index .el-row .el-col .el-card .el-card__body .el-row .el-col a .m-b-sm")

  18.     # for i in aa:
  19.     #     print(i.text)
  20. for i in range(1,101):
  21.     urls = f"https://ssr1.scrape.center/detail/{i}"



  25. sqll = "insert into movies (names,linkss) value (%s,%s)"
  26. cursor.executemany(sqll,[(i.text,),(urls,)])
  27. conn.commit()
复制代码



我爬取的页面是这个：https://ssr1.scrape.center/， 我想把电影名字和对应的链接保存到数据库中，但是死活不成功，有没有大佬帮忙看下问题出在哪里？谢谢。
最佳答案
月排行榜 / 总排行榜
player-none
前天 21:43
python小小白哟 发表于 2025-4-18 19:30
你好，运行成功了，但是有一个小疑问，cursor.executemany(sqll,list(zip(names,urls)))   这行代码，为 ...

zip功能：

  1. [(0, 1, 2),
  2. (3, 4, 5)]
复制代码


zip后：

  1. [(0, 3), (1, 4), (2, 5)]
复制代码


记得list就行

给个最佳呗
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

FishC
发表于 5 天前 | 显示全部楼层
问题分析和解决方案

主要存在以下三个问题：

1. 数据未提取：当前代码只获取了电影名称节点，但没有实际提取文本内容和对应链接
2. 参数缺失：executemany()缺少数据参数
3. URL生成逻辑错误：单独生成的100个链接与页面实际数据无关

修正后的代码：


  2. import requests
  3. from pyquery import PyQuery
  4. import pymysql

  6. conn = pymysql.connect(
  7.     host="127.0.0.1",
  8.     port=3306,
  9.     user="root",
  10.     password="root",
  11.     db="hsc",
  12.     charset='utf8mb4'  # 必须添加字符集
  13. )
  14. cursor = conn.cursor()

  16. headers = {
  17.     "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36"
  18. }

  20. # 存储数据的列表
  21. data_list = []

  23. for page in range(1, 11):
  24.     res = requests.get(f"[url=https://ssr1.scrape.center/page/{page}",]https://ssr1.scrape.center/page/{page}",[/url] headers=headers)
  25.     html = PyQuery(res.text)
  26.    
  27.     # 每个页面有10个电影项
  28.     items = html.find("#index > .el-row > .el-col")
  29.     for item in items.items():
  30.         name = item.find(".m-b-sm").text()
  31.         link = item.find("a").attr("href")  # 提取相对链接
  32.         full_link = f"[url=https://ssr1.scrape.center{link}"]https://ssr1.scrape.center{link}"[/url]  # 拼接完整链接
  33.         data_list.append((name, full_link))  # 注意要用元组包裹

  35. # 插入数据（注意字段名检查）
  36. sql = "INSERT INTO movies (names, linkss) VALUES (%s, %s)"
  37. cursor.executemany(sql, data_list)  # 传入数据参数
  38. conn.commit()

  40. # 关闭连接
  41. cursor.close()
  42. conn.close()
复制代码


关键修改说明：

  • 添加字符集参数 charset='utf8mb4' 防止中文乱码
  • 使用 .items() 方法遍历PyQuery对象
  • 通过 .attr("href") 提取链接属性
  • 使用列表 data_list 存储准备插入的数据
  • executemany需要二维元组数据，每个元组对应一条记录


注意检查：
1. 确保数据库表 movies 存在且包含 names 和 linkss 字段
2. 字段类型建议：names VARCHAR(255)，linkss VARCHAR(500)
3. 如果仍然失败，可在代码中添加 try-except 块捕获具体错误

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

player-none
发表于 5 天前 | 显示全部楼层
电脑不在身边，我发现的错误：
1.应该写成User-Agent（首字母大写），而不是小写
2.urls只是一个字符串而不是包含多个字符串的列表/yuanzu
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

中吧
发表于 4 天前 | 显示全部楼层
不明觉厉
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

python小小白哟
 楼主| 发表于 4 天前 | 显示全部楼层
player-none 发表于 2025-4-15 21:40
电脑不在身边，我发现的错误：
1.应该写成User-Agent（首字母大写），而不是小写
2.urls只是一个字符串而 ...

有修改建议吗
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

风雨3137
发表于 4 天前 | 显示全部楼层
建议直接访问detail链接获取电影名即可
  1. import requests
  2. from pyquery import PyQuery
  3. import pymysql

  5. conn = pymysql.connect(host="127.0.0.1",port=3306,user="root",password="root",db="hsc")
  6. cursor = conn.cursor()

  8. headers ={
  9.     "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36 Edg/135.0.0.0"
  10. }

  12. dataList = []

  14. for i in range(1,101):
  15.     url = f"https://ssr1.scrape.center/detail/{i}"
  16.     res = requests.get(url,headers=headers)
  17.     html = res.text
  18.     c = PyQuery(html)
  19.     movie_name = c.find("#detail .el-row .el-col .el-card .el-card__body .el-row .p-h a .m-b-sm")[0].text
  20.     dataList.append((movie_name,url))

  22. sqll = "insert into movies (names,linkss) value (%s,%s)"
  23. cursor.executemany(sqll,dataList)
  24. conn.commit()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

风雨3137
发表于 4 天前 | 显示全部楼层
本帖最后由 风雨3137 于 2025-4-18 08:47 编辑

发重复了……
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

player-none
发表于 4 天前 | 显示全部楼层
python小小白哟 发表于 2025-4-16 10:30
有修改建议吗
  1. import requests
  2. from pyquery import PyQuery
  3. import pymysql

  5. conn = pymysql.connect(host="127.0.0.1",port=3306,user="root",password="root",db="hsc")
  6. cursor = conn.cursor()

  8. headers ={
  9.     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36 Edg/135.0.0.0"
  10. }
  11. texts=[]
  12. urls=[]
  13. for i in range(1,11):
  14.     res = requests.get(f"https://ssr1.scrape.center/page/{i}",headers=headers)
  15.     aaa = res.text
  16.     c = PyQuery(aaa)
  17.     aa = c.find("#index .el-row .el-col .el-card .el-card__body .el-row .el-col a .m-b-sm")
  18.     for j in aa:
  19.         texts.append(j.text)
  20. for i in range(1,101):
  21.     urls.append(f"https://ssr1.scrape.center/detail/{i}")
  22. sqll = "insert into movies (names,linkss) value (%s,%s)"
  23. cursor.executemany(sqll,list(zip(texts,urls))
  24. conn.commit()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

player-none
发表于 4 天前 | 显示全部楼层
python小小白哟 发表于 2025-4-16 10:30
有修改建议吗

不知道触发了什么，给你回复了，正在审核
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

player-none
发表于 3 天前 | 显示全部楼层
python小小白哟 发表于 2025-4-16 10:30
有修改建议吗

修改建议审核通过了，你看看
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

python小小白哟
 楼主| 发表于 前天 19:30 | 显示全部楼层
player-none 发表于 2025-4-17 18:10
修改建议审核通过了，你看看

你好，运行成功了，但是有一个小疑问，cursor.executemany(sqll,list(zip(names,urls)))   这行代码，为什么用list把zip(names,urls)又转换成列表了呢？
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

player-none
发表于 前天 21:43 | 显示全部楼层    本楼为最佳答案   
python小小白哟 发表于 2025-4-18 19:30
你好，运行成功了，但是有一个小疑问，cursor.executemany(sqll,list(zip(names,urls)))   这行代码，为 ...

zip功能：

  1. [(0, 1, 2),
  2. (3, 4, 5)]
复制代码


zip后：

  1. [(0, 3), (1, 4), (2, 5)]
复制代码


记得list就行

给个最佳呗
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-4-20 02:00

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表