[已解决]爬取数据保存到数据库

哈岁NB

请问各位大佬，我的这个代码怎么保存不到数据库

1. import re
   
2. import pymysql
   
3. import requests
   
4. import logging
   
5. from urllib.parse import urljoin
   
6. from pyquery import PyQuery as pq
   
7. 
   
8. index_url = 'https://www.ygdy8.net/html/gndy/china/list_4_{}.html'
   
9. header = {
   
10.    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
    
11. }
    
12. PAGE = 3
    
13. logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')
    
14. 
    
15. #发起请求
    
16. def scrape_page(url):
    
17.     logging.info('正在爬取：{}...'.format(url))
    
18.     try:
    
19.         response = requests.get(url=url,headers=header)
    
20.         response.encoding = 'gbk'
    
21.         if response.status_code == 200:
    
22.             return response.text
    
23.         logging.error('出现错误，爬取代码：{}'.format(response.status_code))
    
24.     except requests.RequestException:
    
25.         logging.error('爬取{}出现错误'.format(url))
    
26. 
    
27. #拼接url并发起请求
    
28. def scrape_index(page):
    
29.     url = index_url.format(page)
    
30.     return scrape_page(url)
    
31. 
    
32. 
    
33. #解析详情页url
    
34. def detail_url(index_html):
    
35.     details_url = []
    
36.     doc = pq(index_html)
    
37.     hrefs = doc('td b a:nth-child(2)').items()
    
38.     for href in hrefs:
    
39.         urls = href.attr('href')
    
40.         url = urljoin(index_url, urls)
    
41.         details_url.append(url)
    
42. 
    
43.     return details_url
    
44. 
    
45. #详情页发起请求
    
46. def scrpae_detail(url):
    
47.     return scrape_page(url)
    
48. 
    
49. 
    
50. #解析详情页
    
51. def parse_detail(html):
    
52. 
    
53.     doc = pq(html)
    
54.     brs = doc('#Zoom').text().replace('\n','')
    
55.     name_pattern = re.compile('◎译　　名(.*?)◎', re.S)
    
56.     category_pattern = re.compile('◎类　　别(.*?)◎', re.S)
    
57.     score_pattern = re.compile('◎豆瓣评分(.*?)/10', re.S)
    
58.     actor_pattern = re.compile('◎(?:演　　员|主　　演)(.*?)◎', re.S)
    
59.     dram_pattern = re.compile('◎简　　介(.*?)点击下载', re.S)
    
60.     name = re.search(name_pattern, brs).group(1).strip()
    
61.     category = re.search(category_pattern, brs).group(1).strip()
    
62.     score = re.search(score_pattern, brs).group(1).strip() if re.search(score_pattern, brs) else None
    
63.     actor = re.search(actor_pattern, brs).group(1).strip()
    
64.     dram = re.search(dram_pattern, brs).group(1)
    
65.     return {
    
66.         '名称':name,
    
67.         '类别':category,
    
68.         '豆瓣评分':score,
    
69.         '演员':actor,
    
70.         '简介':dram
    
71.     }
    
72. 
    
73. def save_data(data):
    
74.     db = pymysql.connect(
    
75.         host='127.0.0.1',
    
76.         user='root',
    
77.         password='123456a',
    
78.         port=3306,
    
79.         db= 'movies'
    
80.     )
    
81.     #建立游标
    
82.     cursor = db.cursor()
    
83.     sql = 'INSERT INTO movie (name,category,score,actor,dram) values (%s,%s,%s,%s,%s,)'
    
84.     cursor.execute(sql,(data['名称'],data['类别'],data['豆瓣评分'],data['演员'],data['简介']))
    
85.     db.commit()
    
86.     db.close()
    
87. 
    
88. 
    
89. 
    
90. 
    
91. def main():
    
92.     for page in range(1,2):
    
93.         index_html = scrape_index(page)
    
94.         hrefs = detail_url(index_html)
    
95.         # logging.info('detail_url:{}'.format(list(href)))
    
96.         for href in hrefs:
    
97.             detail_html = scrpae_detail(href)
    
98.             data = parse_detail(detail_html)
    
99.             # print(data['名称'])
    
100.             save_data(data)
     
101.             # logging.info('{}'.format(dict(data)))
     
102.         logging.info('保存成功')
     
103. 
     
104. 
     
105. if __name__ == '__main__':
     
106.     main()

复制代码

这是错误信息

最佳答案

月排行榜 / 总排行榜

陶远航

2023-7-6 13:14:04

根据您提供的代码和错误信息，可能出现了以下问题：

1. 导入模块错误：您在代码开头导入了re、pymysql、requests等模块，但并未安装相应的依赖包。请确保您已经使用pip安装了这些包。例如，可以通过运行以下命令来安装pymysql和requests：

1. python
2. pip install pymysql requests

复制代码

2. 数据库连接问题：在save_data函数中，您指定了数据库的主机、用户名、密码等信息。请确保这些信息正确，并且您已经在本地安装了MySQL数据库，并且数据库名为'movies'。如果您的数据库设置有特殊要求，请根据实际情况进行修改。

3. SQL语法错误：在执行SQL插入语句时，在VALUES子句的最后缺少了一个占位符%s。请将以下行：

1. python
2. sql = 'INSERT INTO movie (name,category,score,actor,dram) values (%s,%s,%s,%s,%s,)'

复制代码

修改为：

1. python
2. sql = 'INSERT INTO movie (name,category,score,actor,dram) values (%s,%s,%s,%s,%s)'

复制代码

4. 数据类型匹配问题：在调用cursor.execute()方法执行SQL插入语句时，将data字典作为参数传递时，你多传入了一个逗号，这可能导致数据类型不匹配。请将以下行：

1. python
2. cursor.execute(sql, (data['名称'], data['类别'], data['豆瓣评分'], data['演员'], data['简介']))

复制代码

修改为：

1. python
2. cursor.execute(sql, (data['名称'], data['类别'], data['豆瓣评分'], data['演员'], data['简介']))

复制代码

请注意，这只是可能出现的问题之一。如果您仍然遇到错误，请提供完整的错误信息，以便更好地帮助您解决问题。

跳转到最佳答案楼层

陶远航

根据您提供的代码和错误信息，可能出现了以下问题：

1. 导入模块错误：您在代码开头导入了re、pymysql、requests等模块，但并未安装相应的依赖包。请确保您已经使用pip安装了这些包。例如，可以通过运行以下命令来安装pymysql和requests：

1. python
2. pip install pymysql requests

复制代码

2. 数据库连接问题：在save_data函数中，您指定了数据库的主机、用户名、密码等信息。请确保这些信息正确，并且您已经在本地安装了MySQL数据库，并且数据库名为'movies'。如果您的数据库设置有特殊要求，请根据实际情况进行修改。

3. SQL语法错误：在执行SQL插入语句时，在VALUES子句的最后缺少了一个占位符%s。请将以下行：

1. python
2. sql = 'INSERT INTO movie (name,category,score,actor,dram) values (%s,%s,%s,%s,%s,)'

复制代码

修改为：

1. python
2. sql = 'INSERT INTO movie (name,category,score,actor,dram) values (%s,%s,%s,%s,%s)'

复制代码

4. 数据类型匹配问题：在调用cursor.execute()方法执行SQL插入语句时，将data字典作为参数传递时，你多传入了一个逗号，这可能导致数据类型不匹配。请将以下行：

1. python
2. cursor.execute(sql, (data['名称'], data['类别'], data['豆瓣评分'], data['演员'], data['简介']))

复制代码

修改为：

1. python
2. cursor.execute(sql, (data['名称'], data['类别'], data['豆瓣评分'], data['演员'], data['简介']))

复制代码

请注意，这只是可能出现的问题之一。如果您仍然遇到错误，请提供完整的错误信息，以便更好地帮助您解决问题。

isdkz

根据您提供的代码和错误信息，看起来您的代码在保存数据到数据库时出现了问题。具体来说，您在SQL语句中的VALUES子句中有一个逗号多余的问题。在这里，您不需要在VALUES子句的末尾添加逗号。另外，还有一些其他的问题需要注意。

请将以下代码替换您的save_data函数中的代码：

1. def save_data(data):
2.     db = pymysql.connect(
3.         host='127.0.0.1',
4.         user='root',
5.         password='123456a',
6.         port=3306,
7.         db='movies'
8.     )
9.     #建立游标
10.     cursor = db.cursor()
11.     sql = 'INSERT INTO movie (name,category,score,actor,dram) values (%s,%s,%s,%s,%s)'
12.     cursor.execute(sql,(data['名称'],data['类别'],data['豆瓣评分'],data['演员'],data['简介']))
13.     db.commit()
14.     db.close()

复制代码

这样，您的数据应该能够成功保存到数据库中了。

希望能对您有所帮助！如果您还有其他问题，请随时提问。

sfqxx

2楼:58秒
3楼:58秒
。

哈岁NB

isdkz 发表于 2023-7-6 13:14
根据您提供的代码和错误信息，看起来您的代码在保存数据到数据库时出现了问题。具体来说，您在SQL语句中的V ...

好的，感谢感谢

哈岁NB

陶远航 发表于 2023-7-6 13:14
根据您提供的代码和错误信息，可能出现了以下问题：

1. 导入模块错误：您在代码开头导入了re、pymysql、re ...

好的，感谢感谢

歌者文明清理员

sfqxx 发表于 2023-7-6 13:15
2楼:58秒
3楼:58秒
。

我们只剩两种选择了，一种是不理睬，一种是脚本

liuhongrun2022

歌者文明清理员 发表于 2023-7-6 13:23
我们只剩两种选择了，一种是不理睬，一种是脚本

对于我自己来说，还有一种选择，就是摆烂

歌者文明清理员

liuhongrun2022 发表于 2023-7-6 13:29
对于我自己来说，还有一种选择，就是摆烂

现在不理睬就等于摆烂

liuhongrun2022

歌者文明清理员 发表于 2023-7-6 13:29
现在不理睬就等于摆烂

我很疑惑，为什么以前你用脚本，现在你为什么抵制脚本又抵制GPT？

sfqxx

歌者文明清理员 发表于 2023-7-6 13:23
我们只剩两种选择了，一种是不理睬，一种是脚本