[已解决]scrapy框架爬数据怎么保存数据库

923204485

框架爬取的数据怎么保存到数据库啊，跪求大佬。可以的话麻烦备注写的详细些，代码直接发上来把，我自己调试调试琢磨琢磨

我用的mysql数据库

最佳答案

月排行榜 / 总排行榜

幽梦三影

2018-11-20 12:00:53

1. import pymysql
   
2. import redis, json, time
   
3. from scrapy.conf import settings
   
4. 
   
5. class DBPipeline:
   
6.     def __init__(self):
   
7.         # 连接数据库
   
8.         self.rediscli = redis.StrictRedis(host='127.0.0.1', port=6379, db=0)
   
9.         self.connect = pymysql.connect(
   
10.             host='127.0.0.1',
    
11.             database='douban',
    
12.             port=3306,
    
13.             user='root',
    
14.             passwd='mysql',
    
15.             charset='utf8')
    
16. 
    
17.         # 通过cursor执行增删查改
    
18.         self.cursor = self.connect.cursor()
    
19.         self.rediscli.blpop('')
    
20. 
    
21.     def process_item(self, item, spider):
    
22.         try:
    
23.             # 插入数据
    
24.             self.cursor.execute(
    
25.                 """insert into doubanmovie(title, other, author, score ,content)
    
26.                 value (%s, %s, %s, %s, %s)""",
    
27.                 (item['title'],
    
28.                  item['other'],
    
29.                  item['author'],
    
30.                  item['score'],
    
31.                  item['content']))
    
32. 
    
33.             # 提交sql语句
    
34.             self.connect.commit()
    
35. 
    
36.         except Exception as error:
    
37.             # 出现错误时打印错误日志
    
38.             print(error)
    
39.         return item

复制代码

跳转到最佳答案楼层

wongyusing

随便到B站看个scrapy视频都有讲解啦，
文档都有写的，看看就好。

幽梦三影

1. import pymysql
   
2. import redis, json, time
   
3. from scrapy.conf import settings
   
4. 
   
5. class DBPipeline:
   
6.     def __init__(self):
   
7.         # 连接数据库
   
8.         self.rediscli = redis.StrictRedis(host='127.0.0.1', port=6379, db=0)
   
9.         self.connect = pymysql.connect(
   
10.             host='127.0.0.1',
    
11.             database='douban',
    
12.             port=3306,
    
13.             user='root',
    
14.             passwd='mysql',
    
15.             charset='utf8')
    
16. 
    
17.         # 通过cursor执行增删查改
    
18.         self.cursor = self.connect.cursor()
    
19.         self.rediscli.blpop('')
    
20. 
    
21.     def process_item(self, item, spider):
    
22.         try:
    
23.             # 插入数据
    
24.             self.cursor.execute(
    
25.                 """insert into doubanmovie(title, other, author, score ,content)
    
26.                 value (%s, %s, %s, %s, %s)""",
    
27.                 (item['title'],
    
28.                  item['other'],
    
29.                  item['author'],
    
30.                  item['score'],
    
31.                  item['content']))
    
32. 
    
33.             # 提交sql语句
    
34.             self.connect.commit()
    
35. 
    
36.         except Exception as error:
    
37.             # 出现错误时打印错误日志
    
38.             print(error)
    
39.         return item

复制代码