[已解决]scrapy框架爬数据怎么保存数据库

923204485

框架爬取的数据怎么保存到数据库啊，跪求大佬。可以的话麻烦备注写的详细些，代码直接发上来把，我自己调试调试琢磨琢磨

我用的mysql数据库

最佳答案

月排行榜 / 总排行榜

幽梦三影

2018-11-20 12:00:53

import pymysql
import redis, json, time
from scrapy.conf import settings

class DBPipeline:
    def __init__(self):
        # 连接数据库
        self.rediscli = redis.StrictRedis(host='127.0.0.1', port=6379, db=0)
        self.connect = pymysql.connect(
            host='127.0.0.1',
            database='douban',
            port=3306,
            user='root',
            passwd='mysql',
            charset='utf8')

        # 通过cursor执行增删查改
        self.cursor = self.connect.cursor()
        self.rediscli.blpop('')

    def process_item(self, item, spider):
        try:
            # 插入数据
            self.cursor.execute(
                """insert into doubanmovie(title, other, author, score ,content)
                value (%s, %s, %s, %s, %s)""",
                (item['title'],
                 item['other'],
                 item['author'],
                 item['score'],
                 item['content']))

            # 提交sql语句
            self.connect.commit()

        except Exception as error:
            # 出现错误时打印错误日志
            print(error)
        return item

跳转到最佳答案楼层

wongyusing

随便到B站看个scrapy视频都有讲解啦，
文档都有写的，看看就好。

幽梦三影

import pymysql
import redis, json, time
from scrapy.conf import settings

class DBPipeline:
    def __init__(self):
        # 连接数据库
        self.rediscli = redis.StrictRedis(host='127.0.0.1', port=6379, db=0)
        self.connect = pymysql.connect(
            host='127.0.0.1',
            database='douban',
            port=3306,
            user='root',
            passwd='mysql',
            charset='utf8')

        # 通过cursor执行增删查改
        self.cursor = self.connect.cursor()
        self.rediscli.blpop('')

    def process_item(self, item, spider):
        try:
            # 插入数据
            self.cursor.execute(
                """insert into doubanmovie(title, other, author, score ,content)
                value (%s, %s, %s, %s, %s)""",
                (item['title'],
                 item['other'],
                 item['author'],
                 item['score'],
                 item['content']))

            # 提交sql语句
            self.connect.commit()

        except Exception as error:
            # 出现错误时打印错误日志
            print(error)
        return item