论坛 › Python交流 › scrapy

哈岁NB 发表于 2023-2-12 16:38:24

scrapy

import pymysql

class XiaoshuospiderPipeline:
    conn = None#mysql的链接对象
    cursor = None

    def open_spider(self,spider):
      #数据库初始
      self.conn = pymysql.Connect(
            host='127.0.0.1',
            port=3306,
            user='root',
            password='123456a',
            db= '爬虫',
            charset='utf8'
      )
      #创建游标
      self.cursor = self.conn.cursor()

    # 爬虫文件每向管道提交一个item，则process_item方法就会被调用一次
    def process_item(self, item, spider):
      title = item['title']
      sql = 'insert into xiaoshuo (title) values ("%s")'%title
      #执行sql语句
      self.cursor.execute(sql)
      #提交事务
      self.conn.commit()
      print('成功写入一条数据')
      return item
    def close_spdier(self,spider):
      self.cursor.close()
      self.conn.close()
导入pymysql没有问题，为什么一运行就报错 No module named 'pymysql'

isdkz 发表于 2023-2-12 16:41:33

可能用的不是同一个python环境

哈岁NB 发表于 2023-2-12 16:45:06

isdkz 发表于 2023-2-12 16:41
可能用的不是同一个python环境

请问一下该怎么改一下环境呢

哈岁NB 发表于 2023-2-12 16:46:30

isdkz 发表于 2023-2-12 16:41
可能用的不是同一个python环境

好了好了，成功了，在scrapy下又安装了一次pymysql

哈岁NB 发表于 2023-2-12 16:46:44

isdkz 发表于 2023-2-12 16:41
可能用的不是同一个python环境

感谢感谢

isdkz 发表于 2023-2-12 16:50:24

本帖最后由 isdkz 于 2023-2-12 21:59 编辑

哈岁NB 发表于 2023-2-12 16:45
请问一下该怎么改一下环境呢

你用的是 pychram 吧，pychram 每一个项目都是新开一个虚拟环境，你要在 pychram 安装这个包，

或者在 pychram 的项目设置那里切换 python 解释器

查看完整版本: scrapy