青松100 发表于 2020-11-2 08:53:44

MySQL (爬虫数据存储)

我在看的某爬虫教程要把数据存到数据库里。

1. 老师写了import pymysql
请问,我是不是要写去下载mySQL这个软件啊,还是python自带就有了?

2. 
下面这些代码,好多我都不能理解:
比如:
cursor作用,
self.cursor.execute: 里面参数的意思

pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='123456',db='qiubai',charset='utf8'):
 端口号:是不是固定的?
 密码:都是123456吗?
3. 我要先去学MySQL再来回这个吗?
有没有啥简洁的教程能让我先明白下面这些代码的意思,等我这个爬虫视频学完后再去学MySQL? ---换句话说,B站有啥免费的教程可以介绍给我吗?

 

class mysqlPileLine(object):
    conn = None
    cursor = None
    def open_spider(self,spider):
      self.conn = pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='123456',db='qiubai',charset='utf8')
    def process_item(self,item,spider):
      self.cursor = self.conn.cursor()

      try:
            self.cursor.execute('insert into qiubai values("%s","%s")'%(item["author"],item["content"]))
            self.conn.commit()
      except Exception as e:
            print(e)
            self.conn.rollback()

      return item
    def close_spider(self,spider):
      self.cursor.close()
      self.conn.close()

suchocolate 发表于 2020-11-2 08:53:45

1. 需要安装mysql
2. pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='123456',db='qiubai',charset='utf8'):(建议看纸质书,参数都写的很详细,英文好的也可以看官方docs,写的更详细)
    1)创建连接。
    2)host:主机地址,127.0.0.1就是本机的数据库,也可以网络上其他安装了mysql的主机的地址。
    3)port:数据库端口,不是固定的,可以自定义,默认是3306。
    4)paswword:密码,不是固定的,安装时会要求设置密码,也可以后期改。
    4)db:接入的数据库名称。
    5)charset:使用的字符编码方案。
3. 是需要一点sql语法基础,不过很简单,看一遍就会:https://www.runoob.com/mysql/mysql-tutorial.html

青松100 发表于 2020-11-2 09:03:52

suchocolate 发表于 2020-11-2 08:53
1. 需要安装mysql
2. pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='123456',db='qi ...

非常感谢大神的及时帮助!
页: [1]
查看完整版本: MySQL (爬虫数据存储)