鱼C论坛

 找回密码
 立即注册
查看: 1889|回复: 2

[已解决]MySQL (爬虫数据存储)

[复制链接]
发表于 2020-11-2 08:53:44 | 显示全部楼层 |阅读模式
3鱼币
我在看的某爬虫教程要把数据存到数据库里。

1. 老师写了import pymysql
请问,我是不是要写去下载mySQL这个软件啊,还是python自带就有了?

2. 
下面这些代码,好多我都不能理解:
比如:
cursor作用,
self.cursor.execute: 里面参数的意思

pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='123456',db='qiubai',charset='utf8'):
 端口号:是不是固定的?
 密码:都是123456吗?
3. 我要先去学MySQL再来回这个吗?
有没有啥简洁的教程能让我先明白下面这些代码的意思,等我这个爬虫视频学完后再去学MySQL? ---换句话说,B站有啥免费的教程可以介绍给我吗?

 

  1. class mysqlPileLine(object):
  2.     conn = None
  3.     cursor = None
  4.     def open_spider(self,spider):
  5.         self.conn = pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='123456',db='qiubai',charset='utf8')
  6.     def process_item(self,item,spider):
  7.         self.cursor = self.conn.cursor()

  8.         try:
  9.             self.cursor.execute('insert into qiubai values("%s","%s")'%(item["author"],item["content"]))
  10.             self.conn.commit()
  11.         except Exception as e:
  12.             print(e)
  13.             self.conn.rollback()

  14.         return item
  15.     def close_spider(self,spider):
  16.         self.cursor.close()
  17.         self.conn.close()

复制代码
最佳答案
2020-11-2 08:53:45
1. 需要安装mysql
2. pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='123456',db='qiubai',charset='utf8'):(建议看纸质书,参数都写的很详细,英文好的也可以看官方docs,写的更详细)
    1)创建连接。
    2)host:主机地址,127.0.0.1就是本机的数据库,也可以网络上其他安装了mysql的主机的地址。
    3)port:数据库端口,不是固定的,可以自定义,默认是3306。
    4)paswword:密码,不是固定的,安装时会要求设置密码,也可以后期改。
    4)db:接入的数据库名称。
    5)charset:使用的字符编码方案。
3. 是需要一点sql语法基础,不过很简单,看一遍就会:https://www.runoob.com/mysql/mysql-tutorial.html

最佳答案

查看完整内容

1. 需要安装mysql 2. pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='123456',db='qiubai',charset='utf8'):(建议看纸质书,参数都写的很详细,英文好的也可以看官方docs,写的更详细) 1)创建连接。 2)host:主机地址,127.0.0.1就是本机的数据库,也可以网络上其他安装了mysql的主机的地址。 3)port:数据库端口,不是固定的,可以自定义,默认是3306。 4)paswword:密码,不是 ...
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-11-2 08:53:45 | 显示全部楼层    本楼为最佳答案   
1. 需要安装mysql
2. pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='123456',db='qiubai',charset='utf8'):(建议看纸质书,参数都写的很详细,英文好的也可以看官方docs,写的更详细)
    1)创建连接。
    2)host:主机地址,127.0.0.1就是本机的数据库,也可以网络上其他安装了mysql的主机的地址。
    3)port:数据库端口,不是固定的,可以自定义,默认是3306。
    4)paswword:密码,不是固定的,安装时会要求设置密码,也可以后期改。
    4)db:接入的数据库名称。
    5)charset:使用的字符编码方案。
3. 是需要一点sql语法基础,不过很简单,看一遍就会:https://www.runoob.com/mysql/mysql-tutorial.html
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2020-11-2 09:03:52 | 显示全部楼层
suchocolate 发表于 2020-11-2 08:53
1. 需要安装mysql
2. pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='123456',db='qi ...

非常感谢大神的及时帮助!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-5-11 03:06

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表