鱼C论坛

 找回密码
 立即注册
查看: 2050|回复: 3

爬虫数据写入数据库时报错

[复制链接]
发表于 2022-6-25 22:29:36 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
import requests
import re
import openpyxl
import sqlite3
file_name = re.compile(r'title="(.*?)"')
link_ = re.compile(r"<a href='(.*?).html'")
url = 'http://www.dytt89.com'
def main(url):

    head = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.53 Safari/537.36 Edg/103.0.1264.37"
    }

    response = requests.get(url,headers=head)#verify = False去除安全验证
    response.encoding = 'gb2312'
    tx = re.findall(file_name,response.text)
    del tx[0]
    return tx
def get_link(url):
    #获取电影名对应链接

    head = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.53 Safari/537.36 Edg/103.0.1264.37"
    }

    response = requests.get(url,headers=head)#verify = False去除安全验证
    response.encoding = 'gb2312'
    tx = re.findall(file_name,response.text)
    tx2 = re.findall(link_,response.text)

    list1 = []
    for each in tx2:
        list1.append(url+each)
    list1.reverse()
    return list1



def save_pave(tx,list1):
    connet = sqlite3.connect("电影名.db")
    cur = connet.cursor()
    sql = '''
    create table if not exists 电影名称
    (电影名 varchar(20),
    电影链接 varchar(30)
    );
    '''

    cur.execute(sql)
    connet.commit()
    for each1 in tx:
        for each_one in list1:
            sql ='''
            insert into 电影名称(电影名,电影链接) values ('%s','%s')
            '''%(each1,each_one)
            cur.execute(sql)
            continue
    connet.commit()
    cur.close()
    connet.close()
sqlite3.IntegrityError: UNIQUE constraint failed: 电影名称.电影名
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-6-26 06:43:20 | 显示全部楼层
单运行数据库的操作函数没有报错,请把你的代码和报错发全。用代码格式贴出来。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2022-6-26 06:44:07 From FishC Mobile | 显示全部楼层
数据库名和字段名一样???
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2022-6-26 10:36:30 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-11-17 19:36

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表