[已解决]老师们请教一下

liangmanxing

夜猫党求一下思路，我在数据库中有10多W条记录，用Python从里面提取了数据进行相关分析处理，目前数据已经处理好，回到提取的问题上，我之前是提取了100条作为测试，但是实际上需要读取全部数据（不能使用select * from tablesname，，，内存不允许）数据库中有一个自增的id字段，所以我在想是不是可以读取id的值，每次读取100这样，然后记录读取的id，然后循环读取id来作为索引，这样是不是可以实现从循环读取数据库的所有数据？？

最佳答案

月排行榜 / 总排行榜

liangmanxing

2016-7-19 23:31:20

贴上一下菜鸟代码，只是做了提取100条做了处理，怎么样能够改成根据id来循环读取所有数据来处理
？？贴上思路也可以，，，，谢谢老师们
import pymysql
import re
ptn = r'\d??(\d{4}-\d\d-\d\d).*(\d\d:\d\d:\d\d).*(\d{10}\.\d{3}).*(\s\d+\.\d+\.\d+\.\d+\s)'
conn= pymysql.connect("192.168.2.34","root","shujuku","shujuceshi")
cursor = conn.cursor()
sql1 ="select * from logs limit 100"
cursor.execute(sql1)
rs=cursor.fetchall()
for line in rs:
        line=[str(i) for i in line]
        line=''.join(line)
        s=re.findall(ptn,line)
        print(s)

跳转到最佳答案楼层

liangmanxing

贴上一下菜鸟代码，只是做了提取100条做了处理，怎么样能够改成根据id来循环读取所有数据来处理
？？贴上思路也可以，，，，谢谢老师们
import pymysql
import re
ptn = r'\d??(\d{4}-\d\d-\d\d).*(\d\d:\d\d:\d\d).*(\d{10}\.\d{3}).*(\s\d+\.\d+\.\d+\.\d+\s)'
conn= pymysql.connect("192.168.2.34","root","shujuku","shujuceshi")
cursor = conn.cursor()
sql1 ="select * from logs limit 100"
cursor.execute(sql1)
rs=cursor.fetchall()
for line in rs:
        line=[str(i) for i in line]
        line=''.join(line)
        s=re.findall(ptn,line)
        print(s)