[已解决]list.append()运行到后面越来越慢？

不二不幸福

代码如下

bf = pysam.AlignmentFile(sys.argv[1], 'rb')
results = pysam.AlignmentFile("deduplex.bam","wb",template=bf)
readed = []
for r in bf:
    name = r.query_name.split('|')[1]
    UMI1 = re.findall(r'.{8}', name)[0]
    UMI2 = re.findall(r'.{8}', name)[1]
    tag1 = UMI1,UMI2,r.pos,r.pnext
    tag2 = UMI2,UMI1,r.pos,r.pnext
    if tag1 not in readed and tag2 not in readed:
        results.write(r)
        readed.append(tag1)
    else:
        continue
results.close()
bf.close()

数据比较大，运行之后发现这个代码跑得特别慢，想了一下会不会问题出在append这一步？网上查了一下，append越到后面运行速度会变慢？有人说extend效率会高点，但是试了一下，用extend连接达不到我的目的
用append，列表是[(),()]这种格式
用extend，就全部连在一起了
请问一下有没有什么方法可以提高运行效率啊？

最佳答案

月排行榜 / 总排行榜

colinshi

2018-6-26 12:39:26

colinshi 发表于 2018-6-25 15:09
我实测下来list是最快的，比set和dict都快。

set必须有重复的才快，如果没有重复的情况下list最快。

跳转到最佳答案楼层

BngThea

数据量大考虑用numpy

冷小漠

python的 . 函数是占用资源的，如果是大批量的循环append会非常耗资源，可以考虑把append赋值，再循环：

add=readed.append
for i in ...:
    add(i)

不二不幸福

冷小漠 发表于 2018-6-25 12:31
python的 . 函数是占用资源的，如果是大批量的循环append会非常耗资源，可以考虑把append赋值，再循环：

我把list改成了set，再用set.add，好像速度快了不少

colinshi

我实测下来list是最快的，比set和dict都快。

不二不幸福

colinshi 发表于 2018-6-25 15:09
我实测下来list是最快的，比set和dict都快。

啊，但是我跑下来，set比list快得多

糖妖妖66

不知道唉 目前得代码数据量还小  map reduce 了解一下？

colinshi

colinshi 发表于 2018-6-25 15:09
我实测下来list是最快的，比set和dict都快。

set必须有重复的才快，如果没有重复的情况下list最快。