[已解决]list.append()运行到后面越来越慢？

不二不幸福

代码如下

1. bf = pysam.AlignmentFile(sys.argv[1], 'rb')
   
2. results = pysam.AlignmentFile("deduplex.bam","wb",template=bf)
   
3. readed = []
   
4. for r in bf:
   
5.     name = r.query_name.split('|')[1]
   
6.     UMI1 = re.findall(r'.{8}', name)[0]
   
7.     UMI2 = re.findall(r'.{8}', name)[1]
   
8.     tag1 = UMI1,UMI2,r.pos,r.pnext
   
9.     tag2 = UMI2,UMI1,r.pos,r.pnext
   
10.     if tag1 not in readed and tag2 not in readed:
    
11.         results.write(r)
    
12.         readed.append(tag1)
    
13.     else:
    
14.         continue
    
15. results.close()
    
16. bf.close()

复制代码

数据比较大，运行之后发现这个代码跑得特别慢，想了一下会不会问题出在append这一步？网上查了一下，append越到后面运行速度会变慢？有人说extend效率会高点，但是试了一下，用extend连接达不到我的目的
用append，列表是[(),()]这种格式
用extend，就全部连在一起了
请问一下有没有什么方法可以提高运行效率啊？

最佳答案

月排行榜 / 总排行榜

colinshi

2018-6-26 12:39:26

colinshi 发表于 2018-6-25 15:09
我实测下来list是最快的，比set和dict都快。

set必须有重复的才快，如果没有重复的情况下list最快。

跳转到最佳答案楼层

BngThea

数据量大考虑用numpy

冷小漠

python的 . 函数是占用资源的，如果是大批量的循环append会非常耗资源，可以考虑把append赋值，再循环：

1. add=readed.append
   
2. for i in ...:
   
3.     add(i)

复制代码

不二不幸福

冷小漠 发表于 2018-6-25 12:31
python的 . 函数是占用资源的，如果是大批量的循环append会非常耗资源，可以考虑把append赋值，再循环：

我把list改成了set，再用set.add，好像速度快了不少

colinshi

我实测下来list是最快的，比set和dict都快。

不二不幸福

colinshi 发表于 2018-6-25 15:09
我实测下来list是最快的，比set和dict都快。

啊，但是我跑下来，set比list快得多

糖妖妖66

不知道唉 目前得代码数据量还小  map reduce 了解一下？

colinshi

colinshi 发表于 2018-6-25 15:09
我实测下来list是最快的，比set和dict都快。

set必须有重复的才快，如果没有重复的情况下list最快。