[已解决]我的for循环跑得很慢，要如何优化？

拽猫的尾巴

跑得好慢呀

下面是代码：

1. import pandas as pd
   
2. import jieba
   
3. 
   
4. login = pd.read_csv(r'login.csv', encoding = 'gbk')
   
5. 
   
6. for i in range(login.shape[0]):  #login.shape[0]
   
7.     if login.loc[i,'login_place'][0:2] == '中国':
   
8.         login.loc[i,'国家'] = '中国'
   
9.         if '黑龙江' in login.loc[i,'login_place']:
   
10.             login.loc[i,'省份'] = '黑龙江'
    
11.             if len(login.loc[i,'login_place']) > 5:
    
12.                 login.loc[i,'地区'] = login.loc[i,'login_place'][5:]
    
13.             else:pass
    
14.         if '内蒙古' in login.loc[i,'login_place']:
    
15.             login.loc[i,'省份'] = '内蒙古'
    
16.             if len(login.loc[i,'login_place']) > 5:
    
17.                 login.loc[i,'地区'] = login.loc[i,'login_place'][5:]
    
18.             else:pass
    
19.         if '新疆维吾尔' in login.loc[i,'login_place']:
    
20.             login.loc[i,'省份'] = '新疆维吾尔'
    
21.             if len(login.loc[i,'login_place']) > 7:
    
22.                 login.loc[i,'地区'] = login.loc[i,'login_place'][7:]
    
23.             else:pass
    
24.         else:
    
25.             login.loc[i,'省份'] = login.loc[i,'login_place'][2:4]
    
26.             login.loc[i,'地区'] = login.loc[i,'login_place'][4:]
    
27.     else:
    
28.         li = [word for word in jieba.cut(login.loc[i,'login_place'])]
    
29.         if len(li) == 2:
    
30.             login.loc[i,'国家'] = li[0]
    
31.             login.loc[i,'省份'] = li[1]
    
32.         else:
    
33.             login.loc[i,'国家'] = li[0]

复制代码

最佳答案

月排行榜 / 总排行榜

阿奇_o

2022-3-9 18:32:03

不慢才怪呢！—— 逐行for遍历，还每次判断居然都login.loc[]，相当于每次每行都进行"全表扫描"。 全表大概38万，你这样处理，最终至少造成 38万*38万*。。（看看你那么多个 if 和 login.loc[]，都不觉得繁琐和奇怪吗）
其实，几十万行pandas完全可以处理过了，半秒钟都不用，也不用jieba来自动分词，就几种特殊情况完全可以自己手动分词。（省份要么三个字，如黑龙江，要么两个字）
解决：

1. #%%
   
2. import pandas as pd
   
3. 
   
4. df = pd.read_csv('login.csv', encoding='gbk')
   
5. display(df)
   
6. 
   
7. df['country'] = df['login_place'].str[:2]
   
8. def func_prov(row):
   
9.     return row[2:5] if '黑龙江' in row or '内蒙古' in row else row[2:4]
   
10. 
    
11. def func_city(row):
    
12.     return row[5:] if '黑龙江' in row or '内蒙古' in row else row[4:]
    
13. 
    
14. df['province'] = df['login_place'].apply(func_prov)
    
15. df['city'] = df['login_place'].apply(func_city)
    
16. 
    
17. df
    
18. 
    
19. #%%
    
20. # 测试
    
21. df[df.province=='新疆']
    
22. df[df.province=='黑龙江']
    
23. df[df.province=='内蒙古']
    
24. df[df.city=='乌鲁木齐']
    
25. df[ df.city.str.contains('自治') ]
    
26. df[ df.province.str.contains('新疆|黑龙江') ]
    

复制代码

跳转到最佳答案楼层

阿奇_o

不慢才怪呢！—— 逐行for遍历，还每次判断居然都login.loc[]，相当于每次每行都进行"全表扫描"。 全表大概38万，你这样处理，最终至少造成 38万*38万*。。（看看你那么多个 if 和 login.loc[]，都不觉得繁琐和奇怪吗）
其实，几十万行pandas完全可以处理过了，半秒钟都不用，也不用jieba来自动分词，就几种特殊情况完全可以自己手动分词。（省份要么三个字，如黑龙江，要么两个字）
解决：

1. #%%
   
2. import pandas as pd
   
3. 
   
4. df = pd.read_csv('login.csv', encoding='gbk')
   
5. display(df)
   
6. 
   
7. df['country'] = df['login_place'].str[:2]
   
8. def func_prov(row):
   
9.     return row[2:5] if '黑龙江' in row or '内蒙古' in row else row[2:4]
   
10. 
    
11. def func_city(row):
    
12.     return row[5:] if '黑龙江' in row or '内蒙古' in row else row[4:]
    
13. 
    
14. df['province'] = df['login_place'].apply(func_prov)
    
15. df['city'] = df['login_place'].apply(func_city)
    
16. 
    
17. df
    
18. 
    
19. #%%
    
20. # 测试
    
21. df[df.province=='新疆']
    
22. df[df.province=='黑龙江']
    
23. df[df.province=='内蒙古']
    
24. df[df.city=='乌鲁木齐']
    
25. df[ df.city.str.contains('自治') ]
    
26. df[ df.province.str.contains('新疆|黑龙江') ]
    

复制代码

拽猫的尾巴

阿奇_o 发表于 2022-3-9 18:32
不慢才怪呢！—— 逐行for遍历，还每次判断居然都login.loc[]，相当于每次每行都进行"全表扫描"。 全表大概 ...

大哥说的是谢谢大哥