python内存释放问题

方大侠

train.rar (8.87 KB, 下载次数: 0)

2021-5-13 22:48 上传

点击文件名下载附件

我写了一个机器学习svm用哪些参数能够让预测误差最小的一个简单代码。。。不过运行了一段时间内存就爆了。。

我del掉了list好像没什么用，可能的原因估计是split出来的数据python没有自动删除。。。这该怎么办呀

不应该是变量名指向新的内存，旧的内存空间就自动释放了吗
这里的x_train,y_train,x_valid,y_valid 指向新的内存不应该就自动释放了。。

1. # -*- coding:
   
2. import numpy as np  # linear algebra
   
3. import pandas as pd  # data processing
   
4. from sklearn import svm
   
5. 
   
6. train_data = pd.read_csv('train.csv')
   
7. print('The shape of the train_data is: {}\n'.format(train_data.shape))
   
8. 
   
9. 
   
10. def split(data, pt, size):
    
11.     valid_data = data[pt:pt + size]
    
12.     train_data = data[0:pt].append(data[pt + size:])
    
13. 
    
14.     y_valid = valid_data.Survived.values.reshape(-1, 1)
    
15.     y_train = train_data.Survived.values.reshape(-1, 1)
    
16. 
    
17.     x_train = train_data.drop(columns=['Survived']).values
    
18.     x_valid = valid_data.drop(columns=['Survived']).values
    
19. 
    
20.     return x_train, y_train, x_valid, y_valid
    
21. 
    
22. 
    
23. m = train_data.shape[0]
    
24. sub_size = m // 10
    
25. 
    
26. ec_dict = {}
    
27. for d in range(1, 5):
    
28.     list_error = []
    
29.     list_c = []
    
30.     for exp in range(-20, 21):
    
31.         pt = 0
    
32.         sum = 0
    
33.         for i in range(1, 11):
    
34.             x_train, y_train, x_valid, y_valid = split(train_data, pt, sub_size)
    
35.             pt = pt + 89
    
36.             svc = svm.SVC(C=2 ** (exp * 0.5), kernel='poly', degree=d)
    
37.             svc.fit(x_train, y_train.ravel())
    
38.             score = 1 - svc.score(x_valid, y_valid.ravel())
    
39.             sum = sum + score
    
40.             print('i:',i)
    
41.         sum = sum / 10
    
42.         list_error.append(sum)
    
43.         list_c.append(exp)
    
44.         print('c:',exp)
    
45. 
    
46.     min_error = min(list_error)
    
47.     index = list_error.index(min_error)
    
48.     min_c = list_c[index]
    
49.     print("d: %d, c: %.10f, error: %f" % (d, min_c, min_error))
    
50.     ec_dict['error' + str(d)] = list_error
    
51.     ec_dict['c' + str(d)] = list_c
    
52.     del list_error, list_c

复制代码

方大侠

python还有哪些情况需要手动释放内存呀

方大侠

好像解决了。。。应该是模型的拟合时间复杂度的问题。。。不是内存的问题