[已解决]无法pickle tensorflow 弱引用对象

125404629

求助大神！，如能解决请加qq806559062,必有重谢！！！
下列代码是我所写的程序的一部分，功能是通过遗传算法优化CNN模型，实现光谱数据分类，其中，save_network(self)中的save_network函数的功能是同时保存network类的拓朴结构，所建立的模型和适应度，通过pickle.dump将其序列化为.obj格式的序列化文件，通过pickle.load将其反序列化用于读取network.但是现在存在的问题是，报错：TypeError：can't pickle weakref objects，无法pickle 弱引用对象，因此无法将network进行序列化。现在，请问如何修改代码实现序列化network类，所建立的模型和适应度到一个二进制文件之中，并能够再次反序列化读取。
环境配置：python 3.7.8 ,tensorflow -gpu 2.6.0 ,keras 2.6.0，之前使用tensorflow cpu进行训练时未出现这个问题。
下面是部分代码：

1. “def save_network(network):
   
2.     object_file = open(network.name + '.obj', 'wb')
   
3.     pickle.dump(network, object_file)
   
4. #将模型文件以二进制格式进行读取
   
5. def load_network(name):
   
6.     object_file = open(name + '.obj', 'rb')
   
7.     return pickle.load(object_file)
   
8. ”
   
9. “class Network:
   
10.     __slots__ = ('name', 'block_list', 'fitness', 'model')
    
11.     def __init__(self, it):
    
12.         self.name = 'parent_' + str(it) if it == 0 else 'net_' + str(it)
    
13.         self.block_list = []
    
14.         self.fitness = None
    
15.         self.model = None
    
16.     def build_model(self):
    
17.         model = keras.Sequential()                                # create model
    
18.         for block in self.block_list:
    
19.             for layer in block.get_layers():                # build model
    
20.                 try:
    
21.                     layer.build_layer(model)
    
22.                 except:
    
23.                     print("\nINDIVIDUAL ABORTED, CREATING A NEW ONE\n")
    
24.                     return -1
    
25.         return model
    
26. 
    
27.     def train_and_evaluate(self, model, dataset):
    
28.         print("Training", self.name)
    
29.         model.compile(optimizer=model.opt, loss='categorical_crossentropy', metrics=['acc'])
    
30.         #需要增加优化器学习率超参数
    
31.         
    
32.         history = model.fit(dataset['x_train'],
    
33.                             dataset['y_train'],
    
34.                             batch_size=model.batch_size,
    
35.                             epochs=model.epochs,
    
36.                             validation_data=(dataset['x_test'], dataset['y_test']),
    
37.                             shuffle=True)
    
38.         self.model = model                                    # model
    
39.         self.fitness = history.history['val_acc'][-1]        # fitness
    
40.         model.save(self.name + '.h5')                       # save model训练数据和训练后的参数保存为h5格式文件
    
41.         save_network(self)
    
42. ”

复制代码

最佳答案

月排行榜 / 总排行榜

isdkz

2023-3-31 21:37:17

执行这个看看结果：

1. print([eval('network.{}'.format(i)) for i in n.__slots__])

复制代码

跳转到最佳答案楼层

isdkz

先把你的代码复制到记事本，然后再复制粘贴出来，而且点击 <> 用代码块

直接从pychram复制一堆格式问题

125404629

isdkz 发表于 2023-3-31 21:11
先把你的代码复制到记事本，然后再复制粘贴出来，而且点击  用代码块

直接从pychram复制一堆格式问题

好的

isdkz

执行这个看看结果：

1. print([eval('network.{}'.format(i)) for i in n.__slots__])

复制代码

125404629

好的

isdkz

通过重写 __getstate__ 和 __setstate__ 方法来自定义 pickle 的序列化和反序列化的过程