训练模型代码要返回两个列表在哪里添加

Terence888

1. import gc,os
   
2. from tqdm.auto import tqdm # visualizing tool for progress
   
3. 
   
4. # They will be used to pick the best model.pt given to the valid loss
   
5. best_model_epoch, valid_loss_values = [],[]
   
6. valid_loss_min = [1] # arbitrary loss I set here
   
7. def train(model,device,train_dataloader,valid_dataloader,epochs,loss_fn,optimizer,metric):
   
8. 
   
9.     for epoch in range(epochs):
   
10.         gc.collect() # memory cleaning垃圾回收机制，减少占用内存
    
11.         model.train()
    
12. 
    
13.         train_loss = 0
    
14.         train_step = 0
    
15.         pbar = tqdm(train_dataloader)#tqdm参数是一个iterable
    
16. 
    
17.         for batch in pbar: # you can also write like "for batch in tqdm(train_dataloader"
    
18.             optimizer.zero_grad() # initialize
    
19.             train_step += 1
    
20. 
    
21.             train_input_ids = batch['input_ids'].to(device)
    
22.             train_attention_mask = batch['attention_mask'].to(device)
    
23.             train_labels = batch['labels'].squeeze().to(device).long()#long()转化成一维张量
    
24.             
    
25.             # You can refer to the class "TweetsModel" for understand
    
26.             # what would be logits
    
27.             logits = model(train_input_ids, train_attention_mask).to(device)
    
28.             predictions = torch.argmax(logits, dim=1) # get an index from larger one
    
29.             detached_predictions = predictions.detach().cpu().numpy()
    
30.             
    
31.             loss = loss_fn(logits, train_labels)
    
32.             loss.backward()
    
33.             optimizer.step()
    
34.             model.zero_grad()
    
35. 
    
36.             train_loss += loss.detach().cpu().numpy().item()
    
37. 
    
38.             pbar.set_postfix({'train_loss':train_loss/train_step})#设置进度条显示信息
    
39.         pbar.close()
    
40. 
    
41.         with torch.no_grad():
    
42.             model.eval()
    
43. 
    
44.             valid_loss = 0
    
45.             valid_step = 0
    
46.             total_valid_score = 0
    
47. 
    
48.             y_pred = [] # for getting f1_score that is a metric of the competition
    
49.             y_true = []
    
50. 
    
51.             pbar = tqdm(valid_dataloader)
    
52.             for batch in pbar:
    
53.                 valid_step += 1
    
54. 
    
55.                 valid_input_ids = batch['input_ids'].to(device)
    
56.                 valid_attention_mask = batch['attention_mask'].to(device)
    
57.                 valid_labels = batch['labels'].squeeze().to(device).long()
    
58. 
    
59.                 logits = model(valid_input_ids, valid_attention_mask).to(device)
    
60.                 predictions = torch.argmax(logits, dim=1)
    
61.                 detached_predictions = predictions.detach().cpu().numpy()
    
62.                
    
63.                 loss = loss_fn(logits, valid_labels)
    
64.                 valid_loss += loss.detach().cpu().numpy().item()
    
65. 
    
66.                 y_pred.extend(predictions.cpu().numpy())
    
67.                 y_true.extend(valid_labels.cpu().numpy())
    
68. 
    
69.             valid_loss /= valid_step
    
70.             f1 = f1_score(y_true,y_pred)
    
71. 
    
72.             print(f'Epoch [{epoch+1}/{epochs}] Score: {f1}')
    
73.             print(f'Epoch [{epoch+1}/{epochs}] Valid_loss: {valid_loss}')
    
74. 
    
75.             if valid_loss < min(valid_loss_min):
    
76.                 print('model improved!')
    
77.             else:
    
78.                 print('model not improved')
    
79.    
    
80.             torch.save(model.state_dict(), f'epoch:{epoch+1}_model.pt')#state_dict 是一个字典对象，包含了模型的所有可学习参数（如权重和偏置）及其当前值
    
81.             print('save checkpoint!')
    
82.             valid_loss_min.append(valid_loss)
    
83.             print(f'valid_loss_min:{min(valid_loss_min)}')
    
84. 
    
85.         best_model_epoch.append(f'/kaggle/working/epoch:{epoch+1}_model.pt')
    
86.         valid_loss_values.append(valid_loss)
    
87.         print('='*100)
    
88. 
    
89.     select_best_model() # refer to below function
    
90.     print('Train/Valid Completed!!')
    
91.     del train_dataloader, valid_dataloader # memory cleaning
    
92.     gc.collect()
    
93. 
    
94. def select_best_model():
    
95.     best_model = best_model_epoch[np.array(valid_loss_values).argmin()]
    
96.     os.rename(best_model, best_model.split('.pt')[0] + '_best.pt')#重命名文件

复制代码

我想在上述代码中返回y_pred y_true的列表并pd.concat起来返回一个新的dataframe，要在函数内部哪个位置添加return语句

FishC

要在你的`train`函数中返回两个列表 `y_pred` 和 `y_true`，并进一步通过 `pd.concat` 将它们合并成一个新的 DataFrame，可以在函数的最后部分添加以下代码：

1. import pandas as pd
   
2. 
   
3. def train(model, device, train_dataloader, valid_dataloader, epochs, loss_fn, optimizer, metric):
   
4.     # ... (existing code)
   
5. 
   
6.     # 在训练循环结束后，返回 y_pred 和 y_true 列表
   
7.     return y_pred, y_true
   
8. 
   
9. # 在调用 train 函数的地方，进行列表的合并
   
10. y_pred, y_true = train(model, device, train_dataloader, valid_dataloader, epochs, loss_fn, optimizer, metric)
    
11. 
    
12. # 使用 y_pred 和 y_true 构建 DataFrame
    
13. df = pd.DataFrame({'y_pred': y_pred, 'y_true': y_true})
    
14. 
    
15. # 打印或返回该 DataFrame
    
16. print(df)

复制代码

请将 `train` 函数的代码末尾加上 `return y_pred, y_true` 这一行，以确保函数返回这两个列表。然后，在函数调用后，你可以使用 `pd.DataFrame` 将这两个列表组合成一个新的 DataFrame。

注意：在上述代码中，确保你在函数内部初始化了 `y_pred` 和 `y_true` 为列表对象，例如 `y_pred = []` 和 `y_true = []`，这样 `extend` 方法才能正常工作。同时确保 `pandas` 库已经安装并导入。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。