预处理dataset产生的问题

Terence888

1. def prepare_input(cfg, text):
   
2.     inputs = cfg.tokenizer.encode_plus(
   
3.         text,
   
4.         return_tensors=None,
   
5.         add_special_tokens=True,#自动在每个文本前后添加特殊标记(如CLS和SEP)
   
6.         return_attention_mask=True # 计算注意力（attention）时忽略那些paddle值
   
7.     )
   
8.    
   
9.     if len(inputs['input_ids']) > CFG.max_len:#句子长度大于max_length时截断
   
10.         inputs['input_ids'] = inputs['input_ids'][:CFG.max_len]
    
11.         inputs['attention_mask'] = inputs['attention_mask'][:CFG.max_len]
    
12.         inputs['token_type_ids'] = inputs['token_type_ids'][:CFG.max_len]
    
13. 
    
14.     for k, v in inputs.items():
    
15.         inputs[k] = torch.tensor(v, dtype=torch.long)
    
16.     return inputs
    
17. 
    
18. 
    
19. class LLMDataset(Dataset):
    
20.     def __init__(self, cfg, df,is_grad):
    
21.         self.cfg = cfg
    
22.         self.df = df
    
23.         self.texts = df["cleaned"].values
    
24.         self.is_grad = is_grad
    
25. 
    
26.     def __len__(self):
    
27.         return len(self.texts)
    
28. 
    
29.     def __getitem__(self,idx,item):
    
30.         inputs = prepare_input(self.cfg, self.texts[item])
    
31.         
    
32.         
    
33.         if self.is_grad:#训练集
    
34.             labels = self.df.loc[idx]['label']
    
35.             # [batch,1,max_len(84)] -> [batch,max_len]#使用squeeze降维
    
36.             return {'input_ids':inputs['input_ids'].squeeze(),
    
37.                     'attention_mask':inputs['attention_mask'].squeeze(),
    
38.                     'token_type_ids':inputs['token_type_ids'].squeeze(),
    
39.                    # Our loss_fn wants it to be a "float" type
    
40.                     'labels':torch.tensor(labels,dtype=torch.float).unsqueeze(dim=0)}
    
41.         else:#测试集
    
42.             # [batch,1,max_len(84)] -> [batch,max_len]
    
43.             return {'input_ids':inputs['input_ids'].squeeze(),
    
44.                     'attention_mask':inputs['attention_mask'].squeeze(),
    
45.                    'token_type_ids':inputs['token_type_ids'].squeeze()}
    
46. 
    
47. 
    
48. class CollateCls:
    
49.     def __init__(self, cfg):
    
50.         self.tokenizer = cfg.tokenizer
    
51.         self.cfg = cfg
    
52.         
    
53.     def __call__(self, batch):
    
54.         output = dict()
    
55.         output["input_ids"] = [sample["input_ids"] for sample in batch]
    
56.         output["attention_mask"] = [sample["attention_mask"] for sample in batch]
    
57.         output["token_type_ids"] = [sample["token_type_ids"] for sample in batch]
    
58.         # calculate max token length of this batch
    
59.         batch_max = max([len(ids) for ids in output["input_ids"]])
    
60. 
    
61.         # add padding
    
62.         if self.tokenizer.padding_side == "right":
    
63.             output["input_ids"] = [
    
64.                 list(s) + (batch_max - len(s)) * [self.tokenizer.pad_token_id]
    
65.                 for s in output["input_ids"]
    
66.             ]
    
67.             output["attention_mask"] = [
    
68.                 list(s) + (batch_max - len(s)) * [0] for s in output["attention_mask"]
    
69.             ]
    
70.             output["token_type_ids"] = [list(s) + (batch_max - len(s)) * [0] for s in output["token_type_ids"]]
    
71. 
    
72.         else:
    
73.             output["input_ids"] = [
    
74.                 (batch_max - len(s)) * [self.tokenizer.pad_token_id] + list(s)
    
75.                 for s in output["input_ids"]
    
76.             ]
    
77.             output["attention_mask"] = [
    
78.                 (batch_max - len(s)) * [0] + list(s) for s in output["attention_mask"]
    
79.             ]
    
80.             output["token_type_ids"] = [(batch_max - len(s)) * [0] + list(s) for s in output["token_type_ids"]]
    
81.         
    
82.         
    
83.         # convert to tensors
    
84.         output["input_ids"] = torch.tensor(output["input_ids"], dtype=torch.long)
    
85.         output["attention_mask"] = torch.tensor(output["attention_mask"], dtype=torch.long)
    
86.         output["token_type_ids"] = torch.tensor(output["token_type_ids"], dtype=torch.long)
    
87.         
    
88.         return output

复制代码

上述代码哪里有错误

FishC

在你提供的代码中，有几个地方可能存在问题：

1. **`prepare_input`函数中的重复代码**：
   - 在检查输入长度时，`inputs = inputs`重复了三次，应该是想要截断或处理输入，但没有实现。

2. **`__getitem__`方法中的索引问题**：
   - `self.texts`是一个数组，但在`prepare_input`中传入的是整个数组而不是单个文本。应该是`self.texts[idx]`。

3. **`__getitem__`方法中的`labels`获取**：
   - `labels = self.df.loc`不完整，应该指定行和列。可能是`labels = self.df.loc[idx, 'label_column_name']`。

4. **`CollateCls`类中的`output`处理**：
   - `output`的处理重复了三次，且缺少填充值。应该在`*`后面加上填充值，比如`self.tokenizer.pad_token_id`。

5. **`torch.tensor`转换重复**：
   - `torch.tensor(output, dtype=torch.long)`重复了三次，只需一次即可。

以下是一些修正建议：

- 在`prepare_input`中，处理输入长度的逻辑需要实现。
- 在`__getitem__`中，确保从`self.texts`中获取单个文本，并正确获取`labels`。
- 在`CollateCls`中，确保填充值正确，并只进行一次`torch.tensor`转换。

如果需要进一步的代码示例或详细解释，请告诉我。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

Terence888

FishC 发表于 2024-11-3 12:17
在你提供的代码中，有几个地方可能存在问题：

1. **`prepare_input`函数中的重复代码**：

1. ---------------------------------------------------------------------------
   
2. KeyError                                  Traceback (most recent call last)
   
3. Cell In[118], line 4
   
4.       1 print('Training Start!')
   
5.       2 print('=' * 100)
   
6. ----> 4 train(model,
   
7.       5     device,
   
8.       6     train_dataloader,
   
9.       7     valid_dataloader,
   
10.       8     CFG.epochs,
    
11.       9     loss_fn,
    
12.      10     optimizer,
    
13.      11     metric)
    
14.      13 del model,train_dataloader, valid_dataloader
    
15.      14 gc.collect()
    
16. 
    
17. Cell In[82], line 17, in train(model, device, train_dataloader, valid_dataloader, epochs, loss_fn, optimizer, metric)
    
18.      14 train_step = 0
    
19.      15 pbar = tqdm(train_dataloader)#tqdm参数是一个iterable
    
20. ---> 17 for batch in pbar: # you can also write like "for batch in tqdm(train_dataloader"
    
21.      18     optimizer.zero_grad() # initialize
    
22.      19     train_step += 1
    
23. 
    
24. File /opt/conda/lib/python3.10/site-packages/tqdm/notebook.py:250, in tqdm_notebook.__iter__(self)
    
25.     248 try:
    
26.     249     it = super().__iter__()
    
27. --> 250     for obj in it:
    
28.     251         # return super(tqdm...) will not catch exception
    
29.     252         yield obj
    
30.     253 # NB: except ... [ as ...] breaks IPython async KeyboardInterrupt
    
31. 
    
32. File /opt/conda/lib/python3.10/site-packages/tqdm/std.py:1181, in tqdm.__iter__(self)
    
33.    1178 time = self._time
    
34.    1180 try:
    
35. -> 1181     for obj in iterable:
    
36.    1182         yield obj
    
37.    1183         # Update and possibly print the progressbar.
    
38.    1184         # Note: does not call self.update(1) for speed optimisation.
    
39. 
    
40. File /opt/conda/lib/python3.10/site-packages/torch/utils/data/dataloader.py:630, in _BaseDataLoaderIter.__next__(self)
    
41.     627 if self._sampler_iter is None:
    
42.     628     # TODO(https://github.com/pytorch/pytorch/issues/76750)
    
43.     629     self._reset()  # type: ignore[call-arg]
    
44. --> 630 data = self._next_data()
    
45.     631 self._num_yielded += 1
    
46.     632 if self._dataset_kind == _DatasetKind.Iterable and \
    
47.     633         self._IterableDataset_len_called is not None and \
    
48.     634         self._num_yielded > self._IterableDataset_len_called:
    
49. 
    
50. File /opt/conda/lib/python3.10/site-packages/torch/utils/data/dataloader.py:1344, in _MultiProcessingDataLoaderIter._next_data(self)
    
51.    1342 else:
    
52.    1343     del self._task_info[idx]
    
53. -> 1344     return self._process_data(data)
    
54. 
    
55. File /opt/conda/lib/python3.10/site-packages/torch/utils/data/dataloader.py:1370, in _MultiProcessingDataLoaderIter._process_data(self, data)
    
56.    1368 self._try_put_index()
    
57.    1369 if isinstance(data, ExceptionWrapper):
    
58. -> 1370     data.reraise()
    
59.    1371 return data
    
60. 
    
61. File /opt/conda/lib/python3.10/site-packages/torch/_utils.py:706, in ExceptionWrapper.reraise(self)
    
62.     702 except TypeError:
    
63.     703     # If the exception takes multiple arguments, don't try to
    
64.     704     # instantiate since we don't know how to
    
65.     705     raise RuntimeError(msg) from None
    
66. --> 706 raise exception
    
67. 
    
68. KeyError: Caught KeyError in DataLoader worker process 0.
    
69. Original Traceback (most recent call last):
    
70.   File "/opt/conda/lib/python3.10/site-packages/pandas/core/indexes/base.py", line 3805, in get_loc
    
71.     return self._engine.get_loc(casted_key)
    
72.   File "index.pyx", line 167, in pandas._libs.index.IndexEngine.get_loc
    
73.   File "index.pyx", line 196, in pandas._libs.index.IndexEngine.get_loc
    
74.   File "pandas/_libs/hashtable_class_helper.pxi", line 2606, in pandas._libs.hashtable.Int64HashTable.get_item
    
75.   File "pandas/_libs/hashtable_class_helper.pxi", line 2630, in pandas._libs.hashtable.Int64HashTable.get_item
    
76. KeyError: 2183
    
77. 
    
78. The above exception was the direct cause of the following exception:
    
79. 
    
80. Traceback (most recent call last):
    
81.   File "/opt/conda/lib/python3.10/site-packages/torch/utils/data/_utils/worker.py", line 309, in _worker_loop
    
82.     data = fetcher.fetch(index)  # type: ignore[possibly-undefined]
    
83.   File "/opt/conda/lib/python3.10/site-packages/torch/utils/data/_utils/fetch.py", line 52, in fetch
    
84.     data = [self.dataset[idx] for idx in possibly_batched_index]
    
85.   File "/opt/conda/lib/python3.10/site-packages/torch/utils/data/_utils/fetch.py", line 52, in <listcomp>
    
86.     data = [self.dataset[idx] for idx in possibly_batched_index]
    
87.   File "/tmp/ipykernel_31/2920046666.py", line 34, in __getitem__
    
88.     labels = self.df.loc[idx]['label']
    
89.   File "/opt/conda/lib/python3.10/site-packages/pandas/core/indexing.py", line 1191, in __getitem__
    
90.     return self._getitem_axis(maybe_callable, axis=axis)
    
91.   File "/opt/conda/lib/python3.10/site-packages/pandas/core/indexing.py", line 1431, in _getitem_axis
    
92.     return self._get_label(key, axis=axis)
    
93.   File "/opt/conda/lib/python3.10/site-packages/pandas/core/indexing.py", line 1381, in _get_label
    
94.     return self.obj.xs(label, axis=axis)
    
95.   File "/opt/conda/lib/python3.10/site-packages/pandas/core/generic.py", line 4301, in xs
    
96.     loc = index.get_loc(key)
    
97.   File "/opt/conda/lib/python3.10/site-packages/pandas/core/indexes/base.py", line 3812, in get_loc
    
98.     raise KeyError(key) from err
    
99. KeyError: 2183

复制代码

以上为报错信息，相关代码如下

1. def prepare_input(cfg, text):
   
2.     inputs = cfg.tokenizer.encode_plus(
   
3.         text,
   
4.         return_tensors=None,
   
5.         add_special_tokens=True,#自动在每个文本前后添加特殊标记(如CLS和SEP)
   
6.         return_attention_mask=True # 计算注意力（attention）时忽略那些paddle值
   
7.     )
   
8.    
   
9.     if len(inputs['input_ids']) > CFG.max_len:#句子长度大于max_length时截断
   
10.         inputs['input_ids'] = inputs['input_ids'][:CFG.max_len]
    
11.         inputs['attention_mask'] = inputs['attention_mask'][:CFG.max_len]
    
12.         inputs['token_type_ids'] = inputs['token_type_ids'][:CFG.max_len]
    
13. 
    
14.     for k, v in inputs.items():
    
15.         inputs[k] = torch.tensor(v, dtype=torch.long)
    
16.     return inputs
    
17. 
    
18. 
    
19. class LLMDataset(Dataset):
    
20.     def __init__(self, cfg, df,is_grad):
    
21.         self.cfg = cfg
    
22.         self.df = df
    
23.         self.texts = df["cleaned"].values
    
24.         self.is_grad = is_grad
    
25. 
    
26.     def __len__(self):
    
27.         return len(self.texts)
    
28. 
    
29.     def __getitem__(self,idx):
    
30.         inputs = prepare_input(self.cfg, self.texts[idx])#inputs是一个字典
    
31.         
    
32.         
    
33.         if self.is_grad:#训练集
    
34.             labels = self.df.loc[idx]['label']
    
35.             # [batch,1,max_len(84)] -> [batch,max_len]#使用squeeze降维
    
36.             return {'input_ids':inputs['input_ids'].squeeze(),
    
37.                     'attention_mask':inputs['attention_mask'].squeeze(),
    
38.                     'token_type_ids':inputs['token_type_ids'].squeeze(),
    
39.                    # Our loss_fn wants it to be a "float" type
    
40.                     'labels':torch.tensor(labels,dtype=torch.float).unsqueeze(dim=0)}
    
41.         else:#测试集
    
42.             # [batch,1,max_len(84)] -> [batch,max_len]
    
43.             return {'input_ids':inputs['input_ids'].squeeze(),
    
44.                     'attention_mask':inputs['attention_mask'].squeeze(),
    
45.                    'token_type_ids':inputs['token_type_ids'].squeeze()}
    
46. 
    
47. 
    
48. class CollateCls:
    
49.     def __init__(self, cfg):
    
50.         self.tokenizer = cfg.tokenizer
    
51.         self.cfg = cfg
    
52.         
    
53.     def __call__(self, batch):
    
54.         output = dict()
    
55.         output["input_ids"] = [sample["input_ids"] for sample in batch]
    
56.         output["attention_mask"] = [sample["attention_mask"] for sample in batch]
    
57.         output["token_type_ids"] = [sample["token_type_ids"] for sample in batch]
    
58.         # calculate max token length of this batch
    
59.         batch_max = max([len(ids) for ids in output["input_ids"]])
    
60. 
    
61.         # add padding
    
62.         if self.tokenizer.padding_side == "right":
    
63.             output["input_ids"] = [
    
64.                 list(s) + (batch_max - len(s)) * [self.tokenizer.pad_token_id]
    
65.                 for s in output["input_ids"]
    
66.             ]
    
67.             output["attention_mask"] = [
    
68.                 list(s) + (batch_max - len(s)) * [0] for s in output["attention_mask"]
    
69.             ]
    
70.             output["token_type_ids"] = [list(s) + (batch_max - len(s)) * [0] for s in output["token_type_ids"]]
    
71. 
    
72.         else:
    
73.             output["input_ids"] = [
    
74.                 (batch_max - len(s)) * [self.tokenizer.pad_token_id] + list(s)
    
75.                 for s in output["input_ids"]
    
76.             ]
    
77.             output["attention_mask"] = [
    
78.                 (batch_max - len(s)) * [0] + list(s) for s in output["attention_mask"]
    
79.             ]
    
80.             output["token_type_ids"] = [(batch_max - len(s)) * [0] + list(s) for s in output["token_type_ids"]]
    
81.         
    
82.         
    
83.         # convert to tensors
    
84.         output["input_ids"] = torch.tensor(output["input_ids"], dtype=torch.long)
    
85.         output["attention_mask"] = torch.tensor(output["attention_mask"], dtype=torch.long)
    
86.         output["token_type_ids"] = torch.tensor(output["token_type_ids"], dtype=torch.long)
    
87.         
    
88.         return output

复制代码

1. #生成训练集
   
2. train_dataset = LLMDataset(CFG,pd.concat([X_train,y_train],axis=1),True)
   
3. valid_dataset = LLMDataset(CFG,pd.concat([X_valid,y_valid],axis=1),False)

复制代码

1. from torch.utils.data import DataLoader
   
2. 
   
3. train_dataloader = DataLoader(train_dataset,batch_size=32,collate_fn=CollateCls(CFG),shuffle=True,num_workers = 4,pin_memory=True)#锁页内存(pin_memory)能够保持与GPU进行高速传输,在训练时加快数据的读取
   
4. valid_dataloader = DataLoader(valid_dataset,batch_size=32,collate_fn=CollateCls(CFG),shuffle=False,num_workers = 4,pin_memory=True)
   
5. 
   
6. #collate_fn用于自定义数据加载和批处理的方式
   

复制代码

1. import gc,os
   
2. from tqdm.auto import tqdm # visualizing tool for progress
   
3. 
   
4. # They will be used to pick the best model.pt given to the valid loss
   
5. best_model_epoch, valid_loss_values = [],[]
   
6. valid_loss_min = [1] # arbitrary loss I set here
   
7. def train(model,device,train_dataloader,valid_dataloader,epochs,loss_fn,optimizer,metric):
   
8. 
   
9.     for epoch in range(epochs):
   
10.         gc.collect() # memory cleaning垃圾回收机制，减少占用内存
    
11.         model.train()
    
12. 
    
13.         train_loss = 0
    
14.         train_step = 0
    
15.         pbar = tqdm(train_dataloader)#tqdm参数是一个iterable
    
16. 
    
17.         for batch in pbar: # you can also write like "for batch in tqdm(train_dataloader"
    
18.             optimizer.zero_grad() # initialize
    
19.             train_step += 1
    
20.             
    
21. 
    
22.             train_input_ids = batch['input_ids'].to(device)
    
23.             train_attention_mask = batch['attention_mask'].to(device)
    
24.             train_token_type_ids = batch['token_type_ids'].to(device)
    
25.             train_labels = batch['labels'].squeeze().to(device).long()#label真实值long()转化成一维张量
    
26.             
    
27.             # You can refer to the class "TweetsModel" for understand
    
28.             # what would be logits
    
29.             logits = model(train_input_ids, train_attention_mask,train_token_type_ids).to(device)
    
30.             predictions = torch.argmax(logits, dim=1) # get an index from larger one
    
31.             detached_predictions = predictions.detach().cpu().numpy()
    
32.             
    
33.             loss = loss_fn(logits, train_labels)
    
34.             loss.backward()
    
35.             optimizer.step()
    
36.             model.zero_grad()
    
37. 
    
38.             train_loss += loss.detach().cpu().numpy().item()
    
39. 
    
40.             pbar.set_postfix({'train_loss':train_loss/train_step})#设置进度条显示信息
    
41.         pbar.close()
    
42. 
    
43.         with torch.no_grad():
    
44.             model.eval()
    
45. 
    
46.             valid_loss = 0
    
47.             valid_step = 0
    
48.             total_valid_score = 0
    
49. 
    
50.             y_pred = [] # for getting f1_score that is a metric of the competition
    
51.             y_true = []
    
52. 
    
53.             pbar = tqdm(valid_dataloader)
    
54.             for batch in pbar:
    
55.                 valid_step += 1
    
56. 
    
57.                 valid_input_ids = batch['input_ids'].to(device)
    
58.                 valid_attention_mask = batch['attention_mask'].to(device)
    
59.                 valid_token_type_ids = batch['token_type_ids'].to(device)
    
60.                 valid_labels = batch['labels'].squeeze().to(device).long()
    
61. 
    
62.                 logits = model(valid_input_ids, valid_attention_mask).to(device)
    
63.                 predictions = torch.argmax(logits, dim=1)
    
64.                 detached_predictions = predictions.detach().cpu().numpy()
    
65.                
    
66.                 loss = loss_fn(logits, valid_labels)
    
67.                 valid_loss += loss.detach().cpu().numpy().item()
    
68. 
    
69.                 y_pred.extend(predictions.cpu().numpy())
    
70.                 y_true.extend(valid_labels.cpu().numpy())
    
71. 
    
72.             valid_loss /= valid_step
    
73.             f1 = f1_score(y_true,y_pred)
    
74. 
    
75.             print(f'Epoch [{epoch+1}/{epochs}] Score: {f1}')
    
76.             print(f'Epoch [{epoch+1}/{epochs}] Valid_loss: {valid_loss}')
    
77. 
    
78.             if valid_loss < min(valid_loss_min):
    
79.                 print('model improved!')
    
80.             else:
    
81.                 print('model not improved')
    
82.    
    
83.             torch.save(model.state_dict(), f'epoch:{epoch+1}_model.pt')#state_dict 是一个字典对象，包含了模型的所有可学习参数（如权重和偏置）及其当前值
    
84.             print('save checkpoint!')
    
85.             valid_loss_min.append(valid_loss)
    
86.             print(f'valid_loss_min:{min(valid_loss_min)}')
    
87. 
    
88.         best_model_epoch.append(f'/kaggle/working/epoch:{epoch+1}_model.pt')
    
89.         valid_loss_values.append(valid_loss)
    
90.         print('='*100)
    
91. 
    
92.     select_best_model() # refer to below function
    
93.     print('Train/Valid Completed!!')
    
94.     del train_dataloader, valid_dataloader # memory cleaning
    
95.     gc.collect()
    
96. 
    
97. def select_best_model():
    
98.     best_model = best_model_epoch[np.array(valid_loss_values).argmin()]
    
99.     os.rename(best_model, best_model.split('.pt')[0] + '_best.pt')#重命名文件

复制代码

1. print('Training Start!')
   
2. print('=' * 100)
   
3. 
   
4. train(model,
   
5.     device,
   
6.     train_dataloader,
   
7.     valid_dataloader,
   
8.     CFG.epochs,
   
9.     loss_fn,
   
10.     optimizer,
    
11.     metric)
    
12. 
    
13. del model,train_dataloader, valid_dataloader
    
14. gc.collect()

复制代码

FishC

Terence888 发表于 2024-11-03 12:38
-------------------------------------------------- ...

根据错误信息和代码，以下是可能导致`KeyError`的原因和解决方案：

1. **`__getitem__`方法中的索引问题**：
   - 在`LLMDataset`类的`__getitem__`方法中，`labels = self.df.loc`不完整。你需要指定行和列。应该是`labels = self.df.loc[idx, 'label_column_name']`，其中`'label_column_name'`是你数据框中标签列的名称。

2. **`prepare_input`函数中的输入问题**：
   - `prepare_input`函数中，`self.texts`传入的是整个数组而不是单个文本。应该是`self.texts[idx]`。

3. **`CollateCls`类中的填充值**：
   - 在`CollateCls`类中，填充值缺失。你需要在`*`后面加上填充值，比如`self.tokenizer.pad_token_id`。

4. **数据集的创建**：
   - 在创建`train_dataset`和`valid_dataset`时，`pd.concat(,axis=1)`缺少参数。你需要传入要合并的DataFrame列表。

5. **`train`函数中的数据处理**：
   - 在`train`函数中，`batch`是一个字典，你需要从中提取`input_ids`、`attention_mask`、`token_type_ids`和`labels`。例如：`train_input_ids = batch['input_ids'].to(device)`。

以下是一些修正建议：

- 确保在`__getitem__`中正确获取单个文本和标签。
- 在`CollateCls`中，确保填充值正确。
- 在`train`函数中，从`batch`字典中提取正确的张量。

如果需要进一步的代码示例或详细解释，请告诉我。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。