预测数据时报错是什么原因

Terence888

报错如下

1. ---------------------------------------------------------------------------
   
2. ValueError                                Traceback (most recent call last)
   
3. File /opt/conda/lib/python3.10/site-packages/pandas/core/indexes/range.py:413, in RangeIndex.get_loc(self, key)
   
4.     412 try:
   
5. --> 413     return self._range.index(new_key)
   
6.     414 except ValueError as err:
   
7. 
   
8. ValueError: 0 is not in range
   
9. 
   
10. The above exception was the direct cause of the following exception:
    
11. 
    
12. KeyError                                  Traceback (most recent call last)
    
13. Cell In[46], line 1
    
14. ----> 1 pre_valid = inference(model,valid_eval_dataloader)#测试集预测值
    
15. 
    
16. Cell In[42], line 6, in inference(model, test_dataloader)
    
17.       3 model.eval()
    
18.       5 with torch.no_grad():
    
19. ----> 6     for batch in tqdm(test_dataloader):
    
20.       7         input_ids = batch['input_ids'].to(device)
    
21.       8         attention_mask = batch['attention_mask'].to(device)
    
22. 
    
23. File /opt/conda/lib/python3.10/site-packages/tqdm/notebook.py:250, in tqdm_notebook.__iter__(self)
    
24.     248 try:
    
25.     249     it = super().__iter__()
    
26. --> 250     for obj in it:
    
27.     251         # return super(tqdm...) will not catch exception
    
28.     252         yield obj
    
29.     253 # NB: except ... [ as ...] breaks IPython async KeyboardInterrupt
    
30. 
    
31. File /opt/conda/lib/python3.10/site-packages/tqdm/std.py:1181, in tqdm.__iter__(self)
    
32.    1178 time = self._time
    
33.    1180 try:
    
34. -> 1181     for obj in iterable:
    
35.    1182         yield obj
    
36.    1183         # Update and possibly print the progressbar.
    
37.    1184         # Note: does not call self.update(1) for speed optimisation.
    
38. 
    
39. File /opt/conda/lib/python3.10/site-packages/torch/utils/data/dataloader.py:630, in _BaseDataLoaderIter.__next__(self)
    
40.     627 if self._sampler_iter is None:
    
41.     628     # TODO(https://github.com/pytorch/pytorch/issues/76750)
    
42.     629     self._reset()  # type: ignore[call-arg]
    
43. --> 630 data = self._next_data()
    
44.     631 self._num_yielded += 1
    
45.     632 if self._dataset_kind == _DatasetKind.Iterable and \
    
46.     633         self._IterableDataset_len_called is not None and \
    
47.     634         self._num_yielded > self._IterableDataset_len_called:
    
48. 
    
49. File /opt/conda/lib/python3.10/site-packages/torch/utils/data/dataloader.py:673, in _SingleProcessDataLoaderIter._next_data(self)
    
50.     671 def _next_data(self):
    
51.     672     index = self._next_index()  # may raise StopIteration
    
52. --> 673     data = self._dataset_fetcher.fetch(index)  # may raise StopIteration
    
53.     674     if self._pin_memory:
    
54.     675         data = _utils.pin_memory.pin_memory(data, self._pin_memory_device)
    
55. 
    
56. File /opt/conda/lib/python3.10/site-packages/torch/utils/data/_utils/fetch.py:52, in _MapDatasetFetcher.fetch(self, possibly_batched_index)
    
57.      50         data = self.dataset.__getitems__(possibly_batched_index)
    
58.      51     else:
    
59. ---> 52         data = [self.dataset[idx] for idx in possibly_batched_index]
    
60.      53 else:
    
61.      54     data = self.dataset[possibly_batched_index]
    
62. 
    
63. File /opt/conda/lib/python3.10/site-packages/torch/utils/data/_utils/fetch.py:52, in <listcomp>(.0)
    
64.      50         data = self.dataset.__getitems__(possibly_batched_index)
    
65.      51     else:
    
66. ---> 52         data = [self.dataset[idx] for idx in possibly_batched_index]
    
67.      53 else:
    
68.      54     data = self.dataset[possibly_batched_index]
    
69. 
    
70. Cell In[26], line 15, in LLMDataset.__getitem__(self, idx)
    
71.      14 def __getitem__(self,idx):
    
72. ---> 15     text = self.df.loc[idx,'cleaned'] # extracting text from each row
    
73.      17     encoded_dict = self.tokenizer.encode_plus(
    
74.      18         text,
    
75.      19         add_special_tokens=True,#自动在每个文本前后添加特殊标记(如CLS和SEP)
    
76.    (...)
    
77.      24         return_attention_mask=True, # We should put it into the model，计算注意力（attention）时忽略那些paddle值
    
78.      25     )
    
79.      27     if self.is_grad:#训练集
    
80. 
    
81. File /opt/conda/lib/python3.10/site-packages/pandas/core/indexing.py:1183, in _LocationIndexer.__getitem__(self, key)
    
82.    1181     key = tuple(com.apply_if_callable(x, self.obj) for x in key)
    
83.    1182     if self._is_scalar_access(key):
    
84. -> 1183         return self.obj._get_value(*key, takeable=self._takeable)
    
85.    1184     return self._getitem_tuple(key)
    
86.    1185 else:
    
87.    1186     # we by definition only have the 0th axis
    
88. 
    
89. File /opt/conda/lib/python3.10/site-packages/pandas/core/frame.py:4221, in DataFrame._get_value(self, index, col, takeable)
    
90.    4215 engine = self.index._engine
    
91.    4217 if not isinstance(self.index, MultiIndex):
    
92.    4218     # CategoricalIndex: Trying to use the engine fastpath may give incorrect
    
93.    4219     #  results if our categories are integers that dont match our codes
    
94.    4220     # IntervalIndex: IntervalTree has no get_loc
    
95. -> 4221     row = self.index.get_loc(index)
    
96.    4222     return series._values[row]
    
97.    4224 # For MultiIndex going through engine effectively restricts us to
    
98.    4225 #  same-length tuples; see test_get_set_value_no_partial_indexing
    
99. 
    
100. File /opt/conda/lib/python3.10/site-packages/pandas/core/indexes/range.py:415, in RangeIndex.get_loc(self, key)
     
101.     413         return self._range.index(new_key)
     
102.     414     except ValueError as err:
     
103. --> 415         raise KeyError(key) from err
     
104.     416 if isinstance(key, Hashable):
     
105.     417     raise KeyError(key)
     
106. 
     
107. KeyError: 0
     

复制代码

相关代码如下

1. 
   
2. from torch.utils.data import Dataset
   
3. import torch
   
4. 
   
5. #定义数据集
   
6. class LLMDataset(Dataset):
   
7.     def __init__(self,df,is_grad,tokenizer):
   
8.         self.df = df # Pandas.DataFrame
   
9.         self.is_grad = is_grad # True: train,valid / False: test
   
10.         self.tokenizer = tokenizer
    
11. 
    
12.     def __len__(self):
    
13.         return len(self.df) # number of samples
    
14. 
    
15.     def __getitem__(self,idx):
    
16.         text = self.df.loc[idx,'cleaned'] # extracting text from each row
    
17.         
    
18.         encoded_dict = self.tokenizer.encode_plus(
    
19.             text,
    
20.             add_special_tokens=True,#自动在每个文本前后添加特殊标记(如CLS和SEP)
    
21.             padding='max_length',#补0
    
22.             truncation=True,#句子长度大于max_length时截断
    
23.             max_length=512, # given to the max_length of tokenized text
    
24.             return_tensors='pt', # PyTorch
    
25.             return_attention_mask=True, # We should put it into the model，计算注意力（attention）时忽略那些paddle值
    
26.         )
    
27. 
    
28.         if self.is_grad:#训练集
    
29.             labels = self.df.loc[idx]['label']
    
30.             # [batch,1,max_len(84)] -> [batch,max_len]#使用squeeze降维
    
31.             return {'input_ids':encoded_dict['input_ids'].squeeze(),
    
32.                     'attention_mask':encoded_dict['attention_mask'].squeeze(),
    
33.                     'token_type_ids':encoded_dict['token_type_ids'].squeeze(),
    
34.                    # Our loss_fn wants it to be a "float" type
    
35.                     'labels':torch.tensor(labels,dtype=torch.float).unsqueeze(dim=0)}
    
36.         else:#测试集
    
37.             # [batch,1,max_len(84)] -> [batch,max_len]
    
38.             return {'input_ids':encoded_dict['input_ids'].squeeze(),
    
39.                     'attention_mask':encoded_dict['attention_mask'].squeeze(),
    
40.                    'token_type_ids':encoded_dict['token_type_ids'].squeeze()}model = LLMModel(configs['model_name']).to(device)
    
41. def inference(model,test_dataloader):
    
42.     all_preds = []
    
43.     model.eval()
    
44. 
    
45.     with torch.no_grad():
    
46.         for batch in tqdm(test_dataloader):
    
47.             input_ids = batch['input_ids'].to(device)
    
48.             attention_mask = batch['attention_mask'].to(device)
    
49.             
    
50.             logits = model(input_ids,attention_mask)
    
51.             logits = logits.detach().cpu().numpy()
    
52.             all_preds.append(logits)
    
53.    
    
54.     return all_preds
    
55. valid_dataset = LLMDataset(train_df[train_size:].drop('label',axis=1),False,tokenizer)
    
56. valid_eval_dataloader = DataLoader(valid_dataset,batch_size=8,shuffle=False,pin_memory=True)
    
57. pre_valid = inference(model,valid_eval_dataloader)#测试集预测值

复制代码

FishC

在分析错误信息和代码后，我发现您的问题可能在于：

1. **`.loc` 用法错误**：从错误信息来看，出现了 `KeyError: 0`。在 `__getitem__` 方法中，您尝试直接使用 `self.df.loc` 来提取文本，但 `loc` 通常需要指定键或索引。正确用法应该是 `self.df.loc[idx]`，根据数据框的索引来获取行数据。

2. **缺少列名称**：稍微修改一下获取列数据的方法。如果您的数据框包含某个列名（比如 "text"），则需要指定该列名，比如 `self.df.loc[idx, 'text']` 来提取文本。

3. **Tensor 类型问题**：`encoded_dict` 的键值在 `encode_plus` 返回的是字典，您要确保对齐数据类型，比如 `encoded_dict['input_ids'].squeeze()`。

以下是更新后的 `__getitem__` 方法：

1. def __getitem__(self, idx):
   
2.     text = self.df.loc[idx, 'text']  # 假设 'text' 是列名
   
3.    
   
4.     encoded_dict = self.tokenizer.encode_plus(
   
5.         text,
   
6.         add_special_tokens=True,
   
7.         padding='max_length',
   
8.         truncation=True,
   
9.         max_length=512,
   
10.         return_tensors='pt',
    
11.         return_attention_mask=True
    
12.     )
    
13. 
    
14.     # 查找相对列名是重要的, 下方假设列名为 'label'
    
15.     if self.is_grad:
    
16.         labels = self.df.loc[idx, 'label']
    
17.         return {
    
18.             'input_ids': encoded_dict['input_ids'].squeeze(),
    
19.             'attention_mask': encoded_dict['attention_mask'].squeeze(),
    
20.             'token_type_ids': encoded_dict['token_type_ids'].squeeze(),
    
21.             'labels': torch.tensor(labels, dtype=torch.float).unsqueeze(dim=0)
    
22.         }
    
23.     else:
    
24.         return {
    
25.             'input_ids': encoded_dict['input_ids'].squeeze(),
    
26.             'attention_mask': encoded_dict['attention_mask'].squeeze(),
    
27.             'token_type_ids': encoded_dict['token_type_ids'].squeeze()
    
28.         }

复制代码

通过这样的修改，基本上大多数涉及错误 `KeyError` 的原因就能解决。根据具体的列名稍微调整代码，并处理可能的Pandas DataFrame的索引问题。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。