transformer编码器解码器架构疑问

Terence888

1. def prepare_input(cfg, text):
   
2.     inputs = cfg.tokenizer.encode_plus(
   
3.         text,
   
4.         return_tensors=None,
   
5.         add_special_tokens=True,
   
6.     )
   
7.    
   
8.     if len(inputs['input_ids']) > CFG.max_len:
   
9.         inputs['input_ids'] = inputs['input_ids'][:CFG.max_len]
   
10.         inputs['attention_mask'] = inputs['attention_mask'][:CFG.max_len]
    
11.         inputs['token_type_ids'] = inputs['token_type_ids'][:CFG.max_len]
    
12. 
    
13.     for k, v in inputs.items():
    
14.         inputs[k] = torch.tensor(v, dtype=torch.long)
    
15.     return inputs
    
16. 
    
17. 
    
18. class TestDataset(Dataset):
    
19.     def __init__(self, cfg, df):
    
20.         self.cfg = cfg
    
21.         self.texts = df["full_text"].values
    
22. 
    
23.     def __len__(self):
    
24.         return len(self.texts)
    
25. 
    
26.     def __getitem__(self, item):
    
27.         inputs = prepare_input(self.cfg, self.texts[item])
    
28. 
    
29.         return {
    
30.             "input_ids": inputs["input_ids"],
    
31.             "attention_mask": inputs["attention_mask"],
    
32.             "token_type_ids": inputs['token_type_ids'],
    
33.         }
    
34. 
    
35. 
    
36. class CollateCls:
    
37.     def __init__(self, cfg):
    
38.         self.tokenizer = cfg.tokenizer
    
39.         self.cfg = cfg
    
40.         
    
41.     def __call__(self, batch):
    
42.         output = dict()
    
43.         output["input_ids"] = [sample["input_ids"] for sample in batch]
    
44.         output["attention_mask"] = [sample["attention_mask"] for sample in batch]
    
45.         output["token_type_ids"] = [sample["token_type_ids"] for sample in batch]
    
46.         # calculate max token length of this batch
    
47.         batch_max = max([len(ids) for ids in output["input_ids"]])
    
48. 
    
49.         # add padding
    
50.         if self.tokenizer.padding_side == "right":
    
51.             output["input_ids"] = [
    
52.                 list(s) + (batch_max - len(s)) * [self.tokenizer.pad_token_id]
    
53.                 for s in output["input_ids"]
    
54.             ]
    
55.             output["attention_mask"] = [
    
56.                 list(s) + (batch_max - len(s)) * [0] for s in output["attention_mask"]
    
57.             ]
    
58.             output["token_type_ids"] = [list(s) + (batch_max - len(s)) * [0] for s in output["token_type_ids"]]
    
59. 
    
60.         else:
    
61.             output["input_ids"] = [
    
62.                 (batch_max - len(s)) * [self.tokenizer.pad_token_id] + list(s)
    
63.                 for s in output["input_ids"]
    
64.             ]
    
65.             output["attention_mask"] = [
    
66.                 (batch_max - len(s)) * [0] + list(s) for s in output["attention_mask"]
    
67.             ]
    
68.             output["token_type_ids"] = [(batch_max - len(s)) * [0] + list(s) for s in output["token_type_ids"]]
    
69.         
    
70.         
    
71.         # convert to tensors
    
72.         output["input_ids"] = torch.tensor(output["input_ids"], dtype=torch.long)
    
73.         output["attention_mask"] = torch.tensor(output["attention_mask"], dtype=torch.long)
    
74.         output["token_type_ids"] = torch.tensor(output["token_type_ids"], dtype=torch.long)
    
75.         
    
76.         return output

复制代码

其中，

1. inputs = cfg.tokenizer.encode_plus(
   
2.         text,
   
3.         return_tensors=None,
   
4.         add_special_tokens=True,
   
5.     )
   
6.    

复制代码

该代码生成的inputs是什么形状的，

1. tokenizer.encode_plus

复制代码

这个函数会生成哪些列

FishC

`tokenizer.encode_plus` 是一个用于将文本编码为模型可接受格式的函数。它通常会生成一个字典，包含以下几个键值对：

1. **`input_ids`**: 这是文本被编码后的 token ID 列表，表示输入文本的实际内容。

2. **`token_type_ids`**: 这是一个可选的列表，用于区分不同的句子（在 BERT 中用于区分句子 A 和句子 B）。

3. **`attention_mask`**: 这是一个可选的列表，通常用于指示哪些 token 是填充（padding）token，哪些是实际的输入 token。填充值为 0，实际输入值为 1。

4. **`special_tokens_mask`**: 这是一个可选的列表，用于指示哪些 token 是特殊 token（如 [CLS], [SEP]）。

5. **`offset_mapping`**: 这是一个可选的列表，表示每个 token 在原始文本中的起始和结束位置。

在你的代码中，`inputs` 的形状取决于输入文本的长度和 `max_len` 的设置。通常情况下，`input_ids`、`token_type_ids` 和 `attention_mask` 的长度会与输入文本的 token 数量一致。

如果 `inputs` 的长度超过 `CFG.max_len`，代码中似乎没有处理逻辑（可能是代码片段不完整或有误），需要根据实际需求进行截断或填充。

如果你有更多问题或需要进一步的帮助，请随时告诉我！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。