deberta训练模型

Terence888

1. #定义训练模型
   
2. class LLMModel(nn.Module):
   
3.     def __init__(self, cfg, config_path=None, pretrained=False):
   
4.         super().__init__()
   
5.         self.cfg = cfg
   
6.         if config_path is None:
   
7.             self.config = AutoConfig.from_pretrained(cfg.model, output_hidden_states=True)#
   
8.             self.config.hidden_dropout = 0.
   
9.             self.config.hidden_dropout_prob = 0.
   
10.             self.config.attention_dropout = 0.
    
11.             self.config.attention_probs_dropout_prob = 0.
    
12.             self.config.add_pooling_layer = False
    
13.         else:
    
14.             self.config = torch.load(config_path)
    
15.         if pretrained:
    
16.             self.model = AutoModel.from_pretrained(cfg.model, config=self.config)
    
17.         else:
    
18.             self.model = AutoModel.from_config(self.config)
    
19.         
    
20.         self.model.resize_token_embeddings(len(tokenizer))#
    
21.         if self.cfg.gradient_checkpointing:#使用梯度检查点技术时，模型不会保存前向传播计算的中间结果，减少占用内存
    
22.             self.model.gradient_checkpointing_enable()
    
23.         self.fc = nn.Linear(self.config.hidden_size, self.cfg.num_labels)
    
24.         self._init_weights(self.fc)
    
25.         
    
26.     def _init_weights(self, module):
    
27.         if isinstance(module, nn.Linear):
    
28.             module.weight.data.normal_(mean=0.0, std=self.config.initializer_range)
    
29.             if module.bias is not None:
    
30.                 module.bias.data.zero_()
    
31.         elif isinstance(module, nn.Embedding):
    
32.             module.weight.data.normal_(mean=0.0, std=self.config.initializer_range)
    
33.             if module.padding_idx is not None:
    
34.                 module.weight.data[module.padding_idx].zero_()
    
35.         elif isinstance(module, nn.LayerNorm):
    
36.             module.bias.data.zero_()
    
37.             module.weight.data.fill_(1.0)
    
38.         
    
39.     def feature(self, input_ids, attention_mask, token_type_ids):
    
40.         outputs = self.model( input_ids, attention_mask, token_type_ids)
    
41.         last_hidden_states = outputs[0] #encoder最后一个隐藏状态的输出传递给decoder做cross attention
    
42.         feature = last_hidden_states[:, 0, :] ## CLS token
    
43.         return feature
    
44. 
    
45.     def forward(self,  input_ids, attention_mask, token_type_ids):#attention_mask避免用注意力机制的时候关注到填充符
    
46.         feature = self.feature( input_ids, attention_mask, token_type_ids)
    
47.         output = self.fc(feature)
    
48.         return output.squeeze(-1)

复制代码

其中，

1.     def feature(self, input_ids, attention_mask, token_type_ids):
   
2.         outputs = self.model( input_ids, attention_mask, token_type_ids)
   
3.         last_hidden_states = outputs[0] #encoder最后一个隐藏状态的输出传递给decoder做cross attention
   
4.         feature = last_hidden_states[:, 0, :] ## CLS token
   
5.         return feature
   
6. 
   
7.     def forward(self,  input_ids, attention_mask, token_type_ids):#attention_mask避免用注意力机制的时候关注到填充符
   
8.         feature = self.feature( input_ids, attention_mask, token_type_ids)
   
9.         output = self.fc(feature)
   
10.         return output.squeeze(-1)

复制代码

feature函数最终返回的是什么形状的张量?然后将其作为最后输出全连接层的输入

FishC

在您的代码中，`feature`函数返回的是`self.model`的输出，即`last_hidden_states`。根据Hugging Face的Transformers库，`AutoModel`的输出通常是一个包含多个元素的元组，其中第一个元素是最后一个隐藏层的输出。

假设`self.model`是一个标准的BERT或类似的Transformer模型，`last_hidden_states`的形状通常是`(batch_size, sequence_length, hidden_size)`。这里：

- `batch_size`是输入批次的大小。
- `sequence_length`是输入序列的长度。
- `hidden_size`是模型的隐藏层大小。

在`forward`函数中，这个`feature`被传递给全连接层`self.fc`。如果`self.fc`的输入是`(batch_size, sequence_length, hidden_size)`，那么它会对每个序列位置的特征进行线性变换，输出的形状将是`(batch_size, sequence_length, num_labels)`。最后，`output.squeeze(-1)`会移除最后一个维度，假设`num_labels`为1，最终输出的形状将是`(batch_size, sequence_length)`。

如果`self.fc`的输入是`(batch_size, hidden_size)`，那么您可能需要在`feature`中选择特定的token（例如CLS token）来进行分类。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

Terence888

FishC 发表于 2024-11-2 21:42
在您的代码中，`feature`函数返回的是`self.model`的输出，即`last_hidden_states`。根据Hugging Face的Tra ...

上述模型的decoder部分体现在哪里

FishC

Terence888 发表于 2024-11-02 22:15
上述模型的decoder部分体现在哪里

在您提供的代码中，并没有明确的decoder部分。这个模型主要是一个encoder模型，通常用于特征提取或分类任务。以下是相关代码行：

1. startLine: 2
   
2. endLine: 50

复制代码

在Transformer架构中，decoder通常用于生成任务（如翻译、文本生成等），而encoder用于理解任务（如分类、特征提取等）。在您的代码中，`feature`函数提取了encoder的最后一个隐藏状态，但没有涉及到decoder的实现。

如果您需要实现一个完整的encoder-decoder模型，通常需要在`feature`函数之后添加一个decoder模块，并将encoder的输出传递给decoder。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

Terence888

FishC 发表于 2024-11-2 22:27
在您提供的代码中，并没有明确的decoder部分。这个模型主要是一个encoder模型，通常用于特征提取或分类 ...

1. self.model.resize_token_embeddings(len(tokenizer))

复制代码

这句代码如何解释

FishC

Terence888 发表于 2024-11-02 22:43
self.model.resize_token_embeddings(len(tokenizer)) ...

这行代码的作用是调整模型的词嵌入矩阵的大小，以适应新的词汇表大小。具体来说：

- `self.model` 是一个预训练的Transformer模型。
- `resize_token_embeddings` 是一个方法，用于调整模型的词嵌入层的大小。
- `len(tokenizer)` 返回当前使用的`tokenizer`的词汇表大小。

通过调用 `resize_token_embeddings(len(tokenizer))`，您可以确保模型的词嵌入层与当前词汇表的大小匹配。这在您对词汇表进行了修改（例如，添加了新的词汇或特殊标记）时特别有用。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。