NLP语料的预处理

Handsome_zhou

中文自然语言处理（NLP）模型的语料输入通常需要经过一系列的数据预处理步骤，以确保数据的格式和内容适合模型的训练或推理。以下是处理中文NLP语料的一般步骤：

1、文本分词：

首要任务是将中文文本分词成单词或子词。中文是一个字符密集的语言，分词有助于模型理解文本的结构。常见的分词工具包括jieba、pkuseg、HanLP等。

2、标记化:

分词后，将每个词汇映射到其对应的标记（token）。这些标记通常是词汇表中的索引或特殊标记（如[CLS]和[SEP]，用于BERT等模型）。

3、填充和截断:

由于模型输入通常是固定长度的，需要对文本进行填充或截断，以确保它们具有相同的长度。这通常使用特殊的填充标记（如[PAD]）或截断文本的方式来完成。

4、创建注意力掩码:

对于BERT等模型，需要创建一个注意力掩码，以指示哪些标记是真实的文本标记，哪些是填充标记。这有助于模型在训练时忽略填充部分。

5、生成批次:

将文本示例组成批次（batch），以便一次性输入多个示例，以提高训练或推理效率。

6、嵌入层:

将标记转化为向量形式。这可以使用预训练的词嵌入（如Word2Vec、GloVe）或预训练的语言模型嵌入（如BERT、GPT）。


代码示例：

1. import torch
   
2. from transformers import BertTokenizer
   
3. 
   
4. # 初始化分词器
   
5. tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
   
6. 
   
7. # 输入文本
   
8. text = "我喜欢自然语言处理"
   
9. 
   
10. # 分词、标记化、转化为张量
    
11. tokens = tokenizer.tokenize(text)
    
12. input_ids = tokenizer.convert_tokens_to_ids(tokens)
    
13. 
    
14. # 填充和截断
    
15. max_length = 128
    
16. if len(input_ids) < max_length:
    
17.     input_ids += [tokenizer.pad_token_id] * (max_length - len(input_ids))
    
18. else:
    
19.     input_ids = input_ids[:max_length]
    
20. 
    
21. # 创建注意力掩码
    
22. attention_mask = [1] * len(input_ids)
    
23. 
    
24. # 转化为张量
    
25. input_ids = torch.tensor(input_ids)
    
26. attention_mask = torch.tensor(attention_mask)
    
27. 
    
28. # 将数据加载到GPU（如果可用）
    
29. device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    
30. input_ids = input_ids.to(device)
    
31. attention_mask = attention_mask.to(device)

复制代码