nltk做命名实体识别

Handsome_zhou

1. #命名实体识别, 非常酷的4行代码
   
2. import nltk
   
3. nltk.download('punkt')
   
4. nltk.download('averaged_perceptron_tagger')
   
5. nltk.download('maxent_ne_chunker')
   
6. nltk.download('words')
   
7. 
   
8. sent = "your_corpus"
   
9. 
   
10. for sent in nltk.sent_tokenize(sentence):#对文本按照句子进行分割
    
11.     for chunk in nltk.ne_chunk(nltk.pos_tag(nltk.word_tokenize(sent))):#对句子进行分词，NLTK的分词是句子级的，因此要先分句，再逐句分词。对词进行词性标注。最后进行命名实体识别
    
12.         if hasattr(chunk, 'label'):
    
13.             print(chunk.label(), ' '.join(c[0] for c in chunk))

复制代码

整体逻辑是：
第一步，对文本进行分割，分割成句子。
第二步，对句子进行分词，nltk的分词是句子级别的，因此要先分句，再逐句分词
第三步，分完词后对词进行词性标注（bert中的序列标注）
第四步，用nltk.ne_chunk()方法进行命名实体识别

tomok

学习 了