鱼C论坛

 找回密码
 立即注册

8.快速掌握NLP,词性标注以及是实名体识别介绍以及应用

已有 45 次阅读2019-7-24 08:07 |个人分类:自然语言



分词
    中文分词(chinese word segmentation)指将一个汉字序列切分成一个一个单独的词。分词就是将连续的字
    序列按照一定的规范重新组合成词序列的过程
    
    中文分词是其他中文信息处理的基础,搜索引擎,机器翻译,语音合成,自动分类,自动摘要,自动校对等等
    都需要用分词


词性标注
    词性标注(Part-Of-Speech tagging 或POS tagging)又称词类标注或者简称标注,是指为分词结果中的每个单词标注一个正确的词性的程序,也即确定每个词
    时名词,动词,形容词或其他词性的过程。在汉语中,词性标注比较简单,因为汉语词汇词性多变的情况比较少见,
    大多词语只有一个词性,或者出现频次最高的词性远远高于第二位的词性,据说,只需选取最高频词性,即可实现
    80%准确率的中文词性标注程序,不同的工具词性标注不一定一样,

    n 名词
        nr 人名
            nr1 汉语姓氏
            nr2 汉语名字
            nrj 日语人名
            nrf 音译人名
        ns 地名
         nsf 音译地名
        nt 机构团体名
        nz 其它专名
        nl 名词性惯用语
        ng 名词性语素

    t 时间词
      tg 时间词性语素

    s 处所词

    f 方位词

    v 动词
        vd 副动词
        vn 名动词
        vshi 动词“是”
        vyou 动词“有”
        vf 趋向动词
        vx 形式动词
        vi 不及物动词(内动词)
        vl 动词性惯用语
        vg 动词性语素
    a 形容词
        ad 副形词
        an 名形词
        ag 形容词性语素
        al 形容词性惯用语
    b 区别词
        bl 区别词性惯用语
    z 状态词
    r 代词
        rr 人称代词
        rz 指示代词
            rzt 时间指示代词
            rzs 处所指示代词
            rzv 谓词性指示代词
        ry 疑问代词
            ryt 时间疑问代词
            rys 处所疑问代词
            ryv 谓词性疑问代词
        rg 代词性语素
    m 数词
        mq 数量词
    q 量词
        qv 动量词
        qt 时量词
    d 副词
    p 介词
        pba 介词“把”
        pbei 介词“被”
    c 连词
        cc 并列连词
    u 助词
        uzhe 着
        ule 了 喽
        uguo 过
        ude1 的 底
        ude2 地
        ude3 得
        usuo 所
        udeng 等 等等 云云
        uyy 一样 一般 似的 般
        udh 的话
        uls 来讲 来说 而言 说来

        uzhi 之
        ulian 连 (“连小学生都会”)

    e 叹词
    y 语气词(delete yg)
    o 拟声词
    h 前缀
    k 后缀
    x 字符串
        xx 非语素字
        xu 网址URL
    w 标点符号
        wkz 左括号,全角:( 〔  [  {  《 【  〖 〈   半角:( [ { <
        wky 右括号,全角:) 〕  ] } 》  】 〗 〉 半角: ) ] { >
        wyz 左引号,全角:“ ‘ 『
        wyy 右引号,全角:” ’ 』
        wj 句号,全角:。
        ww 问号,全角:? 半角:?
        wt 叹号,全角:! 半角:!
        wd 逗号,全角:, 半角:,
        wf 分号,全角:; 半角: ;
        wn 顿号,全角:、
        wm 冒号,全角:: 半角: :
        ws 省略号,全角:……  …
        wp 破折号,全角:——   --   ——-   半角:---  ----
        wb 百分号千分号,全角:% ‰   半角:%
        wh 单位符号,全角:¥ $ £  °  ℃  半角:$

命名实体识别
    命名实体识别(Name Entity Recognition ,简称NER)又称“专名识别”,是指识别文本中具有特定意义的实体,主要包括人名,地名,机构名,专有名词等
    一般来说,命名实体识别的任务就是识别出待处理文本中的三大类(实体类,时间类,和数字类),七小类(人名,机构名
    ,地名,时间,日期,货币和百分比)命名实体。
    在不同的项目中,命名实体类别具有不同的定义
    

路过

鸡蛋

鲜花

握手

雷人

全部作者的其他最新日志

评论 (0 个评论)

facelist

您需要登录后才可以评论 登录 | 立即注册

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-5-19 04:16

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

返回顶部