Scripts 学盟

标题: ICTCLAS 分词系统研究3 - 原子切分 [打印本页]

作者: 混混@普宁.中国 时间: 2011-9-18 22:41:59 标题: ICTCLAS 分词系统研究3 - 原子切分

ICTCLAS分词的第一步就是原子分词。

但在进行原子切分之前，是先要进行断句处理的。就是根据分隔符、回车换行符等语句的分隔标志，把源字符串分隔成多个稍微简单一点的短句，再进行分词处理，最后再把各个分词结果合起来，形成最终的分词结果。

分成短句之后，才进行原子分词，所谓原子,是指该短句中不可分割的最小语素单位。一个汉字、短句前后的开始结束标识字段、全角标点符号、连在一起的数字字母单字节字符等。最后一种情况可以举例说明，比如：三星SHX-132型号的手机1元钱，则SHX-132、1都是一个原子，其它的每个汉字是一个原子。

按照这种方式，通过简单的汉字分割就形成了原子分词的结果，并对每个原子单位进行词性标注。nPOS＝1表示是开始标记，nPOS＝4表示结束标记，nPOS=0表示未识别词。原子分割后的数据结构如下图一所示:

原子分词后的实例如下图二所示:

经过原子分词之后，下面即可进行初次分词。

附件: 2.png (2011-9-18 22:40:24, 109.95 KB) / 下载次数 82
http://www.iscripts.org/forum.php?mod=attachment&aid=OTY3fDEyZDUxNDVmfDE3MTQ4MjI4MTl8MHww

附件: 11.jpg (2011-9-18 22:40:22, 20.43 KB) / 下载次数 87
http://www.iscripts.org/forum.php?mod=attachment&aid=OTY2fDAzYzNhNTY0fDE3MTQ4MjI4MTl8MHww

欢迎光临 Scripts 学盟 (http://www.iscripts.org/)