设为首页收藏本站

Scripts 学盟

 找回密码
 加入学盟

QQ登录

只需一步,快速开始

查看: 1621|回复: 0

ICTCLAS 分词系统研究3 - 原子切分 [复制链接]

管理员

超级大菜鸟

Rank: 9Rank: 9Rank: 9

混混@普宁.中国 实名认证  发表于 2011-9-18 22:41:59 |显示全部楼层
ICTCLAS分词的第一步就是原子分词。

但在进行原子切分之前,是先要进行断句处理的。就是根据分隔符、回车换行符等语句的分隔标志,把源字符串分隔成多个稍微简单一点的短句,再进行分词处理,最后再把各个分词结果合起来,形成最终的分词结果。

分成短句之后,才进行原子分词,所谓原子,是指该短句中不可分割的最小语素单位。一个汉字、短句前后的开始结束标识字段、全角标点符号、连在一起的数字字母单字节字符等。最后一种情况可以举例说明,比如:三星SHX-132型号的手机1元钱,则SHX-132、1都是一个原子,其它的每个汉字是一个原子。

按照这种方式,通过简单的汉字分割就形成了原子分词的结果,并对每个原子单位进行词性标注。nPOS=1表示是开始标记,nPOS=4表示结束标记,nPOS=0表示未识别词。原子分割后的数据结构如下图一所示:

11.jpg


原子分词后的实例如下图二所示:

2.png


经过原子分词之后,下面即可进行初次分词。
您需要登录后才可以回帖 登录 | 加入学盟

手机版|Scripts 学盟   |

GMT+8, 2024-3-29 22:53 , Processed in 1.187706 second(s), 15 queries .

Powered by Discuz! X2

© 2001-2011 Comsenz Inc.

回顶部