8000 GitHub - renmu2017/Segmentor: 使用北大-富士通语料库,LSTM网络的中文分词系统
[go: up one dir, main page]
More Web Proxy on the site http://driver.im/
Skip to content

renmu2017/Segmentor

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Segmentor

使用北大-富士通语料库,LSTM网络的中文分词系统

来自《NLP汉语自然语言处理原理与实践》书中的例子,语料库与书中所选不同(书中使用微软研究院的中文分词语料),做了部分调整得来。在书面语中分词效果不错。

例:中国政府历来对公众科学素质提升高度重视。“十三五”规划中写道:到2020年中国公民的科学素质要达到10%以上这个目标。之所以设定10%的目标,是因为一个国家想要进入创新型国家行列,公众具有较高科学素质的比例至少达到10%。

分词结果:中国 政府 历来 对 公众 科学 素质 提升 高度 重视 。 “ 十三五 ” 规划 中 写道 : 到 2020年 中国 公民 的 科学 素质 要 达到 10% 以上 这个 目标 。 之所以 设定 10% 的 目标 , 是 因为 一个 国家 想 要 进入 创新型 国家 行列 , 公众 具有 较 高 科学 素质 的 比例 至少 达到 10% 。

About

使用北大-富士通语料库,LSTM网络的中文分词系统

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published
0