
1 ryon 2014 年 1 月 15 日 同关注,希望有人提供个解决方案 |
2 eric 2014 年 1 月 15 日 我以前做自然语言处理项目的时候是用的北大的人民日报的语料库,可以在 http://www.icl.pku.edu.cn/icl_res/ 申请下载。 这个语料库已经完成了词语切分和语料标注,简单写个脚本跑一下就能生成 dict.txt 的那个格式了。 |
3 chundong 2014 年 1 月 15 日 jieba项目上面有说明: > 来源主要有两个,一个是网上能下载到的1998人民日报的切分语料还有一个msr的切分语料。另一个是我自己收集的一些txt小说,用ictclas把他们切分(可能有一定误差)。 然后用python脚本统计词频。 https://github.com/fxsjy/jieba/issues/7 词库的话,搜狗有一个互联网词库, http://www.sogou.com/labs/dl/w.html |
4 fanzeyi 2014 年 1 月 15 日 |
5 ling0322 2014 年 1 月 16 日 可以找一些很大的小说合集,或者手写一个爬虫爬新闻或者博客,然后用Stanford Word Segmenter去分词,再用Stanford POS Tagger去标注词性。这两个软件都是开源的。 最后再写一个脚本统计每个词对应的词性出现的次数就OK了 |