保存成功
订阅成功
保存失败,请重试
提交成功

自然语言处理之近义词包 Synonyms

¥1会员免费看
胡小夕
5

目前很缺乏质量好的中文近义词库,于是便考虑使用 word2vec 训练一个高质量的同义词库将“非标准表述”映射到“标准表述”,这就是 Synonyms 的起源。在经典的信息检索系统中,相似度的计算是基于匹配的,而且是 Query 经过分词后与文档库的严格的匹配,这种就缺少了利用词汇之间的“关系”。而 word2vec 使用大量数据,利用上下文信息进行训练,将词汇映射到低维空间,产生了这种“关系”,这种“关系”是基于距离的,有了这种“关系”,就可以进一步利用词汇之间的距离进行检索。所以,在算法层面上,检索更是基于了“距离”而非“匹配”,基于“语义”而非“形式”。

本话题将分享 Github 开源项目 - Synonyms 中文近义词工具包,主要内容如下:

  • 应用场景
  • 现有的近义词包
  • N-gram 模型介绍
  • word2vec 原理
  • 使用的开放数据集
  • 训练过程
  • 计算句子相似度公式
  • 待改进的地方
558 人已订阅
会员免费看
¥1 原价订阅
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!
入群与作者交流×
扫码后回复关键字 入群
Chat·作者交流群
入群码
该二维码永久有效
严选标准
知道了
Chat 状态详情
开始预订
预订结果公布18.01.17

预订达标,作者开始写作

审核未达标,本场 Chat 终止

作者文章审核结果公布18.01.31

审核达标,文章发布

审核未达标,本场 Chat 终止

Chat 完结
×
已购列表