深度学习系列讲座:谷歌翻译核心技术 Seq2Seq

作者/分享人:邓侃
邓侃,上海交通大学本科及硕士,美国卡内基梅隆(CMU)大学计算机学院博士,专攻人工智能及数据挖掘。 历任美国甲骨文公司(Oracle)主任系统架构师,美国 Telenav 移动导航公司北京分公司总经理, 百度高级总监并主管网页搜索。 2015 年,邓侃创建大数医达,旨在将 Deep Learning 技术应用于医疗健康。

本期讲解谷歌翻译核心技术 Seq2Seq,如何颠覆传统的自然语言处理。Seq2Seq 由五大要素组成:

  1. 自然语言的张量表达。
  2. 语义编辑两大流派的比较。
  3. Attention 解码机制。
  4. Seq2Seq 与知识图谱的融合。
  5. 评价函数及其变种。

实录提要:

  • 人类的数据语言空间是否是唯一同构的?
  • 动物的声音可否这么做? 可以用人类的语言空间来识别吗?
  • 对 Google 最近发布的 tensor2tensor 以及对应的两篇 paper 是怎么看的?
  • Google Translate 能做到“信、达、雅”吗,主要困难点是什么?
  • 很想知道对于东方的这种模糊性的语言是怎么处理的?
  • 苹果发布会上用到的自动翻译字幕,这个技术能让普通公司使用吗?
  • 这个 seq2seq 怎么处理中文的问题?还是用 char based ?
  • 目前从实践看,那种比较高?
已有183人预订
预订达标
文章出炉
交流日期
     
06月07日
06月20日
06月26日 20:30
查看文章评论/提问
魏勇鹏
Google Brain的那篇“one model to train them all”,是否也适用于文中提到的知识图谱融合?关于“孙方法”,可有论文出来了?
peter
本质上,等于是 1)将文本语言转换成数字语言 2)用神经网络来探索出了数字语言的意义空间结构,这个结构里面蕴含着意义之间的 推演关系。 3)之后,再从数字语言转化为另外的语言 提问: 1)按照这个思路,其实可以“探索”出很多平常没有想象的意义出来? 2)人类的数据语言空间是否是唯一同构的呢? (目前训练的主要是自然科学领域,这个领域自然是比较同构的,但到了人文领域该如何处理? 可能一个语言空间有上帝,另外一个语言空间不存在) 3)动物的声音可否这么做? 可以用人类的语言空间来识别吗? 退一步来说,婴儿的呀呀哦哦呢? 4)可否用一个人日常说的所有话,来测量他的数据语言空间和人类数字语言空间的差别? 从而知道他的思维结构?
哈比
请问大量数据里也必然掺杂了非优质的数据,用这部分数据进行训练,和用优质数据进行训练,结果可能背道而驰。AI 会自相矛盾吗?如何定义优质与非优质的数据呢?
哈比
教育量必须庞大,才可能训练出足够给力的 AI,那是否说明,只有实力雄厚的大厂才有机会得到这个较完美的成果?如果是这样,在最厉害的 AI 还没出来之前,为什么还会有人去投中小团队,是想抢占先机以碰运气?
daiwk
想问问您对google最近发布的tensor2tensor以及对应的两篇paper是怎么看的呢,因为t2t毕竟相当于是纯attention,不用cnn和rnn了。
哈比
对于多义词,同一个词对应了多个词向量,在没有前后文的情况下,即便是人在看一段话的时候都会不太明白到底是哪个词。那 Google Translate 是怎么选择的呢?它有比人类翻译更独到的地方吗?
哈比
Google Translate 能做到“信、达、雅”吗,主要困难点是什么,现在的主流解决思路是?
魏勇鹏: 行业中真正的翻译标准,并不是“信达雅”,而在于各个场景中是否满足用户的需求。没有场景,就没有评价。
哈比
针对一套语言体系,生成或训练出了较为实用的 AI,当它遇到另一种语言的时候,不能完美地做到一对一,是否意味着需要从头再来?如果不是,它们能复用的东西是什么?如果是需要从头再来,能有效提高效率的思路是?
亮剑
很想知道对于东方的这种模糊性的语言是怎么处理的。 中国乒乓队谁都打不过 中国足球队谁都打不过 应该怎么翻译。
Super⚡超
什么时候可以讲一下im2txt在windows上用tf实现呀
你可能还喜欢
Service Mesh 在华为公有云的实践
田晓亮
利用 OpenCV 和 Caffe,根据大合影构造“平均脸”
李烨
从零开始,搭建 AI 音箱 Alexa 语音服务
Mike
Web 安全恩仇录:再谈逻辑漏洞
肖志华
TensorFlow 分布式原理与应用实践
刘光聪
编程和数学基础不佳如何入门人工智能?
赵宁|Neal
微信扫描登录