深度学习第三课:文本生成

作者/分享人:曹莹
目前是PaddlePaddle 组成员之一。主要从事深度学习在自然语言处理方向上的算法研究。参与过大量文本类机器学习任务,在线上都取得了不错的效果。对常见文本分类,排序,生成等各种任务有着丰富的经验。

文本生成赋予机器“说”的能力,是自然语言处理中一个有趣的话题。深度学习第三课为大家提供一个使用深度神经网络训练的对话机器人,来体验深度学习方法的乐趣,也是对技术局限性的探索。

这一课会寻找以下问题的答案:

  1. 问题的数学描述以及基础积木。我们会介绍建模时序数据的循环神经网络,从RNN到LSTM到GRU,到底发生了怎样的变化。
  2. 该构建怎样的模型?我们会介绍神经图灵机的框架,编码器解码器结构、注意力机制都是神经图灵机的一个特例。
  3. 如何训练模型?我们会介绍如何训练深层循环神经网络,讨论计算代价以及一些算法层面的加速策略。
  4. 这一课的最终会回答:机器真的学会了说话吗?技术的局限在哪里?

本场Chat所有内容都可以通过短短的代码在PaddlePaddle平台下运行,希望为大家展示利用PaddlePaddle中高度灵活、计算高效的RNN完成复杂自然语言处理任务的方法和潜力。

实录提要:

  • 这些文本生成的技术可以直接用于做一个聊天机器人吗?
  • PaddlePaddle 在超算集群性能如何?
  • gru 和 lstm 有没有可能出现梯度爆炸的问题呢?
  • 在文本生成上,强化学习或者 GAN 有没有什么尝试或者成果呢?
  • 目前增强学习跟 RNN 有什么交集吗?
  • FPGA、ASIC 哪种形式更适合机器学习的商业化?
  • 语言是非线性类型的问题吗?

已有221人预订
预订达标
文章出炉
交流日期
     
03月29日
04月12日
04月19日 20:30
查看文章评论/提问
巨能猫
目前这些文本生成的技术可以直接用于做一个聊天机器人吗?
巨能猫
能不能详细解释一下神经图灵机中的各种寻址机制,对生产效果改善有很大帮助吗?文本生成任务速度如何呢?rnn模型运算量很大,能不能做到实时生成呢?
呼噜猫
按照循环神经网络思路一直循环下去,是不是就能生成整本书了?但目前好像还没有人可以生成整本书,通过循环神经网络实现大段文本生成还有什么瓶颈或局限性吗?
Soup_Nine_Sun
看到是曹博士的文章 立马买了。赞一个,写得很详细。另外想知道paddle在超算集群性能如何?跟tf比有哪些优势、劣势?目前在图像分类或者其他文本任务上,和其他框架效果一致吗?
Soup_Nine_Sun
等下再仔细阅读下然后来评论。
刘闻
挺好的文章 适合我这种初读者 打算入手paddle啦~
lightsilver
这些模型如NTM是否可以应用在不单纯是文本上,比如说“猜你说了一半接下来说什么”,“图片和文本相互接龙”,“视频剧情预测”这些yy出来的任务上
daiwk
1.结合pdf第五页的粗体字,看公式1里有两个非线性变换?印象中rnn只有一个吧,是不是paddle特有的呢? 2.pdf第七页的梯度clipping是什么意思 3.pdf第十一页的先计算forget gate 再计算input output gate,但在公式里看起来input和forget是没有先后的吧
曹莹: 您好,请问pdf 第五页具体是哪里呢?我这里有点对应不上。。。
奕伟: 第二个非线性变换指的是输入h得到y吧,那个应该是从rnn的输出到网络模型的最终输出
奕伟
感谢曹博士,非常棒的文章,看完之后获益匪浅。关于gru和lstm解决的梯度消失和梯度爆炸的问题,我还有点不明白,就是从您的非定量的描述中来看梯度消失的情况应该是不会发生了,但是由于h也是参与针对参数的更新的求导的,并且求出来的导数是会按照链式法则传递的,请问gru和lstm有没有可能出现梯度爆炸的问题呢?谢谢!
苏奕昕
请问曹博士,目前在文本生成上,强化学习或者GAN有没有什么尝试或者成果呢?
leenid
我记得有消息说CNN在NLP上也有很好的效果,不知道曹博士对这个清楚吗?能否简单介绍下
Adele
FPGA,ASIC哪种形式更适合机器学习的商业化?
L🍀
好文
你可能还喜欢
Service Mesh 在华为公有云的实践
田晓亮
从零开始,搭建 AI 音箱 Alexa 语音服务
Mike
Web 安全恩仇录:再谈逻辑漏洞
肖志华
如何用 Vue 实现前端权限控制(路由权限 + 视图权限 + 请求权限)
雅X共赏
智能增长:如何用大数据和人工智能实现业务体量的增长
蒋凡
有关 Mock 的是是非非
思考的犀牛
微信扫描登录