保存成功
订阅成功
保存失败,请重试
提交成功
燎原火

燎原火

算法工程师
算法爱好者 https://github.com/ne7ermore...更多
创作文章2

Transformer 深度解析及性能优化(附完整代码)

Transformer 将注意力机制(Attention)发挥到了极致,不但以 encode-decode 形式在 seq2seq 任务中取得 state-of-the-art,并且仅以 encode 形式作为 BERT 的核心组件,打榜几乎所有 NLP 任务。 * Transformer 中使用了那些 Attention,每种 Attention 具体怎么实现呢 * 当我们理解 Attention 后怎么合理的构建 Transformer,需要注意那些细节呢 * BERT 在 Transformer 基础上做了那些优化,可以实现 encode-decode 吗 * 在 Transformer 模型蒸馏中,BERT 可以分别在 encode 和 decode 端实现蒸馏吗 本 Chat 将会使用 Transformer 搭配 BERT 模型蒸馏实现指代消解,并详细解析核心代码,大家还将学习到: 1. Transformer 及常用 Attention 详解 2. Pre-LayerNorm 优势详解 3. Mask 在 Transformer 中使用方式详解 4. BERT 实现 encode-decode 详解 5. Transformer 模型蒸馏中,BERT 在 encode 和 decode 端实现蒸馏详解 6. 使用 JIT,模型裁剪等方式提高 Transformer 预测性能详解 7. 附上完整代码供大家学习
BERT
115 订阅

AlphaZero 五子棋实现(附完整代码)

AlphaZero 在 AlphaGo 的基础上更进一步,横扫全球围棋大师。强化学习(RL)是怎么攻克二十年来没有解决的难题,实现在棋局可能性多于全宇宙星球数量的一对一比赛中战胜人类呢?AlphaZero 又是如何脱离人类围棋棋谱独立自学完成对 AlphaGo 的超越呢? 本 Chat 将会使用 AlphaZero 实现五子棋游戏,并详细解析核心代码,大家还将学习到: 1. AlphaZero 原理详解 2. 强化学习介绍 3. Actor Critic(RL 一种)完成小游戏 CartPole (附完整代码) 4. 蒙特卡洛搜索在 AlphaZero 中承担角色 5. 强化学习在 AlphaZero 中承担角色 6. 附上完整代码供大家学习
严选机器学习
240 订阅