保存成功
保存失败,请重试
提交成功
刘漱玉

刘漱玉

科研工作者
以物理维生。了解一些简单的物理和数学知识。实现过很多机器学习算法,多为论文而写,性能不高。写过一些书,但表达尚有不足。可能是个博士生。非常不喜欢Keras。...更多
创作文章6

深度学习框架基础:卷积和实现(非调库版)

本节内容是承接前面的自动求导的。卷积神经网络从任何角度来说都有一种滥觞的感觉,再到翻来覆去的框架(PyTorch、TensorFlow等)使用,读者大概已经审美疲劳了。但是作为系列的一部分,卷积又不得不写。所以这里聊一些常人涉及较少的算法实现内容。 这包括: 1. 从傅里叶变换到卷积; 2. 卷积的反向传播算法; 3. 快速卷积算法; 4. 扩张、转置和深度可分离卷积; 5. 与自编自动求导(差分)框架融合; 6. 一个图像去噪的小实例。 文章不会调用任何恼人的机器学习框架,以至于抱着深入学习想法的读者仅学了寥寥数个 API。本系列目标在于复刻一个具有相对完整功能的深度学习框架。最后欢迎各位提出改进意见。
83 订阅

数理杂谈:浅谈数值模拟算法

前两天看到知乎上“清华姚班毕业生、麻省理工博士胡渊鸣开发新特效编程语言,99 行代码实现《冰雪奇缘》”相关的问题。有些感慨,但凡某个细分领域的学者所做内容被大众所知晓后,便会引起广泛性的群体自卑。大 V 带头自轻自贱,其后赞同者众。其实现在的技术发展绝不可能出现通才,没有必要因为别人在自己领域的成就而忽视自己的优势。大 V 自贱可以,但观众切勿被误导。所以借着这个机会来介绍一些传统的数值模拟方法吧,以及“冰雪奇缘”可能用到的数值算法。 这个 Chat 会聊聊: 1. 物理世界的方程 2. 方程如何求解 3. 波动、光线与流体方程 4. 如何做一个波动和流动的效果 5. 引起广泛自卑的技术是什么 本人作为一个研究文学的,文章有些内容不甚完善,希望读者批评指正。
73 订阅

数理杂谈:微分方程的解与傅里叶变换

前两天和一个搞土木(理科鄙视链底层)的哥们聊起了卷积的物理意义的话题。这货拿着某“机器学习专家”的教程笑了挺久。这大哥把卷积解释成了“这样一个不断失血又不断补血的过程”,形象是形象,就是解释的不知所云。那一刻在哥们的眼里看到了久违的优越感。 所以这里开了一个系列 Chat ,聊聊理工科的数学基础之间的关系,连带着纠正一些搞机器学习的前辈的说法。可以算作数学基础教程吧,但是会有很多私货。 本次 Chat 内容为: 1. 傅里叶变换与微分方程的解 2. 线性系统的脉冲响应与卷积 3. 本征模分析与特征向量 4. 如何利用所学的知识忽悠搞机器学习的人 最后一条删掉,应该是如何利用这些知识更好的进行机器学习。
严选数学
224 订阅

深度学习框架基础:无痛学习矩阵求导

本个分享是作为几天前的一个 Chat 的补充内容而写的。这个系列 Chat 本意是写一个最简单的深度学习框架,这有个前提是对于矩阵求导了然于胸。但事实并非如此,矩阵求导难住了相当一部分人。甚至于有些人背诵起了所谓的“矩阵求导法则”,这太痛苦了。所以本个 Chat 尝试给大家一个无需背诵的公式推导过程。学完后将会了解: 1. 矩阵求导为什么学的这么艰辛 2. 约定求和如何做矩阵求导 3. 为什么人人都可以轻松的推导深度学习公式 4. 一个用于演示矩阵求导的实例 适合人群:机器学习工作者。
免费深度学习
173 订阅

没有框架该如何学习深度神经网络

Caffe、TensorFlow、PyTorch 等成熟的深度学习框架大行其道。使得很多小型团队可以在很短的时间内实现一个稳定高效的深度学习模型,这是技术普及和发展所带来的便利。但作为个人学习提高来讲,框架并非是一种良好的学习工具,其隐藏了太多重要的细节。而作为一门夕阳学科,深度学习有着一个成熟而系统知识体系。学习它并不像很多人渲染的需要太多数学知识,甚至于仅需要矩阵代数运算即可,深度学习是我见过对数学基础要求最低的机器学习分支。 本次 Chat 分为几个内容: 1. 自动求导的计算图结构设计 2. 神经网络的 NumPy 实现 3. 一个卷积层和循环网络层有什么特殊的 适合人群: 所有人
免费深度学习
141 订阅

深度学习框架基础:自动求导

哪个男孩不想打造属于自己的轮子呢?自动求导功能可以说是其中关键的一步。但是他并不难,甚至于比使用成熟的 Tensoeflow 或 PyTorch 更加简单。实现了自动求导后便可以实现: 1. 线性回归算法 2. 多层感知器 3. 搭建一个 GoogleNet(有着难以置信的缓慢速度) 4. 顺带绘制一下自己的计算图 以上是这次分享主要内容。第一次作分享,希望各位读者共同交流。
深度学习
83 订阅
微信扫描登录