保存成功
保存失败,请重试
提交成功

如何用 Spark 深度集成 Tensorflow 实现文本分类

作者/分享人:祝威廉
资深大数据架构师,10年研发,6年大数据/AI相关经验。现致力于大数据和机器学习在医疗领域的应用。工作期间曾使用流式处理架构处理日均千亿级别的日志,擅长Spark/ElasticSearch/Tensorflow等相关技术。 希望大家多多关注我的开源项目以及博客: 个人博客参看: http://www.jianshu.com/u/59d5607f1400 开源项目参看:https://github.com/allwefantasy?tab=repositories

这篇文章会分成以下 7 个部分:

  1. 开发环境准备
  2. PySpark 基础:基于 Dataframe 的 wordcount 实现
  3. PySpark MLlib 基础-自动化特征工程
  4. Tensorflow 基础:Tensorflow 的编码套路
  5. 深度学习与 NLP 基础:如何用深度学习完成 NLP 相关工作
  6. Spark 和 Tensorflow 整合:如何深度集成 Spark 和 Tensorflow
  7. 一个完整应用案例 :利用卷积网络做文本分类

通过本场 Chat,读者可以入门 PySpark, Spark MLlib, Tensorflow 的使用,以及深度学习和 NLP 的结合。对于架构师,还能学习到如何实现 Spark 和 Tensorflow 的互通,形成完整的 Pipeline。 这篇文章也是我前一段时间的工作总结,我 fork 了 databricks 公司的一个项目并且做了增强(点击查看)。

已有506人预订
预订达标
文章出炉
     
17.12.19
18.01.02
本场 Chat 文章已出炉,购买后即可阅读文章并获得一张祝威廉的读者圈Pass
请务必添加GitChat服务号以查看活动进度及获取活动通知。
查看文章评论/提问
Joe2 年前
你好,想问一下export .... 这样的执行方式是在哪里执行呢? (初学者)
Joe2 年前
emmm 不用了,是我弱智了
你可能还喜欢
程序员最好掌握的两个思维模式
杨老师
Vue 一步一步搭建企业级后台管理系统
一只帅帅的猿
Java 集合底层原理剖析(List、Set、Map、Queue)
老牛
基于 Spring Boot 的线程池最佳实践
古拉里
Spring Boot 面试指南(50 题)
axiya
使用 Vue.js + ElementUI 搭建自己的后台管理系统
_zw@huang
微信扫描登录
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!
入群与作者交流×
扫码后回复关键字 入群
Chat·作者交流群
入群码
该二维码永久有效