如何用 Spark 深度集成 Tensorflow 实现文本分类

作者/分享人:祝威廉
向 Ta 提问
资深大数据架构师,10年研发,六年大数据相关经验。现致力于大数据和机器学习在医疗领域的应用。工作期间曾使用流式处理架构处理日均千亿级别的日志,擅长Spark/ElasticSearch/Tensorflow等相关技术,并且有相关开源项目。个人博客参看: http://www.jianshu.com/u/59d5607f1400 开源项目参看:https://github.com/allwefantasy?tab=repositories

这篇文章会分成以下 7 个部分:

  1. 开发环境准备
  2. PySpark 基础:基于 Dataframe 的 wordcount 实现
  3. PySpark MLlib 基础-自动化特征工程
  4. Tensorflow 基础:Tensorflow 的编码套路
  5. 深度学习与 NLP 基础:如何用深度学习完成 NLP 相关工作
  6. Spark 和 Tensorflow 整合:如何深度集成 Spark 和 Tensorflow
  7. 一个完整应用案例 :利用卷积网络做文本分类

通过本场 Chat,读者可以入门 PySpark, Spark MLlib, Tensorflow 的使用,以及深度学习和 NLP 的结合。对于架构师,还能学习到如何实现 Spark 和 Tensorflow 的互通,形成完整的 Pipeline。 这篇文章也是我前一段时间的工作总结,我 fork 了 databricks 公司的一个项目并且做了增强(点击查看)。

已有369人预订
预订达标
文章出炉
     
17.12.19
01月02日
本场 Chat 文章已出炉,购买后即可阅读文章并获得一张祝威廉的读者圈Pass
请务必添加GitChat服务号以查看活动进度及获取活动通知。
查看文章评论/提问
Joe
你好,想问一下export .... 这样的执行方式是在哪里执行呢? (初学者)
你可能还喜欢
初探 Metasploit 漏洞框架
肖志华
使用 Mpvue 开发微信小程序的最佳实践
美团点评技术团队
Java 优化方案:设计模式
Array老师
普通程序员如何快速提升自己
王俊生
使用 Python 全栈打造淘宝客微信机器人
州的先生
大厂面试官亲述:0~3年移动研发工程师必备技能
richardcao
微信扫描登录