如何用 Spark 深度集成 Tensorflow 实现文本分类

作者/分享人:祝威廉
向 Ta 提问
资深大数据架构师,10年研发,6年大数据/AI相关经验。现致力于大数据和机器学习在医疗领域的应用。工作期间曾使用流式处理架构处理日均千亿级别的日志,擅长Spark/ElasticSearch/Tensorflow等相关技术。 希望大家多多关注我的开源项目以及博客: 个人博客参看: http://www.jianshu.com/u/59d5607f1400 开源项目参看:https://github.com/allwefantasy?tab=repositories

这篇文章会分成以下 7 个部分:

  1. 开发环境准备
  2. PySpark 基础:基于 Dataframe 的 wordcount 实现
  3. PySpark MLlib 基础-自动化特征工程
  4. Tensorflow 基础:Tensorflow 的编码套路
  5. 深度学习与 NLP 基础:如何用深度学习完成 NLP 相关工作
  6. Spark 和 Tensorflow 整合:如何深度集成 Spark 和 Tensorflow
  7. 一个完整应用案例 :利用卷积网络做文本分类

通过本场 Chat,读者可以入门 PySpark, Spark MLlib, Tensorflow 的使用,以及深度学习和 NLP 的结合。对于架构师,还能学习到如何实现 Spark 和 Tensorflow 的互通,形成完整的 Pipeline。 这篇文章也是我前一段时间的工作总结,我 fork 了 databricks 公司的一个项目并且做了增强(点击查看)。

已有399人预订
预订达标
文章出炉
     
17.12.19
01月02日
本场 Chat 文章已出炉,购买后即可阅读文章并获得一张祝威廉的读者圈Pass
请务必添加GitChat服务号以查看活动进度及获取活动通知。
查看文章评论/提问
Joe
你好,想问一下export .... 这样的执行方式是在哪里执行呢? (初学者)
Joe: emmm 不用了,是我弱智了
你可能还喜欢
Spring Cloud Consul 从入门到精通
如梦技术 dreamlu
ACT 敏捷教练培养体系
Chat 三人行
Spring 注解是如何实现的
飞翔
程序员的自我进化:学习之道,如何更有效的学习
Soyoger
高并发、高性能 Web 架构解决方案
Array老师
Spring Data JPA 晋级提升篇:复杂场景实战用法与优化
张振华
微信扫描登录