Apache Kylin 最新的 Streaming OLAP 实现

作者/分享人:Apache Kylin课堂
分享Apache Kylin及富有创新实验性的Streaming Cubing功能的演进过程,分析期间遇到的问题与挑战,总结其背后的经验教训,帮助用户了解为何能通过Apache Kylin在超大规模数据集分析中获得超高性能,解决大数据量多用户高并发挑战。在这里我们只想向对技术有极致追求的你分享最真实、最前沿的经验。

Apache Kylin是中国首个Apache顶级开源项目,它在万亿数据规模下可实现秒级实时计算。在传统Hadoop平台愈发难以满足快速实时交互分析需求的今天,Apache Kylin开始受到了越来越多的关注。

本场Chat将由韩卿解密在Apache Kylin V1.5版本Streaming Cubing功能实验性的尝试中所遇到的挑战与收获以及在V1.6版本中新Streaming Cubing功能的改进,揭示其是怎样结合创新性的Plugin架构以及Kafka来完成实现的,通过Twitter消息分析场景来解析这些改进所带来的好处,并总结未来将如何做进一步完善。


作者简介:韩卿 (Luke Han) ,Kyligence Inc联合创始人兼CEO,Apache Kylin联合创建者及项目委员会主席,首个来自国内的Apache软件基金会顶级项目副总裁、微软MVP,负责Kylin的战略规划,发展路线图及产品设计等,并致力于发展Apache Kylin全球社区,构建生态系统及推广工作。曾担任eBay全球分析基础架构部大数据产品负责人、Actuate中国首席顾问、卓越动力华东区技术总监等职,在大数据,数据仓库,商业智能,可视化情报分析等领域拥有丰富的经验。

已有111人预订
预订达标
文章出炉
交流日期
     
17.03.31
17.04.14
17.04.21 20:00
查看文章评论/提问
stephen
最近公司正在尝试搭建大数据平台,对各种解决方案正在了解,非常荣幸可以和kylin作者交流。文章内容对于认识了解kylin有很大帮助,同时也对深入研究kylin有很大指导性作用。
me~阳
请教下以下问题: 1、kylin的数据源不管是hive还是kafka streaming,每次源数据更新只能手动或者脚本build吗,能不能自动build达到实时的效果。 2、当在同一个project下对同一个表建立cube时,查询的时候能否指定cube 3、建立15个左右纬度时,也优化了纬度,为何进行第四步建立htable时容易出错呢 4、streaming里的数据是不是只能插入不能更新
joseph.herder💭
有saaa版本吗
Jxy
之前对kylin有个初步了解,挺强大的,后面有时间了去动手学习操作下。之前接触过传统的一些搭建cube软件,问几个问题。 1.像一些财务指标分析,比如同期、上期、同比等指标,在kylin里面有这些类似的计算公式吗?还是说要用类似写sql的方式去实现。 2.kylin支持回写数据吗?比如在界面上提交数据,能够直接反映到cube里。 3.上面提到kylin的计算是基于mapreduce或者spark任务的,那就是说计算效率就等于mapreduce的效率,对于效率调优也是基于hadoop/spark的? 谢谢!
kylin有没有相关的培训课,想快速入门那种
薛飞
能讲讲增量构建的原理吗?
陈业明
想请教下开源软件商业化的问题。 我个人有github上7000多stars的项目,应该也算是用户挺多的项目了。目前看开源项目的商业化要么是像kylin一样做企业服务,要么类似于gitlab这样saas平台。不知道其他方面的商业化思路可否借鉴?谢谢。
William ^O^ 怀远
请教以下几个问题: 1.在较小的数据规模下(千万级别或百万级别),相比其他sql on hadoop引擎,kylin是否适用,是否仍具备较强的性能优势? 2.在维度较多的情况下,会不会因为数据量大而造成cube的,大小会膨胀得非常大,构建时间增长。
薛飞
kylin后续的开源版本,是否有吧元数据放在关系数据库的打算
花花
存在查看cube明细数据的场景有什么建议的解决办法。
薛飞: 开原版计划在哪个版本引进alluxio ,其引入是否能实现hbase中的cube结果表和hive中的表多表关联功能。
Ray
不错👍
你可能还喜欢
聊聊 CSS 中的布局模式
大漠_w3cplus.com
Spring Boot 2.0 的快速入门(图文教程)
泥瓦匠 @ bysocket.com
浅谈如何开一场 Chat
白宦成
如何在网上下载自己需要的资源
曹某某
GitChat 被恶意攻击引发的技术性思考:拒绝服务攻击
肖志华
利用开源代码和读相关论文来提高写代码能力
李峰
微信扫描登录