Apache Kylin v1.0 发布,分布式分析引擎
Apache Kylin 团队非常高兴宣布Apache Kylin v1.0 (incubating) 正式发布。Apache Kylin是一个分布式分析引擎,在Hadoop之上提供SQL接口及OLAP在线多维分析以支持超大规模数据集。
该版本带来了更加稳定,可靠及更好管理的版本,解决了诸多Bug,增强及新功能等47个任务。
主要变化
Kylin核心增强
-
支持动态数据模型,在特定条件下对新增/删除字段的数据模型不需要从头构建
-
升级Apache Calcite至1.3以修复多个Bug及支持新的SQL函数等
-
增强了清理任务以确保Cube构建成功后在本地操作系统,HDFS/HBase等不遗留垃圾文件等
-
添加配置项允许讲Hive中间表输出到指定数据库
-
增强HBase Corprocessor 以提升查询性能
-
Kylin 系统仪表盘(Beta)以展现使用情况,存储及性能等指标
主要的Bug修复
-
不能获取原始记录值,特别是使用非HDP的Hadoop版本
-
前端缓存未及时刷新
-
不再使用的Hive中间表会在Cube构建完成后自动删除
-
支持大Lookup表
-
JDBC驱动,ODBC驱动及UI等Bug修复
Zeppelin 整合
Apache Zeppelin是一个类似Spark Notebook的基于web的交互式数据分析工具,Apache Kylin 团队为Zeppelin贡献了Kylin Interpreter以让Zeppelin用户能够在Notebook中与Kylin以标准SQL的方式进行交互式查询。目前已经由Zeppelin社区合并至其主代码中,有兴趣的同学可以去Zeppelin网站下载来试用。
升级
我们推荐从v0.7.x甚至更早的版本升级到该版本,以获得更好的性能,稳定性及更干净的版本(大部分中间文件将被自动回收),并且与社区保持同步以获得最新的功能及支持。
升级过程如有任何问题或疑问,请发送邮件至Apache Kylin邮件列表:dev@kylin.incubator.apache.org
感谢
本次版本发布中,除了来自eBay的核心开发团队外,更有来自美团,明略数据,广东移动等多位小伙伴的大力支持,并贡献了多个Patch及新功能。其中来自美团的高大月和明略数据的黄桦已经成为Apache Kylin committer。
感谢每一位为Apache Kylin社区贡献的朋友。
微信名:
HadoopSummit
微信ID:
hadoopinchina
中国Hadoop技术峰会是亚太地区举办最早、规模最大、影响力最广阔的大数据盛会。
Chinahadoop.com是China Hadoop Summit的内容网站。
HadoopSummit是Chinahadoop.com的微信发布平台。