以内存为中心的大数据存储系统Alluxio的特性与案例介绍

顾荣

南京大学计算机科学与技术系博士生

Alluxio项目核心开发成员

Apache Spark contributor。作为国内早期的Alluxio开发者，顾荣在Alluxio发展历程的多个版本中做了很多功能稳定和性能增强方面的工作，此外还主要设计实现性能测试框架Alluxio-Perf和社区中文文档等。在与Spark结合方面，顾荣还设计实现完成了Spark 1.0版本中发布的支持RDD 存储到Alluxio的功能。顾荣目前已经发表或录用论文11篇（其中7篇第一作者），并且参与编写《深入理解大数据—卷1: 大数据处理与编程实践》、《实战Hadoop:开启通向云计算的捷径》等书籍中的部分章节。此外，顾荣曾在MicrosoftResearch、Intel、Baidu、星环科技（Transwarp）从事过大数据系统研发实习工作。
 

演讲主题：以内存为中心的大数据存储系统Alluxio的特性与案例介绍

摘要：

Alluxio（原名Tachyon）是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据。此外，Alluxio的以内存为中心的架构使得数据的访问速度能比现有常规方案快几个数量级。Alluxio是伯克利大数据分析软件栈（Berkeley Data AnalyticsStack）中的存储层软件, 也是 Fedora发行版的一部分。自今年2月24号发布了1.0版本的过去三年以来，已有超过50个组织机构的 200多贡献者参与到Alluxio项目的开发中。包括阿里巴巴, Alluxio, 百度, CMU，IBM，Intel,Red Hat， Yahoo , UC Berkeley和南京大学。在分享中，我将首先介绍Alluxio的发展演变历程以及1.0版本的特性和工作原理和。紧接着，我将介绍1-2个Alluxio在业界的使用案例。

音频下载：event.chinahadoop.com/download.php?r_id=1&t=audio&f=18-pm-31-gurong.mp3

中国Hadoop大数据峰会2016上海站现已启动，议题征集中。

征集但不限于下列内容：
大数据生态系统 大数据安全；存储；YARN；HDFS命名空间等；
大数据与工业4.0 电力、电网、能源、炼钢等；
大数据与电子商务 国内互联网主流电商企业应用与架构分享
金融大数据 银行、证券、个人征信、企业征信、量化投资与大数据
智慧城市与大数据 交通、医疗、安防、税务工商、旅游等
计算引擎与实时计算 Spark、Tez、Impala、Flink、Google Mesa、Storm、Fafka等
大数据即服务 Azure、AWS、阿里云、Docker/Container、Mesos等
NewSQL/NoSQL HBase/Druid;MongoDB/CouchDB;VoltDB;SequaioDB;Hana等
数据挖掘与图计算 R语言、GraphLab、GraphX、OrientDB等
数据仓库与可视化 EBay Kylin、LinkedIn Cubert、QlikView、Tableaue等
大数据创业与融投资 分享大数据领域的创业团队和故事