TranswarpStreamSQL:A SQL/PLSQL Stream engine on Spark

杨俊

星环信息科技 架构师

曾任职于摩根士丹利，从事风险计算的分布式系统开发工作，拥有多年的分布式系统开发经验，在Reactive、分布式框架、系统调优等方面有普遍兴趣。在星环期间，设计与实现了国内外第一个基于Spark的SQL/PLSQL流处理引擎，TranswarpStreamSQL。

主题：TranswarpStreamSQL:A SQL/PLSQL Stream engine on Spark

摘要：随着Spark streaming、Storm等流处理框架的普及应用，流处理应用范围越来越广，然而流处理编程入门门槛太高，且原有的业务很多由SQL/PLSQL编写，迁移工作难度巨大，同时需要专业的Hadoop和Spark专家分析解决运行过程中出现的问题。

TranswarpStreamSQL就是在这样的背景下产生，它试图帮助用户们更简单地使用流处理、更方便地迁移现有业务，同时保证业务24×7的稳定运行。TranswarpStreamSQL完美兼容SQL 2003标准、Oracle PLSQL和DB2 PLSQL，是第一个通过TPC-DS和TPC-H测试的流处理引擎。用户只需要修改少量语法，就能将复杂的现有业务无缝迁移。此外，它还能保证Exactly Once语义、支持Adhoc查询、多用户隔离、dblink、按数据时间切分和聚合等，全方位满足用户需求。

PPT下载：event.chinahadoop.com/download.php?r_id=1&t=ppt&f=19-pm-83-yangjun.pdf

中国Hadoop大数据峰会2016上海站现已启动，议题征集中。

征集但不限于下列内容：
大数据生态系统 大数据安全；存储；YARN；HDFS命名空间等；
大数据与工业4.0 电力、电网、能源、炼钢等；
大数据与电子商务 国内互联网主流电商企业应用与架构分享
金融大数据 银行、证券、个人征信、企业征信、量化投资与大数据
智慧城市与大数据 交通、医疗、安防、税务工商、旅游等
计算引擎与实时计算 Spark、Tez、Impala、Flink、Google Mesa、Storm、Fafka等
大数据即服务 Azure、AWS、阿里云、Docker/Container、Mesos等
NewSQL/NoSQL HBase/Druid;MongoDB/CouchDB;VoltDB;SequaioDB;Hana等
数据挖掘与图计算 R语言、GraphLab、GraphX、OrientDB等
数据仓库与可视化 EBay Kylin、LinkedIn Cubert、QlikView、Tableaue等
大数据创业与融投资 分享大数据领域的创业团队和故事