graphite无量级数据接入的改造实现
新浪微博业务监控资深工程师
关注领域:graphite,opentsdb,实时计算,业务监控&业务监控
十二年互联网开发与运维经验,目前任职微博业务监控平台,负责业务监控平台的基础架构,各组件的优化,中间件的优化工作,主导业务监控平台各阶段的技术选型与架构调整。担任核心组件的代码开发。在构建高并发,海量数据,高可用的互联网在线技术领域有丰富的实践经验。graphite开源项目的研究者与维护者。
Topic:graphite无量级数据接入的改造实现
Abstract:为了适应特殊情况下的业务突发增长需求,往往需要在高峰期对服务器进行急速扩容,这就造成对业务监控平台极大的冲击。如何满足这些变化复杂的监控需求,业界没有现成的解决方案。因此为了适应各部门不同的监控工具、人员对于业务监控不同认知,快速形成标准,提升跨部门协作的效率,选择对graphite、Opentsdb进行修改,使它胜任新浪微博这样的亿级用户平台,日计算量上万亿,后台服务器上万规模,实现监控的指标达3000万+个。
PPT下载:event.chinahadoop.com/download.php?r_id=1&t=ppt&f=19-pm-94-sunquanjun.pdf
音频下载:event.chinahadoop.com/download.php?r_id=1&t=audio&f=19-pm-94-sunquanjun.mp3
中国Hadoop大数据峰会2016上海站现已启动,议题征集中。
征集但不限于下列内容:
大数据生态系统 大数据安全;存储;YARN;HDFS命名空间等;
大数据与工业4.0 电力、电网、能源、炼钢等;
大数据与电子商务 国内互联网主流电商企业应用与架构分享
金融大数据 银行、证券、个人征信、企业征信、量化投资与大数据
智慧城市与大数据 交通、医疗、安防、税务工商、旅游等
计算引擎与实时计算 Spark、Tez、Impala、Flink、Google Mesa、Storm、Fafka等
大数据即服务 Azure、AWS、阿里云、Docker/Container、Mesos等
NewSQL/NoSQL HBase/Druid;MongoDB/CouchDB;VoltDB;SequaioDB;Hana等
数据挖掘与图计算 R语言、GraphLab、GraphX、OrientDB等
数据仓库与可视化 EBay Kylin、LinkedIn Cubert、QlikView、Tableaue等
大数据创业与融投资 分享大数据领域的创业团队和故事