基于hadoop集群的人大经济论坛日志分析
曹正凤
北京大数据协会 理事
统计学博士,人大经济论坛大数据中心总工程师,人大经济论坛hadoop大数据分析师培训负责人,北京大数据协会理事,首发集团智慧交通大数据中心技术总监。致力于大数据分析前沿领域研究,主持人大经济论坛基于hadoop架构的论坛主题推荐系统项目,参与国家社科基金项目《基于大数据整合的空气质量测度方法研究》,发表多篇论文,且发表的EI核心收录论文受到多次检索。
议题:基于hadoop集群的人大经济论坛日志分析
议题简介:介绍日志分析的相关知识,以及人大经济论坛现在的日志管理现状,设计并实现适合人大经济论坛的基于hadoop架构的大数据日志分析系统,手动编写日志分析MapReduce程序,实现从零起步到hadoop架构,直到实际的大数据分析真实案例的飞跃。
音频下载:event.chinahadoop.com/download.php?r_id=1&t=audio&f=19-am-43-caozhengfeng.mp3
中国Hadoop大数据峰会2016上海站现已启动,议题征集中。
征集但不限于下列内容:
大数据生态系统 大数据安全;存储;YARN;HDFS命名空间等;
大数据与工业4.0 电力、电网、能源、炼钢等;
大数据与电子商务 国内互联网主流电商企业应用与架构分享
金融大数据 银行、证券、个人征信、企业征信、量化投资与大数据
智慧城市与大数据 交通、医疗、安防、税务工商、旅游等
计算引擎与实时计算 Spark、Tez、Impala、Flink、Google Mesa、Storm、Fafka等
大数据即服务 Azure、AWS、阿里云、Docker/Container、Mesos等
NewSQL/NoSQL HBase/Druid;MongoDB/CouchDB;VoltDB;SequaioDB;Hana等
数据挖掘与图计算 R语言、GraphLab、GraphX、OrientDB等
数据仓库与可视化 EBay Kylin、LinkedIn Cubert、QlikView、Tableaue等
大数据创业与融投资 分享大数据领域的创业团队和故事