HADOOP IN NETEASE
网易公司历经了20年的发展,各业务线沉淀了丰富的数据。大数据平台在满足各业务线数据存储,计算的任务,同时承担着整合集团数据,为客户提供全方位的大数据服务。
在满足业务需求的过程中,对hadoop各组件进行了定制优化(如分时调度,权限控制,元数据管理,spark多租户,spark高可用,流计算相关)。同时,围绕大数据底层技术平台也孵化出了猛犸大数据开发台,网易有数敏捷数据分析平台等产品。
本次演讲主要分享网易如何利用Hadoop平台支持云音乐,考拉,金融,严选等业务,同时也会分享一下,结合网易的业务场景,在hadoop平台构建和使用过程中的优化和经验,最后会介绍一下,网易在hadoop平台持续投入的技术路线规划(本文PPT下载:http://hadoopsummit.cn/archives/session/hadoop-in-netease)