人人都在说大数据，数据到底能干什么？
5年前我加入Airbnb成为了一名数据科学家。那个时候，只有很少的人知道这家公司，而整个公司只有7个人。
把我招进来是我们创始人特别具有前瞻性的行为，大数据的热潮决定了数据是有竞争优势的，但这一般是公司到成熟期才会重视的部分。当时Airbnb希望可以快速发展，而我被这个公司的文化所吸引，即使那时候只有很少的数据，我也开始承担起数据相关工作。
硅谷的早期创业公司有着浪漫的特质：行动迅速、只做出基础决策，任何好的想法都有可能成功，我非常认同这些。
回到那时候，当我们对商业上开创性的业务还知之甚少的时候，数据基础设施的建设是快速稳定实施的。公司这么小，每个人都是一个决策循环。数据团队，也就是我，可以有自己的衡量标准和方法。
但当5年后Airbnb达到43000%的增长之后，事情变的有点复杂。我们利用数据的方式更加复杂，而且现在数据成倍增长。所以我认为是时候写下这篇文章，回顾我们的数据团队是如何伴随着公司的成长。
围绕如何连接数据科学与其他业务功能，我把它分为三个概念：我们如何定义数据科学，如何用它来做商业决策，以及如何通过它扩展到Airbnb的各方面。我不敢说我们的解决方案都完美的，但我们对每天的工作都保持兴奋。
数据不是数字，而是用户
数据科学团队建立的基础是数据在组织中的文化和观念，所以定义我们如何看待数据的先决条件就是数据在商业中的功能。
过去数据被认为是冰冷的数字，纯粹被看做是一个测量工具，根据要求提供统计数字。因此我们往往会被要求提供一些事实数据，例如：我们在巴黎有多少房源？在意大利排名前10的目的地是哪里？
回答这些问题和测量效果肯定是工作的一部分，但是在Airbnb有更加人性化的数据特征，这就是我们用户的声音。在网站上一个动作或者事件的记录，在大多数情况下反映了一个人做出的决定，如果你能找出做出这个决定之前用户的行为，这是用户在用间接的方式告诉你他们喜欢什么，不喜欢什么。
这种反馈可以帮助我们做社区发展的决策、产品开发以及资源的调配，但是前提是你要能够破译它。因此数据科学是一种解释，我们必须把用户的声音转换成更适合决策的语言。
在Airbnb，倾听客人和主人的声音是我们的企业文化。早期的时候我们团队去拜访社区成员，了解如何让我们的产品更好地满足他们的需求，现在依然是这样，只是用户规模不断扩大，我们和大家的链接无处不在。
所以数据成为我们的盟友。我们用统计数据来了解个人的经验，汇总这些经验，以确定整个社会的发展趋势，这些趋势告知我们该从哪来来驱动业务决策。随着时间的推移，我们其他部门的同事们认识到，数据团队代表的是所有用户的声音，这让数据科学在Airbnb的结构中占据重要的地位。
良好的伙伴关系与统计数据收集
一个好的数据科学家能发现谁在使用我们的产品，了解他们的需求。但是如果他们独自在森林里没有人来发现他们的洞察力，那他又有什么施展空间呢？
当一个决策者并不懂数据的作用时，他们就不会参与，当他们不参与时，数据的价值就会损失。我们希望的解决方案是链接数据科学家和决策者，在Airbnb跨职能协作是很正常的，关于在公司中数据科学团队的架构是集中式还是嵌入式的，已经有很多争论。
我们开始是集中式的，团队中提供互相学习的机会，保持一致的工作指标。但是我们在商业决策中发现我们数据团队不能孤立起来，因为其他同事不明白如何和我们互动，其他人对我们没有完全的理解。随着时间的推移，我们被看成一种资源，被要求提供数据，而没有能够主动思考未来的机会。
所以我们决定用嵌入式的安排，我们仍然遵循集中的管理，但是我们打破了自己的小组，让数据团队的伙伴更直接同工程师、设计师、产品经理、营销人员等等沟通。
这样做增加了整个公司的数据利用率，也使数据科学家成为积极的合作伙伴，嵌入式的安排让我们成为一个核心可以帮助公司各方面互相学习。
决策由用户需求驱动
在一个团队中，需要解决的问题之一就是如何利用用户的声音来进行业务决策。通过与公司各方面合作，我们已经听到如何将数据整合到一个项目中的一些观点。有些人希望首先了解他们面临的问题，另一些人会先浏览数据然后进行规划，但这些人往往更侧重于用直觉驱动决策营销。
这两者观点都是ok的，但是在一个项目的生命周期中，数据在不同的阶段有着不同的作用。
我们确定了决策过程的四个阶段中，数据会在其中有什么影响：
首先了解问题的背景，建立一个完整的计划简介。这更多是一个探索性的过程。
简要理解计划，包括区分主次以及假设我们可以达到的结果。预测分析在这个阶段更为重要，当我们做出一个决定，是基于我们希望可以产生最大的影响。
计划进行中时，我们要做一个控制实验。A/B 测试是最常用的，但我们的业务在各方面的合作可以让我们有更多的实验机会，以市场为基础的测试以及传统的网络环境的测试。
最后我们测量实验的结果，确定结果的影响。如果成功，我们就从社区中推广出去，如果不成功我们就回到最初来重复这个过程。
有时候这个过程是简单的，但是更多时候我们需要挨个步骤来论证，确保这个决策对Airbnb的每一个用户都是有效的。最终我们将用这种方式来解决用户的需求。
民主化的数据科学
当一个数据科学家可以有足够精力和他人沟通时，可以产生一个良好的循环，但现实是一个公司的规模和速度将超过数据团队的成长速度。这在2011年尤为明显，因为Airbnb开始快速发展，年初我们还是一个在旧金山的小公司，我们三个数据科学家就可以有效地和大家合作，但是6个月之后我们开了10多个国际办事处，同时扩大了产品、营销和客户支持团队。
突然我们和每一位员工直接沟通的能力就消失了。正如它无法满足社区的每一个新成员，它是现在也不可能满足与每一位员工的工作，我们需要找到一种方式民主化工作扩大我们同其他同事甚至是整个社区的联系。
这里有一些的例子，我们是如何走近每一层的规模：
1、个人互动：这对于数据科学家快速的行动非常有效。在数据基础设施上的投资是重要的，这可以保证有更快更可靠的技术来传输数据。
2、授权团队：把报告和基本数据探索从数据科学家的工作中剥离开，让他们可以集中于更有效的工作，例如利用仪表板等工具。我们还开发了一个强大的和直观的数据仓库工具，来帮助人们查询作者。
3、除了个人的团队，我们更多思考数据文化在公司整体中的作用：我们告诉员工我们是如何思考Airbnb的生态系统，如何使用工具，（如Airpal），消除数据的壁垒，激发他们的好奇心，告诉他们每个人如何可以更好地利用数据。类似的行为有助于改变他们把统计当做是临时请求的思想，可以解放我们。
4、扩展数据团队：扩展数据科学团队并不容易，但这是可能的。特别是如果每个人都认为这不仅仅是必须的，而是一个公司的重要组成部分。
五年来，我们已经学到了很多东西：改善了如何利用我们收集的数据，如何与决策者互动，以及我们如何在公司进行民主化。但到什么程度了这些工作才算是成功的呢？
测量一个数据科学团队的影响是困难的，但一个信号是，现在大家一致认为数据需要由技术和非技术人员一起决定。我们的团队成员在决策过程中被视为合作伙伴，而不仅仅是统计采集。
另一个原因是，我们越来越有能力提炼我们工作的因果影响。这一直是比较棘手的，因为发现生活中的生态系统是复杂的，有多种因素的影响，例如网络效应，季节性强，交易频繁，但这些挑战，使工作更加精彩。在过去的几年中，我觉得我们仍然只是皮毛，还有巨大的潜力。
我们正处在一个爆发点，我们的基础设施稳定，工具有效，而且数据仓库干净可靠，我们已经准备好去解决那些令人兴奋的新问题。目前我们期待着从批量实时处理，到开发一种更强大的异常检测系统，加深我们对网络效应的理解，并提高我们个性化的匹配。
但是，这些想法仅仅是个开始。数据是客户对我们的期望和声音，而无论我们以后做什么，都将由这些声音驱动。
【文/Riley Newman，本文由数据客翻译】
– 本文出自BI168大数据社区，更多精彩请点击 原文地址：http://www.bi168.cn/>>http://www.bi168.cn/thread-9712-1-1.html
微信名：
HadoopSummit
微信ID：
hadoopinchina
中国Hadoop技术峰会是亚太地区举办最早、规模最大、影响力最广阔的大数据盛会。
Chinahadoop.com是China Hadoop Summit的内容网站。
HadoopSummit是Chinahadoop.com的微信发布平台。
