张首晟:大数据时代感受人文和科技的跨界之美
作者:张首晟,斯坦福大学物理系教授
纽约时间2014年11月3日,富兰克林奖委员会决定将本年度富兰克林物理奖授予美籍华人物理学家、斯坦福大学教授张首晟,奖励他在拓扑绝缘体研究领域的开创性贡献。
从小我就酷爱读历史,那些可歌可泣的故事深深地打动着我的心灵。历史似乎就是一盘棋,命运时时在那些伟人的掌控之中。然而,我也经常会问一些可笑的问题,例如:当年如果荆轲刺秦王成功,中国的历史将会如何演化?如果布鲁图刺杀恺撒大帝失败,欧洲的历史又会怎样?如果普鲁士军队来到拿破仑与惠灵顿打得不可开交的滑铁卢战场时迟了两小时,世界又将转向哪个方向?如果,如果……人类的历史好像就被那些偶然的因素牵着走。
学习物理把我带进了另一个世界。牛顿方程下的宇宙,就像一个瑞士手表,每分每秒都在精密地运转。小到树上的苹果,大到太阳系的行星,用一个简单而优美的万有引力定律就能描述。这两个截然不同的世界都神秘地吸引了我,但是物理世界的必然与历史世界的偶然却让我困惑不已。
当我深入学习了统计物理学之后,才开始慢慢看到两者的相似之处。牛顿方程之所以能精密描述行星的运动,是因为这是个简单体系,仅有少量的几个自由度。当我们观察气体中的分子和液体中的小颗粒时,它们的运动是杂乱无章的,似乎也被偶然的因素所左右。而统计物理学把这些杂乱无章的个体运动放到整个系统行为的高度来看,于是,那些偶然的因素在统计平均中消失了,人们由此提炼出能量守恒与熵增的普适规律,让偶然走向了必然。爱因斯坦曾经说过,在未来的知识领域,牛顿力学、相对论以及量子力学都会被修正,而统计力学的定律却是永恒的。
所以我要问,能否用同样的眼光来看待历史呢?历史的浩瀚章节、戏剧式的人物故事,尽管偶然,就像液体中的小颗粒一样难以预测,但当我们把时空尺度渐渐放大,这些偶然因素是否会在大数平均下相互抵消而消失,从而提炼出真理呢?
正当我在深思这些问题的时候,受到好友吴军的邀请,拜读他的大作《文明之光》,并为这套书作序。我在欣喜中一口气把他刚完成的两册书稿读完,深受启发。吴军的著作帮助我从噪声中寻找到了信号。
我们读历史时往往会问,在这之前发生了什么?历史的起源,是有人类以来最常问到的深刻问题,不同的民族、不同的宗教、不同的文化都有自己的“创世纪”传说。人类文明绵延数千年,直到我们这一代,才真正了解了时间的原点。今天,我们知道,宇宙是在大爆炸中产生的,宇宙的年龄为137.98±0.37亿年,地球的年龄约为45.4亿年,恐龙是在6500万年前消失的,现代智人的年龄约为20万年,人类有文字的历史约为5500年。正如吴军在《文明之光》引子中所提,若将地球的年龄缩短成一年,则人类仅在最后的半小时才出现。所以,我们要读懂人类文明史,更需要从宇宙形成的原点出发,用大历史的眼光来看待一切。在大历史的尺度下,更能在统计平均的意义下去掉那些偶然因素,留下宇宙演化与文明进步的真理。
人类是由原子和分子组成的奇妙物种,我们要找到普适于宇宙与人类的第一性原理,必须从最基本的概念出发,那就是能量、信息与时空。它们的结合,产生了能量密度与信息密度的概念。(值得注意的一点是,物理学家引进了熵的概念,后来发现熵的统计意义就是信息,两者是等价的。)
宇宙大爆炸后,刚开始,宇宙中充满了基本均匀的微小尘埃,随着时间的推移,尘埃的密度也开始发生涨落,有些密度比较高的地方,通过万有引力的作用,把别处尘埃逐渐吸引过来,尘埃间的距离会变得非常近,能量和质量的密度也会大大提高,超过临界值之后,有一种新的力会起更大的作用,即强相互作用力,它使得原子核在碰撞时产生核聚变反应,聚变反应成为新能量的来源。通过这个机制,形成了恒星和星系,从此恒星点燃了宇宙之光。
相似地,人类刚刚起源的时候,分散在地球表面,通过狩猎和采集维持生存,此时人类的能源更多来自于狩猎获取的动物。由于动物资源有限,所以人口密度不会达到临界状态。直到一万年前,人类发明了农业,开始了耕种,农作物通过光合作用带来能量,维持人类的生存,可以说人类利用了一个新的能源,即太阳能。这一新能源导致能量密度极大提高,也造成人口密度的极大提高,形成了村庄。能量密度的提高,为人们更紧密的信息交流提供了机会和条件,进而产生了语言和文字,从此点燃了文明之光。
由此可见,整个宇宙复杂性(Complexity)的产生,无论是恒星的产生,还是人类文明的产生,都需要能量密度达到一定高度。
我也在思考,我们经常提到文明,那么什么是文明?文明的定义是什么?生物世界通常只有一种传播信息的办法,就是通过基因。而人类创造了一个平行于基因的信息体系,就是通过语言和文字,代代相传,称之为文明。所以我将文明简单定义为:平行于生物基因,可以代代相传的一个信息系统。在《文明之光》这套书中,很多章节都提到了新能源的发现,人类每次新能源的革命,例如蒸汽机、电力和核能的发明,都为人类文明带来巨大的变革。
经典的史书,常常是对帝王战争的记述占据了绝大的篇幅。在战争中,秦始皇、亚历山大大帝、恺撒大帝们得到了个人至高的荣耀,却带给百姓兵荒马乱、妻离子散的残酷悲剧。而在人类的文明史中,战争又占有什么样的地位呢?在我看来,战争最大的遗产是颠覆性地打开了信息交流的新渠道。
亚历山大大帝戎马一生,英名盖世,征服了当时他所知的世界,但他英年早逝,还没等建立起自己的王朝,他的帝国就崩溃了。他给人类文明留下了什么呢?是一个图书馆!亚历山大大帝有两位老师,一位是他的父亲,教他用武力征服世界;另一位则是亚里士多德,教他汲取世界知识。《文明之光》中提到,在亚里士多德的影响下,亚历山大始终对科学十分热心,对知识十分尊重,并提供人力和财力支持,使得古希腊文明广泛传播。当他征服埃及之后,建立了港口城市—亚历山大城。亚历山大在世的终极目标是征服一切已知的世界,而他建立的图书馆的目标是收藏人类一切的书籍与知识。当时每艘船进入亚历山大港口,都要被搜查,若找到一本图书馆里没有的书,就会被“充公”一年,等图书馆工作人员抄写完毕,重赏后才物归原主。这样年复一年,亚历山大图书馆便收集了当时人类几乎所有的书籍,声名远扬,成了古代信息密度最高的地方,也吸引了古代最杰出的学者。信息密度超过了临界值,加上杰出学者的智慧,导致了一场古代社会的“知识大爆炸”。图书馆馆长埃拉托斯特尼(前276—前193)在一本书上读到,埃及西厄这个地方在夏至那天的正午,立竿而不见影。于是他想出了一个奇妙的办法,通过亚历山大城的竿影便能测出整个地球的周长。当时人类对数学已有了许多碎片化的知识,但是没有一个完整系统。欧几里得在亚历山大图书馆里阅读万卷书之后,写出了千古奇书《几何原本》,用公理化的体系,不但奠定了整个几何学的基础,也制定了整个科学研究的方法。在《文明之光》中还提到大科学家阿基米德与托勒密都曾在亚历山大图书馆里学习与工作,他们分别奠定了物理学与天文学的基础。
亚历山大大帝通过战争打通了古代世界,促进了交流,而亚历山大图书馆则空前地汇聚了人类的知识与处理人类知识的大学者,达到了信息与信息处理的超高密度,创造了古代世界知识大爆炸的奇迹。由此看来,使亚历山大大帝流芳千古的,并不是他在战场上的丰功伟绩,而是他留下的这个图书馆。
恺撒大帝被视为古罗马帝国的无冕之皇,现在人们每次提起他,大多讲的是他在战场上的丰功伟绩、与埃及艳后的浪漫史,以及他最后被自己钟爱的养子布鲁图刺杀。但我更想知道,他对人类文明起了什么作用?作为古罗马帝国的缔造者,恺撒大帝为了征服别的民族和国家,开始修建罗马大道。西方古语有云:条条大路通罗马,可以想见罗马大道的规模。罗马大道修建时是为了军事目的,用于运输军队和军事供给。道路的延伸带来了罗马版图和权力的扩张,加强了罗马帝国对被征服地区的统治。渐渐地,这个军事网络逐渐发展为金融、文明交流网络,起到了原先修建罗马大道时意想不到的作用。经济上,罗马大道使得罗马帝国征税非常方便,并极大地促进了商业的发展。文化上,罗马大道促进了非罗马地区的文明化进程,使得罗马的政治制度、法律制度、经济模式、生活方式等得到了广泛普及。但出人意料的一个例子是基督教的传播。基督教起源于犹太国,犹太国当时是一个很小的国家,根本无法与罗马帝国在世界上的地位相提并论,耶稣基督和他的十二门徒就是来自这个小国。通过罗马大道,门徒们非常有效地传播了他们的宗教信仰。从古罗马皇帝尼罗(37—6.)迫害基督教徒,到君士坦丁大帝(272—337)把基督教定为古罗马国教,只有短短不到300年时间。最终,古罗马帝国逐渐衰亡,基督教却流传下来,深刻影响了世界文明。基督教从一个小小犹太国的信仰,发展为现在世界的三大宗教之一,可以说是人类网络效应的第一个传奇。
令人叹息的是,在亚历山大大帝大修图书馆的年代,秦始皇却下令焚书坑儒,春秋战国百家争鸣的盛况成为历史绝唱;在恺撒大帝扩修罗马大道的年代,秦始皇修建了万里长城,在抵抗外敌入侵的同时,却也禁锢了文化的传播。
公元76年,西罗马帝国没落,欧洲进入了黑暗的中世纪,古希腊、古罗马光辉的文明在当时的欧洲几乎完全被遗忘。出于宗教狂热,罗马教皇乌尔班二世下令进行十字军东征,要从穆斯林教徒手中重新夺回耶路撒冷。十字军东征总体上是失败的,使东西方各国生灵涂炭,但很多人不知道的是,十字军东征也在无意中搭建了西方世界与穆斯林文化的桥梁,并对欧洲文化产生了长远的影响。当时阿拉伯世界的文明发展远远超过了欧洲,阿拉伯的化学、天文、数字等知识便被带回了欧洲,尤其重要的是,阿拉伯保存了古希腊古罗马的文明,十字军东征把这些起源于欧洲、但又在欧洲丢失了的文明,重新带回了家乡,最终导致了西方文艺复兴的革命。十字军东征带回的书籍中就包括古希腊天文学家托勒密的著作,他的思想通过阿拉伯学者之手重为欧洲所知。文艺复兴所要恢复的,便是古希腊古罗马的光辉,这个光辉通过阿拉伯世界保留并传播过来的,是十字军东征无意中打开了这道文化大门。
战争有时会带来意外的效果,会颠覆性地打通文明交流的新渠道,而技术的发展带来了航海、铁路、飞机与网络,相当于缩短了地球的周长,推动了文明的交流,有效增加了信息的密度。这些都是物理层次的渠道,然而还有更神奇的渠道,能促进人类不同知识领域之间的交流。欧几里得的《几何原本》,奠定了几何学的基础,它本是数学领域的大作,然而,这里面还有来自于数学却高于数学的思想方式,可以广泛地应用到整个人类的知识领域。丰富多彩的几何学,根基于五条不言自明的公理,每条几何定理都可以从这五条公理推导出来。希腊人的几何学被罗马人加以应用。今天我们来到罗马的万神殿,处处可以看出这座千年前的建筑是几何学的奇迹。当我们仰望万神殿的天窗时,似乎可以看到欧几里得在天堂的笑容。这是几何学在工程学上的直接应用,比较容易理解。但罗马人不仅把欧几里得几何学应用于建筑,更把几何公理的思想应用于法律,引入了自然法的概念。法律既然要让万民遵守,就必须建筑在几条简单且人人都认为不言而喻的自然法上。法律保护个人财物,视为神圣而不可侵犯。罗马法是在当年历史条件下创建的最理性的法典。法律对个人财产的保护,使每个罗马公民都发愤图强,使得罗马繁荣昌盛。一千多年之后,欧几里得的思想主导着美国建国的独立宣言,把人人平等的思想,提为不言而喻的建国公理。林肯总统为了解放黑奴,提出了宪法第十三条修正案,就在议会争论最为激烈的时候,他手中时时紧握着欧几里得的《几何原本》。几何五大公理之一,说所有直角都是相等的,更使林肯总统深信人人平等才是建国最核心的基础。古代罗马的强大,今日美国的繁荣,是因为那些建国元勋,真正接受了来自于欧几里得的灵感,理解并提炼了科学的精神,活学活用,悟出了治国之道。由此可见,人类文明跨领域的交流可以创造新的奇迹。
回顾大历史,我们发现,文明的主线是能量与信息。帝王将相、英雄豪杰不过是为能量与信息的交流铺路,有效提高了信息的密度。用这样的眼光看待大历史与人类文明,我们能对未来有何展望呢?在人类历史的滚滚长河中,我们这代人可以说是历史的幸运儿。前面提到,我们这代人,首次找到了时间的原点、历史的起点,这是人类文明史上独一无二的。而更重要的是,我们迎来了信息大爆炸的网络时代,整个人类的知识,只要轻轻一点鼠标,就立刻呈现在我们的眼前。然而,今天不论是个人的发展,还是研究领域的推进,都越深越窄,看到的只是树而不是林。很少有人能像文艺复兴时代的大师达·芬奇一样,一个人的脑袋里能装进当时整个人类的知识精华,包括艺术、医学、工程、科学等,从而爆发出惊人的创意。当先人把来自于科学的公理思想用于法律的精神与治国之道,带来了罗马的强大与美国的繁荣。在今天的世界,用铁路与航海在地理上建立联络已不是那么重要,建立知识的桥梁,连接不同知识领域的孤岛,才是推进文明的动力。知识跨领域的连接能有效提高信息的密度,必然导致网络时代的文明大爆炸。本着这个意愿,邀请读者们看一位计算机科学家兼工程师写的文明故事,和一位物理学家写的序言,也许是在这个方向上迈出的小小一步。
摘自:《文明之光》序
微信名:
HadoopSummit
微信ID:
hadoopinchina
中国Hadoop技术峰会是亚太地区举办最早、规模最大、影响力最广阔的大数据盛会。
Chinahadoop.com是China Hadoop Summit的内容网站。
HadoopSummit是Chinahadoop.com的微信发布平台。