鄂维南:机器学习是应用数学几十年未有之机遇
撰文 | 黄桢 林挺
2022年,四年一届的国际数学家大会将在圣彼得堡召开,北京大学数学科学学院鄂维南院士受邀作为大会的一小时报告人(plenary speaker)。
值得注意的是,全球仅21人有此殊荣,他也因此成为了中国大陆第3位ICM一小时报告人,这无疑是数学家职业生涯中极高的荣誉。关于本次报告,鄂维南表示核心内容会是机器学习,包括他与学生的一些研究成果乃至整个数学界对机器学习的关注焦点。
鄂维南,中国科学院院士,北京大学数学科学学院讲席教授,北京大数据研究院院长。主要研究方向包括机器学习、计算数学、应用数学,及其在化学、材料科学和流体力学中的应用。他在数学、流体力学、化学和材料科学等领域均有重要贡献。
自2014年起,鄂维南就走上了机器学习和科学计算相结合的道路,这在当时堪称“弄潮之举”。机器学习向来被视为计算机科学和统计学的疆土,此前鲜有应用数学领域的人涉足,机器学习领域的专家也对“应用数学的加入能有多大帮助”持观望态度。但时至今日,应用数学在机器学习中的效力已是有口皆碑。
转行做机器学习,对鄂维南来说,是个颇费周折的过程。从2004年开始,他就在国内推动研究大数据中的算法。2009年,他拜见了北大、清华、复旦和交大的主管领导时,建议他们开展数据科学方面的研究,他当时对“数据科学”给出的定义是:用科学的方法来研究数据;用数据的方法来研究科学。
2012年,鄂维南在北大组织了“数据科学与信息产业”研讨会,希望通过学术界与产业界的合作来推动大数据的发展。2014年学校委托他建设大数据教育体系,过去十年的经历也让鄂维南深深体会到要真正推动大数据在中国落地,光呼吁是不够的,自己必须全身心投入到这个事业中去。
鄂维南推动的第一件事是人才培养体系建设。2014年,他推动成立了北京大学大数据科学研究中心。中心的主要任务之一就是培养大数据方向高质量的研究生。同年,受学校研究生院委托,鄂维南开始着手建设北大大数据的教育体系。2015年,鄂维南又推动在北大建立了全国首批数据科学与大数据技术本科专业,并和几位同事一起撰写了《数据科学导引》这本教材。
更困难的是建立科研方向的制高点。要想推动大数据学科的发展,自己必须站在学科的最前沿。鄂维南选择的方向是机器学习。
鄂维南在机器学习方面的工作主要有两大方面。一方面,是机器学习的数学理论;另一方面,是机器学习在物理、化学、生物等科学技术领域的应用。经过六七年的艰苦努力,鄂维南在机器学习领域的工作渐渐获得了远超数学界的广泛认可。
数学理论方面,鄂维南想回答的问题是:机器学习为什么如此高效?
与传统方法相比,机器学习解决的最基本的问题就是函数的表达和逼近。数学上有分片多项式、傅利叶级数、小波……这都是传统的表达函数的套路。但传统套路只能处理低维问题,难以处理高维问题。而机器学习,尤其是深度学习,解决的许多问题都是非常高维的,所以机器学习数学理论的关键是高维函数。
在数学里,函数是一个基本概念,从函数出发可以讨论积分、函数逼近、微分方程等。这些都对应着机器学习里的不同分支,比如函数逼近对应着监督学习、概率分布的逼近对应着无监督学习、解Bellman方程对应着强化学习。
因此,机器学习的每一个分支都对应着数学分析里的一个问题。我们需要有一套新的理论来理解高维的对象:高维的函数逼近,高维概率分布的处理,高维的动力系统,高维的微分方程等等。比方说,什么叫解高维微分方程?AlphaGo实际上就是在解Bellman方程,但它究竟解到什么程度?从数学的角度来说,这些都是很基本的问题。
而从科学应用的角度,在化学、材料、工程等领域,只要涉及到理论,或者在实验上涉及到数据和模型,就有机器学习一展身手之处。
2020年,张林峰、贾伟乐、王涵、林霖、陈默涵、路登辉、Roberto Car、鄂维南组成的团队借助机器学习,实现了上亿原子的第一性原理精度的分子动力学模拟,这项工作获得了2020年的Gordon Bell奖。
此后,几乎无人再质疑机器学习对科学领域做出贡献的可能。鄂维南认为,这项工作首次把机器学习、科学计算和高性能计算结合在一起并发挥到极致,打开了极其令人振奋的新空间。这是一次勇敢漂亮、影响深远的尝试。
在计算机领域,机器学习在图像识别、自然语言处理等应用场景已经落地,创造了巨大的价值。但在鄂维南看来,机器学习还有更为宏大的应用远景——为科学的发展做出贡献,即“AI for science”。
如此非凡的成就源于鄂维南几十年来对应用数学的追求和思考。“以前我们碰到了太多的困难,这些困难主要来自物理模型。我们这一代库朗学派的人长期面临的困境就是比别人走不了多远。别人能解决的问题我们可以解决得更漂亮,但别人不能解决的问题我们还是不能解决。”
在鄂维南看来,深度学习架起了一座崭新的桥梁,使得应用数学的从业者可以对科学技术的进步做出直接贡献。他在各种会议、讨论中号召更多的数学工作者参与进来。他表示:“机器学习是应用数学几十年未有之机遇。作为应用数学的从业者,一定不要错过这个机会。”
2019年鄂维南老师获颁Peter Henrici奖
2019年,在西班牙巴伦西亚举行的第九届国际工业与应用数学大会上,鄂维南获得Peter Henrici奖。
那次评奖委员会的颁奖词是:“鄂维南的科研工作有着巨大的影响力,解决了很多悬而未决的难题。他的代表作包括随机微分方程的数学和计算成果、多尺度和多物理问题(尤其是在流体力学和化学领域)的有效算法的设计,以及他最近关于机器学习在科学计算中的应用的先驱性工作。”鄂维南当时作的报告题目就是“机器学习:数学理论与科学应用”。
鄂维南与应用数学的结缘有几分偶然色彩。他于1978年进入中国科学技术大学数学系,接受的是纯数学教育。最初的兴趣是代数和代数数论。1982年春节,鄂维南回到农村老家。在拜年的热烈氛围中,感觉自己瞬间从数学的天堂被拽回到了最真实的人间。纯数学的世外桃源与家乡热闹的人间烟火气息形成了鲜明的对照。
假期结束了,在返校前一天的黄昏时分,18岁的鄂维南决定,要做与社会有着更密切关系的学问,在数学领域,这便是应用数学。在对应用数学完全不了解的情况下,鄂维南决定先去中国科学院计算中心数学软件专业读硕士,再出国读应用数学博士。
在中科院,鄂维南师从黄鸿慈先生。黄鸿慈是北大第一批计算数学专业的毕业生,为中国计算数学做出了杰出贡献。关于计算数学、数值分析最基本的概念,尤其是学术价值观的培养,鄂维南都是从黄鸿慈先生那里学到的。作为一个纯数学背景的学生,这段时间计算数学的基础和价值观培养对鄂维南以后的科研生涯是至关重要的。
同时,鄂维南从冯康先生那里也学到很多。有一段时间,他们经常在一起讨论Arnold的《经典力学的数学方法》(Mathematical methods of classical mechanics)的十多个附录。这本书的正文是标准的研究生教材,而附录则是更为艰深的开放性科研问题。
坚实的纯数学基础是鄂维南日后从事应用数学工作的宝贵财富。与此同时,几十年来,纯数学的一些问题也一直吸引着他。
去加州大学洛杉矶分校(UCLA)数学系、跟Bjorn Engquist教授学习,实际上是冯康先生的建议。Engquist彼时正是应用数学界冉冉升起的一颗新星,刚获美国工业与应用数学学会的第一届Wilkinson奖。
那个时代UCLA是计算数学领域,尤其是计算流体力学领域最活跃的地方。除了Engquist,还有Osher、Kreiss等大师,Harten和Tadmor等人经常来UCLA访问。相关的微分方程领域有Brenier和经常来访的P. L. Lions。
在UCLA求学就如同沐浴着专业最前沿的晨曦。Harten当时开课,会拿着一串串带圆孔的打印纸给大家看,说:“这就是ENO格式最新的计算结果(most up to date result of ENO scheme)。”在这种环境里读书,首先就会对计算流体力学产生非常深刻的认识。
Engquist当时除了做计算流体力学,也开始对多尺度问题感兴趣。这对鄂维南的影响很深。鄂维南和导师Engquist的交流十分特别,他们很少聊技术性的问题,而是海阔天空地闲聊。Engquist从不指派鄂维南一定要做什么,而是给了他很多自由思考的空间。这使得在后来的日子里,鄂维南一直兴趣广泛,涉猎不同领域并都做出了重要工作。
博士毕业后,鄂维南来到了纽约大学库朗所做博士后。库朗所人才济济,是应用数学的中心。鄂维南的博士后导师是Robert Kohn。在库朗所,鄂维南深受Kohn的影响,开始学习应用分析(applied analysis)。另外,Majda善于把分析、数值计算和渐进分析(asympototics)结合在一起的风格,也让鄂维南受益颇多。
1989年鄂维南(右一)从加州大学洛杉矶分校博士毕业时(左一陈大岳,中间杨焕安)
1999年,鄂维南从纽约大学库朗所来到普林斯顿大学。35岁的他是当时普林斯顿大学数学系最年轻的正教授。随后他又获得了国际工业与应用数学大会颁发的Collatz奖。该奖每四年颁发一次,每次发给一位年龄在42岁以下,在应用数学领域做出重要贡献的年轻学者。在旁人看来,鄂维南事业有成、踌躇满志,但他自己的内心其实布满忧虑。
在鄂维南看来,应用数学的前途十分不明朗,尤其是库朗学派。系里一般都要邀请刚入职的教授做一次面向全系的学术报告,鄂维南的报告题目便是“应用数学的危机”(The Crisis of Applied Mathematics)。最基础的问题都被老师那一代人解决了,新的方向又不知道在哪里。鄂维南对应用数学感到疑虑重重,但又没有找到解决的办法。
另一方面,鄂维南在随机微分方程、数学物理等领域取得了优秀的成就。当时,普林斯顿数学系网站上为他标注的研究方向是“数学物理与应用数学”,“数学物理”甚至排在“应用数学”的前面。而数学物理是普林斯顿的传统强项,有一群德高望重、学问深厚的老先生深耕于此,他们器重、欣赏鄂维南,希望他加入到数学物理的研究队伍中来。
这是鄂维南第二次被纯数学所吸引而险些离开应用数学:应用数学的路途不够明朗,而纯数学的问题更加清晰,但鄂维南还是选择了坚持。
2002年国际数学家大会现场
2002年,国际数学家大会在北京召开,鄂维南是45分钟报告人。他演讲的内容是稀有事件(rare event)和弦方法(string method)。稀有事件是化学、材料等领域的核心问题,而数学界对此却很陌生。鄂维南、任维清和Eric Vanden-Eijnden发展起来的弦方法已经成为研究稀有事件的主要方法之一。对鄂维南来说,这是他为了找到自己的应用数学道路而进行的众多探索之一。真正的“柳暗花明”,要到他转行到研究机器学习之后。
除了钻研应用数学的科研道路之外,鄂维南也致力于探索培养应用数学人才之道。
早在三十年前,鄂维南就意识到,与纯数学相比,应用数学的人才培养体系尚未成型。这是因为应用数学实在是包罗万象,很难定义。任何一门自然科学、社会科学和工程学科,只要发展到一定程度就会量化,这就会引进数学;而一个问题一旦能用数学语言表达出来,就变成了应用数学的问题。随着新领域的涌现,应用数学的边界更难划定。想要学通应用数学,似乎需要精通所有领域。这也对应用数学人才培养体系的建设,带来了极大困难。
正是基于这样的考虑,2001年的夏天,鄂维南和张平文、金石、蔡申瓯等人联合发起了应用数学暑期学校。二十多年过去了,这个暑期学校已经成为北京大学应用数学的长期项目。组织暑期学校的接力棒也已经被交到了年轻一代数学家的手中。今年暑期学校的主要组织者是文再文老师。暑期学校的内容包括机器学习理论、芯片设计算法、区块链和隐私计算等前沿领域。
在此基础上,2012年,鄂维南又力主在北京大学发起了应用数学拔尖人才培养计划。拔尖计划一方面强调应用数学的内在统一性,另一方面强调其在算法、数据、分析、模型等多方面的扎实基础。在暑期讲习班中讲授过的成熟课程,组成了北大应用数学本科生拔尖计划的核心课程,如随机模拟方法、应用偏微分方程等。
得力于许多年轻老师的积极参与,尤其是李铁军、董彬、林伟、明平兵等老师,这个拔尖人才计划已经培养出了许多优秀学生,并且形成了一整套系统的课程体系和教材。第一本教材《应用随机分析》(鄂维南、李铁军、Eric Vanden-Eijnden)已经由美国数学会出版。在未来数年内,还会有一系列成熟的教科书出版。
2020年鄂维南老师参加北大应用数学及统计拔尖计划师生座谈会
2021年鄂维南老师出席北大数学学科研究生教育工作研讨会并致辞
北京大学应用数学拔尖人才培养计划很可能是国际上唯一的、真正致力于培养应用数学人才的系统性计划。拔尖计划过去近十年的成果,已经远超预期。在十五年前,鄂维南自己也不清楚能否摸索出一条成熟的道路,但放眼当下,北大应用数学培养的本科生已然成为学术界的翘楚,这便是对培养计划有效性的最好证明。
2021年4月,鄂维南在美国数学会会刊上发表了《应用数学新时代的曙光》一文。在这篇文章中,鄂维南详细阐述了他对应用数学发展方向的看法,以及和张平文等老师一起在北大应用数学人才培养方面近二十年的经验。他认为,经过几十年的求索,应用数学这个学科的内容框架已大致清晰。
就像纯数学有代数、几何和分析三大组成部分一样,应用数学主要有第一性原理建模、数据科学、以及算法三大组成部分。从培养学生的角度而言,第一性原理建模部分应该有物理原理和应用分析课程;数据科学部分应当有统计学、机器学习等课程;算法部分应当有数值分析、离散数学等课程。
提到对年轻的应用数学学生的建议,鄂维南表示要“不忘初心”。他的初心,便是解决实际问题并推动应用数学发展成一门成熟的、体系化的学科。时代正在经历一场大变革。如今,算法已经成为推动技术和社会发展的主要动力。而应用和计算数学则是算法研究的主要力量。可以预测,应用数学将会不由自主地被推到科研和技术创新的最前沿。关键是我们如何把握好这个历史机遇。
2021年10月17日,鄂维南在北大数院第二十四届数学文化节开幕式上为学生们带来题为“算法时代的数学发展”报告
鄂维南认为,在不久的将来,北大将成为引领国际应用数学发展的主要力量之一。北大有着一批成就斐然、视野开阔、能力卓越的年轻教师;有全世界最好的本科生和培养优秀本科生人才的系统性方案。
北大面临的挑战是如何利用好这些资源来建设起相应的应用数学研究生项目。他坚信北大能够很快建立起这样的研究生培养体系并使其成为世界上最理想的学习和研究应用数学的沃土,也殷切期望国际和国内最优秀的年轻学者和学生加入到北大团队中来。