Pat Grady：让我们回到过去，谈谈开启你创业旅程的故事。我听说你曾经发过一封标题为 强化学习 + 数据中心 = 超棒 并加上了问号的邮件，你能告诉我你能告诉我们你把那封电子邮件发给了谁吗？你为什么发送那封电子邮件？你在上面写了什么？你当时在想什么？然后这导致了什么？

　　Jim Gao：好的。之所以有一个问号，是因为人们通常不知道强化学习与工业设施的结合是不是真的很棒。

　　这是我发给 Mustafa Suleyman 的电子邮件，他是我后来在 DeepMind 的老板。发送这封邮件的动力来源于一种叫做 Alphago 的东西。

　　在 Google 工作的那段时期，20% 的时间里我一直在学习机器学习技术。Andrew Eng 在刚诞生的 Coursera 上开设了一门很有用的课程——机器学习入门。那是在 2013，我记得我应该是第二批学生。

　　那堂课彻底改变了我的生活。我自学了如何编程，然后开始东一块西一块地学习机器学习的知识。我认为机器学习是很有趣的技术。

　　Jim Gao：是的，没错。所以我当时的工作职责是帮助 Google 设计和运营他们的超大型数据中心。

　　当这些需要消耗大量能源的大型数据中心建成，我们当然会将重点转移到以最节能的方式运行这些复杂的工业系统，因为它们使用了数十亿美元的电力，对吧？

　　这就是当时的背景。我那时候已经在研究机器学习技术，以分析谷歌的海量数据。

　　2016 年，Alphago 问世了，我是全世界数亿个观看那场比赛中的一员。那时候应该是凌晨三点钟，我在巴黎还是啥地方。我发现它非常迷人，以至于我给 Mustafa 写了一封电子邮件，描述了一个想法：

　　如果 DeepMind 能在围棋这样的复杂游戏里，让 AI 击败世界上最聪明的人。那么肯定也可以让 AlphaGo 这样的 AI 智能体去玩一个另一个他很熟悉的游戏，那就是优化 Google 数据中心的电力使用效率。这就是那封电子邮件的背景。

　　我还记得我在 Google 内部向领导层推销这个想法的方式，特别是对着 Joe Kava，他是领导 Google 数据中心和 ORS 的人。我给他展示了一张图片，一边是目标栏，一边是各种视频游戏控制，比如 Xbox 控制器。

　　我对他说， 我们有一个最大化或最小化的目标函数，还会给出一些具体的操作，比如控制旋钮和杠杆。我们还会设定好一定要遵守的约束条件，把整一个完整的过程都控制在一个非常易于测量的环境里。

　　其实这样来看，强化学习和操作大型复杂的工业系统其实就是一样的。这个结论就是我最初想法的内核。

　　Pat Grady：所以你发送了这封邮件给 Mustafa，然后发生了什么？

　　Jim Gao：我们把邮件发送给 Mustafa。两周后，他飞到了山景城。

　　当时我正在那里和 DeepMind 的团队一起研究怎么样使用强化学习的方式来控制和优化 Google 的数据中心。实际上，这也让 Google 和 DeepMind 之间也由此围绕着数据中心工作中的强化学习应用建立起了一种合作伙伴关系。

　　强化学习真的很迷人，这也是我认识 Phaidra 另外两位联合发起人之一的契机。

　　Veda 是 AlphaGo 项目的重要工程师之一，他去了韩国，在首尔见到了 Lisa 和 Larry Page，发生了很多有趣的事情。AlphaGo 之后，他回到了辛辛那提，准确来说是回到了美国。他那时在想，他的下一件大事会是什么。

　　我设法说服了 Veda，我说，嘿，如果我们用像 Alpha 这样的自学框架来控制和优化谷歌的数据中心会怎么样呢？

　　Sonya Huang：很多人会问这样能行吗还是认为它就像一个疯狂的登月计划，让我们试试？

　　Jim Gao：我也不知道，我甚至不知道它是否会奏效。我喜欢从概念上讲，它对我的思维有意义。我认为运营数据中心只是一个不同的游戏。？在工业世界里有各种各样的游戏，也许游戏是最大化能源效率，也许游戏是最小化水的消耗，也许这样的游戏是最大化事实的收益，对吧？但是有很多游戏一直在玩。所以在我看来，这是有道理的。

　　我仍然清楚地记得这一天，我们打开 AI 系统，看着能耗下降。这令人惊讶的原因有两个。

　　第一，我们设计了一个系统。我在设计这个系统中发挥了作用，AI 现在正在来控制和优化。所以理论上，我应该是对这些系统了如指掌的专家，但是 AI 带给我一些我一开始不知道的关于我帮助设计的系统的东西。

　　第二，AI 的举动非常违反直觉。就像当我们正真看到即将做出的决定时，你知道，我们研究了计划运营商。我们坐在爱荷华州的巨大玉米田里，就像谷歌喜欢把它的数据中心放在那里一样。我们在研究，我们大家都认为这个决定不可能是正确的。这个 AI 很烂，学到了错误的东西。但我们仍旧是坐在这里，让我们试试 AI 所说的吧。我们尝试了一下，它奏效了。我们正真看到的就是能耗骤降。所以我想那是我成为这项技术的信徒的时候。从根本上说，这项技术是创造性的，它让我们从原始数据中发现以前不存在的新知识。

　　Sonya Huang：你能和我们谈谈主要成果吗？你看到了能耗的立即下降，但是之后又给 Google 带来了什么成果？

　　Jim Gao：一开始有两种类型的成果。尤其是对于谷歌来说，有试点的成功。在 2016 年，我们发布了试点的结果。试点是在几个数据中心完成的，但从根本上来说，它不是一个自主控制系统。

　　我的意思是，这只是 AI 在生成建议。对于像我这样的人类专家来说，可以手动审查和实施操作。我们不想直接把手从方向盘上拿开，因为这是一项新的新技术。

　　但当时没有人知道，是否有可能使用云端的 AI 来控制大型基础设施。所以第一步是正确进行试点。AI 提出了建议，我们正真看到了也接受了，最后实现了 40% 的能源节省。

　　这种经验告诉我们，我们实际上应该让 AI 直接正确地控制事物，自动获取价值。而且坦白地说，规划师操作员厌倦了检查电子邮件，比如每 15 分钟等待 AI 告诉他们该怎么做。与其手动实施，他们有更好的事情要做。

　　所以我们实际上决定，是时候使用全自动系统了。这在当时是完全未知的领域，忘掉 AI 能控制我们甚至不知道的事情。AI 是不是能够从云端控制机器，大型工业基础设施？因为据我们所知，以前没有人做过这件事。

　　Sonya Huang：你能告诉我们之前和之后的情况吗？比如说在你们实施这个工业控制管理系统之前，这个工厂操作员在大多数情况下要手动转动旋钮。这个之前和之后是如何工作的？

　　Jim Gao：这是一个很好的问题。让我为那些不太熟悉大型工业设施的人补充一点基础知识。它们是非常现代化的工业设施，很复杂，人们在操作和控制各种各样的机器。

　　我经常让人们去做一个简单实验设想。想象一下你只有 10 台机器在控制，它们就像泵一样。每台机器都有 10 个可能的设定点值，所以有 10 种与之相关的模式。想象一下可能是 10% 的泵速，20% 的泵速，30% 的泵速等等。然后在这个格外的简单的玩具例子中，你有 10 种到 100 种或 100 亿种不同的排列组合来操作你的玩具系统。

　　顺便说一下，这些是动态系统，所以它的负载在变化，天气在波动，操作这些系统的人正在改变，管道正在腐蚀，热量变化正在结垢。

　　关键是这些是很复杂的动态系统。现实世界中有超过 10 台机器，每台机器都有超过 10 个设定点。

　　这样你就能明白为什么像 AlphaGo 这样子就能够管理 MX 复杂性的技术，在这里很有帮助。这也有助于解释为什么一开始往往有这么大的优化空间，因为这个动态系统如此复杂。

　　如果去考虑整个操作空间，比如现代数据中心内所有可能的行动，因为风险规避，也因为硬编码规则和启发式方法，我们只探索了所有可能操作该系统的方式的 0.00001%。

　　那么问题就变成了，在我们从未探索过的 99.99999% 的行动空间中有什么？肯定有比我们历史上所做的更优化的操作系统的方法。所以这是一种直观的解释，希望能解释为什么能在一开始有这么大的效率提升。

　　我们操作这些设施的方式受到硬编码控制逻辑的限制，所以不要误解我的意思，如今这些系统已经是自动化的了，只是没有实现智能自动化而已，我认为是这样的。

　　Pat Grady：AI 已经准备好了，那么工业系统是否也准备好了由某种自主系统控制，还是需要在这方面做其他工作？

　　Jim Gao：这是一个很好的问题，我会详细说明我所说的正确的控制管理系统的含义。

　　20 世纪 70 年代和 80 年代是第三次工业革命，发生了从模拟到数字的转变以及第一个自动化系统出现。为了从根本上实现自动化，你必须先进行审核检查。但是这些都是简单的自动化。

　　第四次工业革命意味着智能基础设施能够自我运作，并跟着时间的推移从根本上变得更好，是能够自我完善的基础设施。

　　但现在我们正在将 AI 硬塞进第三次工业革命的系统中。它们肯定不是为此而设计的。我们所做的最重要的是，在现有的控制管理系统上编写，所以有一个硬编码的角色和启发式层，数百万行的 if then 语句被编程到我们一般称作 BMS 的建筑管理系统中。它定义了设施该怎么样运作。

　　硬编码系统的问题就在于，因为它们是硬编码的，所以它们现在的运行方式与昨天、一年前或五年前，甚至是十年前一样，因为人们不经常进入后端来更新控制逻辑。

　　现在 Fhaidra 所做的是我们在控制堆栈的最顶部插入一个新的云智能层。我们没引入任何硬件，也没有引入任何新的传感器。我们（的云智能层）其实就是在现有控制堆栈的顶部。这真的很关键。

　　你可以把它想象成战场上的将军。将军对总系统中发生的一切都有全局的看法。它正在发出命令信号，地面部队进行实际执行。

　　在我们的例子中，AI 每分钟要寻找 10,000 个操作方法。它会发出决定，比如打开哪些泵，泵的速度应该是多少，以适应本地 BMS 系统或 PLC 系统的自动实施和执行。

　　Sonya Huang：你在一开始谈到了强化学习成为一个好的解决方案的必要因素。你是否认为强化学习的应用并不多？还是说你认为这只是技术问题？

　　Jim Gao：绝对不，我认为强化学习的应用十分普遍，而我们的 Fhaidra 只是众多例子中的一个。

　　作为一个行业，我们只是触及了我们大家可以用这项技术做什么的表面。从根本上讲，这项技术的力量在于它是一个自主学习的系统。Alpha Go 及其继任者 Alpha Zero 自学变成全球上最好的围棋、国际象棋和将棋，三种截然不同的游戏，相同的学习框架。它能够自主学习。

　　所以我认为强化学习有很多很有趣的应用领域，其中很多地方都缺少数据基础设施。但是我们也可以列出来一些例子，比如我们已讨论过的蛋白质折叠。

　　围绕着物流还有一个完整的未开发的领域，这是一个非常棘手的计算挑战。当你开始研究运筹学的时候，运筹学是这些价值数万亿美元的工业活动的基础。不仅仅是工业活动，还有像运输飞机、联邦快递、驾驶路线，这些都是运筹学网格平衡的应用。

　　我的意思是，我认为网格平衡可能是 AI 应对气候平均状态随时间的变化最重要的方式。我认为这是 AI 影响最大的地方，气候。

　　Sonya Huang：你一开始没有预料到把它部署到 Google 数据中心时，你会看到 40% 的能耗节省。如果我们让 AI 在电网负载上进行网格平衡操作，你认为我们大家可以看到什么样的能源节约？

　　Jim Gao：我认为这太疯狂了。我认为这和能源节约本身的大小无关，而是和潜在的节约成本有关。因为你可以将你的负载转移到最具有成本效益的时候。如果你有二氧化碳信号，你可以在碳密集度最低的时候安排完成你的非宽带敏感工作负载。我认为谷歌已经在进行一些相关实验。

　　我认为其实我们该更多地围绕着全球系统级别的优化。我们一定要知道数据中心慢慢的变成了了越来越巨大的负载银行。

　　比如美国数据中心占了美国能源消耗的 1.5%-2%，今年将增加到 4%，我估计在本世纪末会达到 9% 左右。目前爱尔兰全国 22% 的能源电力消耗只用于数据中心，国际能源机构预测，到本世纪末，这一数字将增加到 37%。这真的是令人难以置信的数字。

　　但关键原因是我提到的电网上有大量的负载银行。如果你能以某种方式将数据中心协调在一起，这将是一个真正的可以帮助平衡电网的机会。这是一个巨大的挑战。

　　Pat Grady：你认为在未来五到十年内，AI 领域最让你感到兴奋的会是什么？

　　Jim Gao：最令我兴奋的是，我们何时可以开始把一些技术应用到现实世界的物理事物上。这是这项技术与我们生活的现实世界基础设施的交集。像大型工业系统、汽车、房屋，这些物理上的东西。我认为未来我们会在那里看到一些很有趣的事情。

　　Jim Gao 于 2011 年毕业于加州大学伯克利分校机械工程与环境科学专业，毕业后就职于 Google 在山景城的数据中心。2016 年带领由 40 多名跨学科专家组成的团队开发了一款 AI 应用程序，可以通过云端控制多个数据中心，帮助 Google 节省了数百万美元的能源成本。2017 年开始担任 DeepMind Energy 团队负责人。2019 年，和 Veda Panneershelvam、Katie Hoffman 两人合作成立初创公司 Phaidra，给工业领域提供自学习 AI 控制管理系统。雷峰网雷峰网