智东西（公众号：zhidxcom）
编 | 储信仪

导语：OpenAI提出衡量机器学习算法进展的基准测试方法，算法效率每16月翻一番，吊打摩尔定律！

智东西5月6日消息，昨日，OpenAI宣布将开始追踪效率最高的机器学习模型，该举措推出了新的评价指标，可用以量化模型的扩展规模和整体性能，从而可实时公示效率最高的模型，为行业提供参考。

在前期调查期间，该公司发表了一份分析报告，指出与2012年相比，2019年的神经网络训练到AlexNet水准所需的计算量减少到原来的1/44，相比之下，摩尔定律在相同时间内效率的增长只有11倍。这表明算法效率在7年的时间里每16个月翻一番。

分析结果表示，对于大量“吸金”的AI任务，算法效率的提升比传统的硬件效率提升的速度更快，因此算法可节省更多算力，以此节省AI任务的运行成本，产生更多收益。

一、算法多吃算力？每16个月效率翻倍

推动人工智能发展的有三个因素：算法创新、数据和算力。传统上，算法的进展比算力和数据更难量化。算法效率可以被定义为减少训练特定功能所需的计算量。效率是衡量经典计算机科学问题（如排序）的算法进度的主要方法。

OpenAI表示，除了关注时下最新的最佳AI模型之外，公开衡量效率将描绘出算法进展的定量情况。这将通过重新关注AI的技术属性和社会影响，为决策制定提供依据。

OpenAI在博客中写道：“算法改进是推动AI发展的关键因素。尽管这比度量计算趋势更难，但寻找能够反映整体算法进展的度量是很重要的。”算法效率的提高使得研究人员可以在给定的时间和预算内进行更多有趣的实验。分析表明，决策者应该增加对学术界计算资源的资助，以便学术研究成果能够复制、再生以及扩展行业研究。

▲OpenAI观察到16个月AI模型的效率倍增时间（任意给定时间的最低计算点用蓝色表示，测量点用灰色表示）

OpenAI表示，在调查过程中，它发现谷歌的Transformer架构超越了以前由谷歌开发的最先进的模型——seq2seq，在seq2seq引入三年后，其计算量减少至原来的1/61。DeepMind的AlphaZero系统，从零开始自学如何掌握国际象棋、围棋和日本将棋，一年后，它的计算量比该系统的前身AlphaGoZero的改进版少至1/8。而仅三个月后，OpenAI自己的Dota2玩法Rerun运行所需的训练计算就减少至1/5，从而超过了基于OpenAI Five的模型。

▲AI“Rerun”和“OpenAI Five”对战

OpenAI从对集成电路中晶体管数量每两年翻一番的现象推测，算法效率带来的收益可能会超过摩尔定律。OpenAI表示：“新功能通常需要大量的计算才能获得，由于流程改进，这些功能的改进版本部署起来会更有效率。”

▲AI计算趋势及结果整合

二、多家机构将AI模型效率基准测试提上日程

作为基准测试工作的一部分，OpenAI表示将从视觉和翻译效率基准（特别是ImageNet和WMT14）开始，并考虑随着时间的推移增加更多基准。测试工作不允许使用人为字幕、其他图像或其他数据，但是对用于翻译或增强的训练数据没有任何限制。

OpenAI表示：“行业领袖、决策者、经济学家和研究人员都在努力更好地了解AI的发展进步，并决定他们应该投入多少注意力，以及把注意力放在哪里。测量工作可以帮助做出这样的决定。”

论文研究指出，研究者观察到硬件和算法的效率在有意义的范围内提高了一倍，这表明，一个好的AI进展模型应该整合两者的度量。除此之外，研究人员还观察到，以指数速度训练高兴趣任务的AI模型比摩尔定律训练成本更低。

OpenAI并不是第一个公开提出对AI模型的效率进行基准测试的公司。去年，卡内基梅隆大学(Carnegie Mellon University)、艾伦人工智能研究所(Allen Institute for AI)和华盛顿大学(University of Washington)的科学家们主张，除了准确性和相关衡量标准外，还应将效率作为AI学术论文更普遍的评估标准。其他的建议则要求针对机器学习项目进行行业级别的能量分析，以及以瓦为单位的计算标准进行评估。

声明链接：https://openai.com/blog/ai-and-efficiency/

Github链接：https://github.com/openai/ai-and-efficiency

论文链接：https://cdn.openai.com/papers/ai_and_efficiency.pdf

结语:AI服务和技术逐渐强大

OpenAI开始公开追踪AI模型效率，其模型的量化呈现可实时进行效率公示，为行业提供参考，选择更为适合的效率提升方式。

算法改进是推动AI发展的关键因素，AI算法效率倍增，计算量成倍减少，算法效率收益极大提升。算法效率的提高为AI技术的提高创造了条件，这意味着我们正面临AI技术无比强大的未来。

消息来源：VentureBeat；OpenAI