由 dawei （原标题：要取信于人，AI得打开决策“黑箱”）
如今，人工智能已经可以做决定，但我们仍不知道这个决定是如何做出的。人们需要了解人工智能如何得出某个结论背后的原因，而不是仅仅接受一个在没有上下文或解释的情况下输出的结果。
近日，微软前全球执行副总裁沈向洋在接到清华大学续聘书时，通过直播方式分享了对AI可解释性与AI偏见相关问题的研究与看法。他提到，AI就像一个黑匣子，能自己做出决定，但是人们并不清楚其中缘由。所以，我们目前需要做的就是将其打开，了解AI想表达的意思和可能会做出的决定。这就需要设计和构建“负责任”的AI。
那么，AI的可解释性指什么？是什么导致人们无法对AI的行为进行解释？人工智能如何做决策？研究人员可以怎样做让这些决策更加透明？
尚无法完整解释决策过程。
有人说，不确定性是AI的特征之一。
所有重大技术突破的出现，往往都伴随着相同的问题：如何确保技术的可靠。例如，在电子时代制造和使用电子产品时，人们可以通过技术资料了解所有的元件构成，从而得以信赖它们。又如，许多技术和生活场景中有检视清单的存在，它能指导我们如何合理完成一件任务。然而，到了人工智能时代，情况则不然。
“如今，AI已经可以做决定，这是AI过程中非常重要的一步，但我们仍缺乏对AI所做决定的认知。”沈向洋告诉科技日报记者，从某种程度上来讲，你建立一个模型、算法，输入数据，之后人工智能会产生一个结果。一切看上去顺理成章，但是有一个问题——我们尚不能完整解释为何人工智能会得出这样而不是那样的结论。
沈向洋进一步解释，我们将这种只能看到数据导入和输出，而无法看到和解读其工作原理的模型比作‘黑箱’，而将可以知晓内部工作原理的模型称为‘白箱’。人们需要了解人工智能如何得出某个结论背后的原因，而不是仅仅接受一个在没有上下文或解释的情况下输出数据和信息的结果。”沈向洋指出。
显然，我们不能将明天交付给一个个无可解释的“黑箱”。“我们在学习的时候，经常说不仅要知其然，还要知其所以然。”沈向洋表示，人工智能的可解释性，指的是要“知其所以然”，要了解背后的原因和逻辑，是能回答“为什么”。
“以决策场景下的模型可解释性为例，端到端的深度学习，一个广为诟病的问题是其不透明性或不可解释性，比如说识别一张照片中的物体，机器做出的判断是基于哪些有效特征，我们无从得知。”阿里安全图灵实验室负责人、资深专家奥创认为，人工智能系统必须具有可解释性，以便人类可以理解系统的行为。
研究发现，一个用来判断图片中的动物是狼还是哈士奇的AI模型，在六幅图片中只判断错了一幅，看起来准确率尚可接受，可其背后有极大的隐患。因为如果从局部维度观察，发现它识别出狼的标准，根本不是狼的样子，而是以图片背景中的雪为标准。如果一头狼走入没有积雪的家中，却因此被识别为哈士奇，那就可怕了。显然，我们无法信任这样的模型，这也说明了模型可解释性的重要意义。
目前的解释说明或损害用户信任。
如今，AI的规范应用正在成为一个社会问题，去年，欧盟出台《人工智能道德准则》，明确提出AI发展方向应该是“可信赖的”，包含安全、隐私和透明等方面。
“无人驾驶、人脸识别、智慧城市、智能家居等各类场景中都在运用AI，但一旦后端控制系统被攻击，出现规模化、连锁式的崩盘，AI失控的后果不堪设想。”奥创指出。
比如，无人驾驶车要通过识别交通信号标志来决定通行还是停止，而攻击者可以生成一个欺骗通行标志的对抗样本，在行人眼里是禁止通行，但AI系统会识别成允许通行，这足以造成灾难性的后果。再如，自2016年以来，很多地方都推出用于预测未来罪犯的软件，法庭在审判时已经开始用AI进行辅助判断。然而，越是如此，人们越会担心算法是否存在偏见。