导读 2022年2月11日整理发布:虽然黑盒 AI 系统的开发和培训通常要花费一大笔钱,但它们通常比开发可解释 AI 所需的领域专业知识和人才更容
2022年2月11日整理发布:虽然黑盒 AI 系统的开发和培训通常要花费一大笔钱,但它们通常比开发可解释 AI 所需的领域专业知识和人才更容易获得。这就是为什么许多公司选择使用在大型数据集上训练的深度学习系统,而不是努力创建可解释的系统。
但是,Rudin 指出,“对于高风险的决策,分析时间和计算时间比拥有有缺陷或过于复杂的模型的成本要低。” 那些经历过黑盒人工智能系统做出意想不到的灾难性决定的公司可以证明这一点。
为了鼓励开发更具可解释性的 AI 系统,Rudin 提出了禁止公司部署可解释模型可以解决相同问题的黑盒模型的法规。
“只有在不存在用于同一任务的透明模型时,组织才有责任制作黑盒模型,”鲁丁写道。
另一种方法是引入黑盒模型来报告可解释建模方法的准确性的组织。“在这种情况下,人们可以更容易地确定该组织声称的准确性/可解释性权衡是否值得,”鲁丁写道。
在她的论文中,Rudin 列出了一些可以提高不同领域可解释 AI 模型的准确性和开发的途径的技术细节。
一个非常有趣的例子是深度学习系统,它可以根据高级特征而不是逐个像素的热图来解释他们的决定。
“如果这篇评论可以将焦点从可解释机器学习中大多数工作的基本假设(即黑匣子对于准确预测所必需的)稍微转移一下,我们就会认为这份文件是成功的,”她写道。“如果这份文件能够鼓励政策制定者在没有对可解释(而不是可解释)模型进行重大尝试的情况下不接受黑盒模型,那就更好了。”