得益于机器学习算法日益强大的能力，人工智能已进入了主流商业。机器学习算法使计算机能够训练自己完成诸如驾驶汽车，控制机器人或自动化决策等工作。但是随着人工智能开始处理一些敏感任务，例如帮助选择哪些囚犯获得保释，政策制定者坚持要求计算机科学家提供保证，确保自动化系统的设计能够避免或最大程度地减少不希望的后果，例如过高的风险或种族和性别偏见。
由斯坦福大学和马萨诸塞大学阿姆赫斯特分校的研究人员领导的团队于11月22日在《科学》杂志上发表了一篇论文，在这方面提出了一些建议。论文概述了一种新技术，可用于将诸如避免性别偏见之类的模糊目标转化为精确的数学标准，从而使机器学习算法可以训练人工智能应用程序来避免这种行为。
这项工作的前提是，如果可以用数学方式定义“不安全”或“不公平”的结果或行为，那么就应该有可能创建相应的算法，可以从数据中学习如何避免不想要的结果，并具有很高的可信度。研究人员还希望开发一套技术，方便用户指定他们想要怎样的行为约束，使机器学习设计者可以放心地使用过去的数据训练的系统，将其应用到现实环境中。
研究人员测试了他们的方法，试图提高基于考试成绩预测大学生GPA的算法的公平性，这种常见的算法可能产生性别偏见。他们使用实验数据集为算法提供了数学指令，以避免让最终得到的预测性方法系统性地高估或低估某一性别的GPA。通过这些指令，该算法找到了一种比现有方法更好的方法来预测学生的GPA，其系统性性别偏见要少得多。
研究小组还开发了另一种算法，并使用它来自动平衡胰岛素泵的安全性和性能。这种泵必须决定在进餐时间给病人输送多大剂量的胰岛素。理想情况下，泵输送的胰岛素刚好能保持血糖水平稳定。胰岛素过少会使血糖升高，导致恶心等短期不适，并增加心血管疾病等长期并发症的风险；过量使用胰岛素又会导致血糖暴跌，这是一个潜在的致命后果。
Brunskill和Thomas展示了如何训练泵来确定为指定患者量身定制的剂量，避免因剂量过大或剂量不足而引起并发症。尽管该小组尚未准备好在真实的人身上测试该算法，但它指出了一种人工智能方法，该方法最终可能会改善糖尿病患者的生活质量。
Brunskill和Thomas在他们的《科学论文》中使用术语“Seldonian”算法一词来定义他们的方法，引用于科幻小说作者阿西莫夫发明的角色Hari Seldon，他曾经宣布了三条机器人定律，其开头是“机器人不应伤害人类，也不应因为无作为而伤害人类”。
Thomas承认这个领域离遵循这三条定律还有很长的路要走，但他说，这种Seldonian框架将使机器学习设计人员更容易将避免行为指令构建到各种算法中，在某种程度上可以使他们能够评估训练过的系统在现实世界中有正常运行的可能性。
Brunskill说，这个提议框架建立在许多计算机科学家正在努力的基础上，在创建强大的算法和开发方法之间取得平衡以确保其可靠性。“随着社会越来越依赖人工智能，思考如何创建出最能尊重安全、公平等价值的算法至关重要。”Brunskill说。