即使能获得更多的数据，人们还是无法做出更好的决策，那么我们为什么认为人工智能可以做到这点呢？2008年一个晴朗的日子里，硅谷未来的巨头们坐在一张巨大的金发木会议室桌周围。尽管他们如今已是赫赫有名的大人物了，但对于当时的他们来说，业务成功与否仍是个未知数。当时，Jeff Bezos的亚马逊（Amazon）运营利润率极低，几乎无法盈利。
他们刚刚推出了云计算方面的业务，这将给亚马逊带来巨大的盈利，但那时他们还不知道这一点。此外，Sean Parker也被迫退出脸书（Facebook），退居为Peter Thiel创始人基金（Founders Fund）的执行合伙人。那时距他对Spotify的关键投资只隔几年时间。
坐在他右边的是Elon Musk，他的电动汽车公司特斯拉（Tesla）当时正处于金融危机中，其火箭公司SpaceX已经花费数百万美元生产了三次发射失败的火箭。坐在他们对面的是Larry Page，他在Google的收购狂潮中大放异彩，但也因此遭到Viacom的起诉，被索赔10亿美元。
会议室中还有一位Google的前雇员，他是一位年轻的软件工程师，名叫Evan Williams，他刚刚与其他人共同创立了一家新公司，名为Twitter。这些人聚集在会议室桌旁，花了9个小时的宝贵时间，听取荣获诺贝尔奖的科学家们向他们讲述人类如何做出决策。因为他们想要利用人工智能（AI）知识让其科技公司在竞争中占有优势。此次议程上没有预留专门用于讨论数据质量问题的时间。
会议室中的科学家们都是行为经济学家，对于他们来说，无论是人还是机器，幻想他们能够做出完全理性的决定，都是应该遭受批评的。我们需要处理越来越多的数据。美国国防部（DOD）收集完数据后，需要花费数十亿美元试图去“清洗”这些数据。专家指出，数据科学家们大约花费了80％的时间来清洗数据，并且实现这些由AI驱动的集中式指挥中心的关键是打破服务之间的孤岛，并为AI模型创建可互操作的流程。
据估计，DOD每年花费约110-150亿美元让员工来清洗数据。然而，经过几十年的投资、监督和标准制定，计算机化的大脑并没有让我们比20世纪70年代更接近全面态势感知（total situational awareness）。随着计算机越来越先进，其中的数据量也在增加。
事实上，DOD出资也无法解决这个问题：尽管硅谷重量级人物提供了160亿美元的投资，但我们现在离实现自动驾驶汽车仍有几十年的距离；尽管人们在AI方面投入了数十亿美元，但最大的社交媒体公司仍然严重依赖人类员工删除平台上的不良内容。大政府（Big Government）无法从AI中得到良好的投资回报，这一点可能并不令人惊讶，但令人惊讶的是，大型科技公司似乎也是如此。也许我们改进AI的方向存在偏差。
我们都希望AI能够做出更好的决策。全面的态势感知真的很有吸引力，因为我们认为，让领导者拥有更多数据是做出更好决策的关键，因为做出更好的决策意味着将会有更少的负面影响。DOD为何要优先考虑能够防止冲突或最大程度地减少附带损害的技术，这一点并没有什么神秘之处。同样地，我们也能够明白，Facebook为什么要在其平台上控制仇恨言论。
但是，科学家们（比如2008年在那间会议室指导科技领袖的科学家们）所做的研究，对了解更多信息的价值提出了质疑。在现实生活中，决策者为节省精力而对技术进行优化。事实上，全面的态势感知不如那些能够促进团队做出决策的工具有用。毕竟，决策通常是根据结果来判断的，这其中也包括一些运气的成分以及正确的分析。
参与其中的每个人都知道，在获得这些结果之前，即使是以顶级数据为基础的最严谨、最全面构建的策略也无法为此提供保证。因此，决策的过程与其说是对数据的客观分析，不如说是对风险和优先级有不同容忍度的利益相关者之间的“积极谈判”。可以说，数据不是用来提高洞察力的，而是用来保护利益相关者免受干扰。事实上，完美信息（如果可以实现的话）也并不会带来任何益处。相反，它可能会增加噪音等级，从而降低决策质量。
这似乎令人难以置信：我们通常认为，完美信息应该自动改善决策过程。但事实并非如此，因为更多的信息也很难改变决策背后的组织策略。虽然AI可以正确识别内容，但基于该内容做出的决策在很大程度上取决于用户和组织的规范程度和期望值。例如，Facebook的温和政策允许将肛门图片PS到名人身上，但不能用他们真实的肛门图片。
人类很容易理解利益相关者之间的关系是如何使这种区别变得合理的：一个违反了言论自由和公众评论的规范，另一个则没有。当团队需要做出决策时，只要考虑到各种利益相关者及其激励因素，改善决策的最佳途径就不仅是增加传感器以获取更多数据，而是需要改善利益相关者之间的沟通。设计不佳的AI存在安全风险。我们谈论数据质量的方式具有误导性。
当我们谈论到“干净的数据时，就觉得是存在一种状态，在这种状态下，数据既准确（无偏差）又可重用。但事实上，数据的干净与准确不是一回事，而准确与可操作也不是一回事。这些向量上的任何一个问题都可能阻碍AI模型的发展或影响其结果的质量。进入模型的数据可能存在问题的原因有很多。有些原因是显而易见的：数据不正确、损坏或格式不匹配。
其他问题更加细微：数据在特定背景下捕获，并且被不适当地重用；或者数据的粒度级别不匹配当前模型；又或者数据没有标准化，即用不同的方式展现或描述了相同的事实。用单一的数据源来解决这其中一个问题已经够难了。在一个大型组织中，想要解决所有这些问题几乎是不可能的，因为在这种环境下，对手将试图向这些系统注入不良数据，以破坏他们提供的模型。不可否认，AI创造了解决问题的新方法，但同时也创造了被攻击的新方法。
当前的AI系统完全依赖于其数据的质量，这不是因为技术不成熟或不完善，而是因为我们设计出的这种系统极易受到攻击。因此，生产型AI系统必须设计为可抵抗不良数据。在这种情况下，如果我们改变了要解决的问题，则可以通过改变设计来减轻AI系统被攻击的风险。也就是说，我们需要让AI具有反脆弱性（antifragile）。什么是反脆弱AI？
在系统思考中，“反脆弱性”是一种不仅可以从故障中恢复，甚至在遭受故障时会变得更强大、更有效的设计。当我们在真正改善决策的基础上建立AI时，我们为实现反脆弱AI创造了机会。我们从认知科学的现有研究中知道，好的决策是主动阐明假设、构建假设检验，以验证那些假设以及在利益相关者之间建立清晰的沟通渠道。只要这三点中缺少一点，就会产生认知偏差，从而触发所谓的人为错误。
事实上，AI很容易受到不良数据的影响，因为我们过分强调它在分类和识别方面的应用，而忽视了它在提议和语境化方面的应用。简单地说，为人类做决策的AI就是容易遭到损坏。然而，设计出反脆弱AI很困难，因为在接受算法分析的输出作为结论和将其视为提议或提示之间存在的界限会给设计带来挑战。与此同时，医学AI之所以能够提高其决策质量，正是因为许多诊断挑战没有单一的正确答案。
在诊断中，任何一组症状都有一系列可能的原因，且概率不同。临床医生会在脑子里建立一个决策树状图，上面列出了他能想到的所有可能性以及排除某些可能性的测试。在这种情况下，AI可以被用来改善医疗专业人员之间的沟通和知识共享，或者在危急时刻从患者那里获取新的相关信息。
例如，有些AI产品可以分辨出良性肿瘤和恶性肿瘤，或者判断具有肺斑的患者是否可以被诊断为新冠肺炎，它们几乎可以超越医生的诊断，但与此同时，它们也一直受到不良数据问题的干扰。在不良数据笼罩下构建强大的AI。在决定如何高效利用AI等有前景的技术时，技术领导者首先需要明确他们的目标。如果AI的目标是改善决策，那么AI应该引导决策者进行假设检验，而不是试图超越专家。
一旦AI试图超越专家，它将完全依赖所接收数据的质量，从而会产生一系列漏洞，使得攻击者便可以轻松地利用这些漏洞对此进行攻击。当AI的目标不是超越顶尖专家，而是强化和支持良好的决策实践时，该技术就可以抵抗不良数据，并具有反脆弱性。但在这种情况下，AI并不会做出决策。相反，它会帮助人们阐明决策背后的假设，将这些假设传达给其他利益相关者，并在当与这些假设相关的基础条件发生重大变化时提醒决策者。
值得注意的是，AI可以帮助决策者分辨哪些状态是可能的，或者在什么条件下这些状态是可能的。这样一种解决方案可以通过解决现有的弱点而不是创造新的弱点以供对手利用，从而增强团队的整体性能。