在一些特定领域，比如说国际象棋、围棋、股市交易以及人机对话等，我们已经发明出与人脑匹敌或超越人脑的计算机。电脑和驱动他们的运算法则只会变得更好，电脑精通几乎任何人类能力只是时间问题。纽约大学心理学家盖瑞•马库斯（Gary Marcus）曾说过，几乎所有研究AI的人都认为机器最终将取代人类。“狂热分子和怀疑论者之间唯一的不同是对时间早晚的判断。
”未来主义者，像雷•库兹韦尔，认为机器统治人类会在几十年后发生，而其他人则说可能得几个世纪。
最初设想的机器智能可能缺乏一种或多种这些属性。最终，我们可能制造出极其聪明的AI，但是它不能通过主观的自我意识感受这个世界。沙纳罕说也许能够将智力和意识结合在一个机器内，但是我们也要认识到智力和意识终究是两种不同的概念。
AI怀疑论者认为生物脑在本质上是有独特之处的，这是无法解决的科技难题，其实这些是没有说服力的。我们的大脑是生物学意义的机器，但也不过是机器。他们存在于现实世界里，就要遵循基本的物理法则。人脑没有东西是不可知的。
关于机器智能的一个普遍假设是：将来机器智能会有意识。也就是说，机器会像人一样思考。评论家们，如微软创始人之一的保罗•艾伦，则更进一步认为我们还未达到人工通用智能，即机器能够像人类一样执行任何需要智力的任务，因为我们缺乏关于意识的科学理论。正如伦敦帝国理工学院认知机器人研究者穆雷•沙纳罕（Murray Shanahan）所指出的那样，我们应该避免混淆认知和意识这两种概念。
哲学家康德认为智能与道德密不可分。神经学家David Chalmers在他的论文《非凡的哲学分析》中吸取了康德的著名观点，并将其运用于人工智能的提升中。如果这个观点是正确的话，我们可以想到AI因智力爆发性增长致使道德感急剧升高的状况。可以想到，ASI系统变得超级智能的同时会具有无上的道德感，因此我们可以认为它们是善良的。但是，这个“先进的AI从本质上将是好的、开明的”的观点是站不住脚的。
正如Armstrong指出，存在很多聪明的战犯。智力和道德感间的关系在人类中貌似并不存在，所以他怀疑该假设在其他智能形式中，恐怕也是难以成立的。
假设创造出比人类更伟大的AI，我们将面临一个严重的问题，那就是：控制问题。如何在家里安置以及控制ASI？如何确保ASI对人类是友好的？在这些问题上，未来主义者和AI理论家们完全不知所措。
最近，佐治亚理工学院的研究人员天真地认为AI可以通过阅读简单的故事来学习人类的价值观和社会习俗。这可能远不是读几个小故事能解决的。“人们推荐了很多可能解决整个AI控制问题的简单技巧，”阿姆斯特朗说。示例包括为ASI编写取悦人类的程序，或者仅仅使ASI作为人类的工具使用。再或者，我们可以将积极的概念，比如爱或尊敬整合进他的源代码。
为了防止ASI对社会只有单一偏激的看法，我们可以给它编写欣赏智力、文化和社会多样性的程序。
AI研究者兼Surfing Samurai机器人开发者Richard Loosemore认为大多数假设的AI毁灭世界的情景都不符合逻辑。人们总假想在这种情景下，AI可能会说：“我知道毁灭人类文明只是我的设计故障，但我不得不这么做。
”Loosemore指出如果AI像这样打算毁灭人类时，那它一生会很多这样的逻辑矛盾，也会因此摧毁自己的知识库，导致自己变得愚蠢，而不足以对我们造成伤害。他还断言，那些认为“AI只会按照指定程序做事”的人，与当初用这样的话评价电脑不具备灵活性的人一样，犯了同样的错误。
没有任何证据表明我们会被AI毁灭或无法控制它们。
正如AI研究者Eliezer Yudkowsky所说：“AI既不会恨，也不会爱，但人类由原子构成的，除了智能以外，人类还有感情。”牛津大学的哲学学者Nick Bostrom在他的书《超级智能：路径、危险与策略》中提到，真正的超级人工智能一旦完成，将比以往人类的任何发明都危险。
一些著名的学者如Elon Musk, Bill Gates, and Stephen Hawking（后者曾警告AI也许是人类史上最糟糕的错误）也提出了警告。
一月份，脸书创办者马克扎克伯格说我们不应该害怕AI，AI会为世界带来难以估量的好处。扎克伯格只说对了一半。我们随时准备从AI身上收获巨大的利益——从自动驾驶汽车到新药物的研制，但是没有人能保证AI的所有影响都是良性的。
高度智能化的系统也许了解某一特定任务的一切，例如解决令人厌烦的财务问题，或者黑进对手的系统。但是在这些特殊领域之外，高度智能系统会变得极其无知无觉。谷歌的DeepMind系统精通围棋，但除围棋以外，它在其他方面没有探索的理性和能力。
这是一个特别常见的错误认识，不加鉴别发布消息的媒体和好莱坞电影比如《终结者》系列使这一错误更加深入人心。如果一个超级人工智能比如天网想要毁灭人类，它不会使用端着机枪的机器人。其实还有更高效的办法，如散播瘟疫，引发纳米级灰雾（grey goo，具备自我复制能力的微小机器人）灾难，甚至仅仅破坏大气层。人工智能有潜在的危险，不是因为它所昭示的机器人的未来，而是它在世界上的自我定位。
的确，科幻作品被作家和未来主义者们用来预测美好的将来，但ASI所带来的图景完全不是一回事。更重要的是，与人类本性不同的AI不会让我们知道并预测它们确切的本性和形式。科幻作品考虑到我们人类是弱小的，大多数AI被设定地与人类很类似。
“有一些观点认为，即使是在人类中，也存在着多种类型的心智模式，你和你的邻居也是不同的，但人与人之间的心智区别要同其他可能存在的心智形式相比是微不足道的，”McIntyre说道。
人工智能把我们大部分的工作自动化和它能毁灭人类的潜在性，这是两件完全不相关的事情。根据《机器人的崛起》的作者Martin Ford所说，这两件事常常被混为一谈。
思考在遥远的将来AI的意义是很好的，但只有这不影响到我们思考未来的几十年遇到的问题时，这样做才有意义。其中最主要的是大规模的自动化。毫无疑问，人工智能将取代很多现存的职业，包括从车间工人到高级白领。一些专家预测在不久的将来美国的一半工作将被自动化所取代。但这不意味着我们没有能力应付局面。
最理想的情况是为我们人类实现人人称赞的目标，达到接近乌托邦的境界，无论是脑力劳动者还是体力劳动者，人人都从劳役中解放了出来。