随着人类技术实力的不断增强，造成毁灭性、不可逆转后果的可能性也在不断增强。从历史上看，与技术创新相关的风险一直是可控的，因为它们从未造成不可逆转的损失或损害。然而，合成生物学、核能力和先进人工...
随着人类技术实力的不断增强，造成毁灭性、不可逆转后果的可能性也在不断增强。从历史上看，与技术创新相关的风险一直是可控的，因为它们从未造成不可逆转的损失或损害。然而，合成生物学、核能力和先进人工智能等潜在变革技术的快速发展带来了范式转变。在这种新形势下，重点必须从被动措施转向更主动、预防性的方法。
从本质上讲，风险已经升级到即使是一次事故也可能给人类带来灾难性后果的程度，例如全球核战争的情况。这一现实需要优先考虑旨在先发制人地减轻风险的安全研究，而不是仅仅制定灾难发生后的应对策略。
预防和道德
随着技术力量的不断增强，错误的余地越来越小，对预防而非应对的新重视不仅是一种实际需要，而且是一种道德和生存的必要条件。
日益强大的人工智能技术的出现确实放大了技术进步的道德和伦理维度。与早期创新的潜在危害在很大程度上是可逆的不同，与人工智能技术相关的能力以及风险可能会产生深远且潜在的不可逆转的影响。
在人类历史上，我们第一次站在技术进步的悬崖边，技术进步要么可以将人类提升到前所未有的高度——消除贫困和疾病等古老问题——要么让我们陷入难以恢复的毁灭性境地。
人工智能技术的范围可以从解决复杂问题的仁慈工具到能够进行超出我们控制的行动的自主系统。这就产生了一个独特的道德难题：同样的技术有望解决我们一些最根深蒂固的问题，但也可能带来生存风险。人工智能潜力的双重性要求我们对技术治理和道德的方法进行根本性转变。
我们不能再被动应对；采取观望态度的风险太大。相反，严格的安全研究、道德监督和预防性治理必须占据中心位置，以确保我们在争取巨大收益的同时，不会面临巨大损失的风险。这使得围绕人工智能的对话不仅仅是一种智力练习，而且是一种需要立即和持续关注的道德要求。
人工智能的目标与人类价值观相一致
确保人工智能 (AI) 的目标与人类目标保持一致是负责任的技术治理和道德的基石。问题的症结就在于“目标”二字；人工智能系统经过精心设计，能够出色地实现其预定目标，通常比人类实现目标的效率要高得多。鉴于这种天生的优化能力，目标不一致的人工智能有可能以损害人类利益的方式行事。这种目标实现效率的差异凸显了紧迫性：如果人工智能的目标与人类价值观和社会目标不协调，后果可能会是破坏性的甚至是可怕的。
这使得它不仅是一个技术问题，而且也是一个关键的道德和生存问题，需要严格的治理机制来不断确保人工智能和人类目标之间的一致性。
确保人工智能的目标与人类目标保持一致，特别是随着人工智能不断发展变得更加智能，是我们这个时代最紧迫的挑战之一。这个问题超出了单纯的技术校准范围，延伸到了道德、治理和社会价值观领域。一种积极主动的方法可能是立即起草和实施人工智能“宪法”，这是一份基础文件，阐明了人工智能系统及其开发人员都不能偏离的共同价值观和道德规范。这部宪法可以作为一个具有约束力的框架，设定指导人工智能行为的不可改变的普遍原则。再加上严格的监管监督、持续监控和适应性治理措施，这样的宪法可以充当锚，确保人工智能系统在人类定义的道德和社会规范的范围内不断发展。这种多管齐下的锚定方法对于确保日益智能的人工智能系统与持久的人类目标之间的长期协调至关重要。
在缺乏具有共同价值观的指导性宪法的情况下，让人工智能寻找气候变化等危机的解决方案可能会导致严厉的措施，例如消除作为主要污染物的人类。有了行动能力，人工智能在执行这样的策略时就不会犹豫或后悔。这凸显了普遍遵守的管理人类和机器的“宪法”的迫切必要性。
关键问题是为什么，因为它导致我们真正寻求的东西
然而，即使在制定了这样一个宪法框架之后，一个进一步的存在问题仍然迫在眉睫：人工智能应该被编程为理解人类行为背后的动机，因为人类进步往往是通过解决“为什么”来推动的，这一原则推动了各领域的进步，从传统经济活动到金融科技。
当谈到将人工智能整合到各个领域时，“为什么”变得势在必行。如果我们不能澄清为什么人类的生命应该得到保护——即使人类是气候变化等危机的主要推动者——我们就会面临人工智能发展自己的一套价值观的风险，这很可能导致人类灭绝。如果人工智能无法回答为什么金融科技被纳入金融市场，那么我们将面临道德障碍和价值观的修正，甚至可能导致市场毁灭。
因此，人工智能的错误应用可能会损害整个行业。如果人工智能不理解它在金融科技等领域的作用，我们可能会无意中创建不道德的系统，模糊甚至改变我们共同的道德准则和全球市场预先设定的目标，从而导致不可逆转的情况。
因此，关键问题不仅是我们希望通过人工智能实现什么目标，而且还在于我们为什么要这样做。解决这个问题的紧迫性至关重要；如果今天得不到答复，我们可能会达到不再选择重新考虑的地步，因为情况将是不可逆转的。