人工智能带来的灭绝风险是当前全球学者、政策制定者及各类机构共同关注的问题。为了应对这些风险，人们正积极推动安全且有益的人工智能技术发展。人工智能安全研究、伦理准则的制定以及国际合作等举措，正致力于降低通用人工智能（AGI）可能带来的生存性风险。
什么是人工智能的灭绝风险？
“人工智能的灭绝风险”这一概念，是指若人工智能的开发和管理不当，可能对人类构成生存性威胁的担忧。这一观点主要围绕通用人工智能（AGI）展开，通用人工智能是指具有人类级别智能与能力的系统，其潜在后果成为长期风险讨论的核心。
以下是关于 AI 灭绝风险的几个关键点：
超智能 AI：主要担忧在于通用人工智能一旦发展成超越人类智能的“超智能 AI”，可能会以与人类价值或利益不一致的方式行事。
价值对齐问题：通用人工智能可能无法理解或考虑人类价值，从而追求自身目标而引发灾难性后果。如何确保 AI 与人类价值观保持一致，是当前研究的一大难题。
意想不到的后果：即便是本意良善的高级 AI 系统，也可能因复杂的决策机制而产生不可预见的结果，对人类构成威胁。
控制与安全机制：确保 AGI 不会有意或无意地造成伤害，需要构建强有力的控制手段与安全协议。
竞争压力：有观点认为，企业或国家间可能为抢占 AGI 主导地位而展开竞赛，从而忽视必要的安全保障。
伦理考量：围绕 AGI 风险的讨论也包括伦理层面，例如开发者的道德责任、权力集中问题，以及科技成果的公平获取等。
尽管 AI 灭绝风险仍是充满争议与探索性的课题，但推动负责任的 AI 发展、强化安全保障以及持续开展伦理讨论，始终是确保 AI 造福人类、避免成为威胁的关键所在。
人工智能安全中心（CAIS）发布的公开声明是什么？
人工智能安全中心（Center for AI Safety, 简称 CAIS）是一个非营利机构，致力于通过开展安全研究、培养 AI 安全人才队伍，以及推动安全标准制定，以降低人工智能可能带来的社会级风险。
2023 年 5 月 30 日，CAIS 发布了一份关于 AI 风险的公开声明，声明由 30 多位人工智能专家与公众人物联署，其中包括 Geoffrey Hinton、Yoshua Bengio、Demis Hassabis、Sam Altman、Bill Gates、Ted Lieu 等人。声明表达了他们对高级 AI 所带来最严重风险（如人类灭绝威胁）的关注，声明内容如下：
“应将减少 AI 灭绝风险作为全球优先事项，和应对大流行病、核战争等社会规模风险同等看待。”
该声明旨在打破公开表达此类担忧的障碍，唤起公众对越来越多专家和知名人士所持共同立场的关注，并鼓励更多 AI 科学家和公众人物加入签署行列，共同探讨 AI 风险议题。
结语
本文探讨了人工智能可能带来的灭绝风险。需要强调的是，这一风险属于高度推测性、长期性的担忧。然而，正是这种潜在可能性，促使我们必须以谨慎、负责任的态度推进人工智能的开发，持续强化安全机制与伦理监督，确保这项技术真正服务于人类利益，而非威胁人类生存。
