人工智能帶來的滅絕風險是當前全球學者、政策制定者及各類機構共同關註的問題。為了應對這些風險，人們正積極推動安全且有益的人工智能技術發展。人工智能安全研究、倫理準則的制定以及國際合作等舉措，正致力於降低通用人工智能（AGI）可能帶來的生存性風險。
什麽是人工智能的滅絕風險？
“人工智能的滅絕風險”這壹概念，是指若人工智能的開發和管理不當，可能對人類構成生存性威脅的擔憂。這壹觀點主要圍繞通用人工智能（AGI）展開，通用人工智能是指具有人類級別智能與能力的系統，其潛在後果成為長期風險討論的核心。
以下是關於 AI 滅絕風險的幾個關鍵點：
超智能 AI：主要擔憂在於通用人工智能壹旦發展成超越人類智能的“超智能 AI”，可能會以與人類價值或利益不壹致的方式行事。
價值對齊問題：通用人工智能可能無法理解或考慮人類價值，從而追求自身目標而引發災難性後果。如何確保 AI 與人類價值觀保持壹致，是當前研究的壹大難題。
意想不到的後果：即便是本意良善的高級 AI 系統，也可能因復雜的決策機制而產生不可預見的結果，對人類構成威脅。
控制與安全機制：確保 AGI 不會有意或無意地造成傷害，需要構建強有力的控制手段與安全協議。
競爭壓力：有觀點認為，企業或國家間可能為搶占 AGI 主導地位而展開競賽，從而忽視必要的安全保障。
倫理考量：圍繞 AGI 風險的討論也包括倫理層面，例如開發者的道德責任、權力集中問題，以及科技成果的公平獲取等。
盡管 AI 滅絕風險仍是充滿爭議與探索性的課題，但推動負責任的 AI 發展、強化安全保障以及持續開展倫理討論，始終是確保 AI 造福人類、避免成為威脅的關鍵所在。
人工智能安全中心（CAIS）發布的公開聲明是什麽？
人工智能安全中心（Center for AI Safety, 簡稱 CAIS）是壹個非營利機構，致力於通過開展安全研究、培養 AI 安全人才隊伍，以及推動安全標準制定，以降低人工智能可能帶來的社會級風險。
2023 年 5 月 30 日，CAIS 發布了壹份關於 AI 風險的公開聲明，聲明由 30 多位人工智能專家與公眾人物聯署，其中包括 Geoffrey Hinton、Yoshua Bengio、Demis Hassabis、Sam Altman、Bill Gates、Ted Lieu 等人。聲明表達了他們對高級 AI 所帶來最嚴重風險（如人類滅絕威脅）的關註，聲明內容如下：
“應將減少 AI 滅絕風險作為全球優先事項，和應對大流行病、核戰爭等社會規模風險同等看待。”
該聲明旨在打破公開表達此類擔憂的障礙，喚起公眾對越來越多專家和知名人士所持共同立場的關註，並鼓勵更多 AI 科學家和公眾人物加入簽署行列，共同探討 AI 風險議題。
結語
本文探討了人工智能可能帶來的滅絕風險。需要強調的是，這壹風險屬於高度推測性、長期性的擔憂。然而，正是這種潛在可能性，促使我們必須以謹慎、負責任的態度推進人工智能的開發，持續強化安全機制與倫理監督，確保這項技術真正服務於人類利益，而非威脅人類生存。
