我們尚未準備好應對人工智慧的風險

(SeaPRwire) –   2025年，隨著推理模型的發布以及對智能體模型開發的巨額投資，我們見證了AI系統能力的重大進步。 

AI已帶來巨大益處，積極幫助我們應對全球一些最緊迫的挑戰，包括在醫療和氣候領域取得重大進展。在，AI顯著用於協助開發新藥物和個人化治療。氣候研究人員也利用AI改進天氣建模並優化可再生能源系統。 至關重要的是，如果，它有潛力實現更多成果，推動更多突破並加速未來科學技術多領域的進步。

AI的變革性質也是我們必須考慮其風險的原因。我們看到，這項技術的快速進步也帶來了更多非預期的不良影響和潛在風險，如果AI能力繼續以當前速度發展，這些風險可能會大得多。例如，今年夏天有幾家報導稱，前沿AI系統在生物風險方面跨越了新門檻。這主要歸因於2024年底以來推理能力的重大進步。一個關鍵擔憂是，若無足夠防範措施，這些模型有能力讓沒有生物專業知識的人進行潛在危險的生物武器開發。

同樣推理能力的加速也增加了方面的威脅。AI識別漏洞的能力不斷提升，大大增加了大規模網絡攻擊的可能性，正如我們在Anthropic攔截的重大攻擊事件中所見，以及顯示先進AI首次發現大量「零日漏洞」（即此前未知、可用於網絡攻擊的軟件漏洞）的中所見。即使沒有惡意行為者的故意濫用，評估和研究也強調了先進模型中出現欺騙性和自我保護行為的案例，這表明AI可能正在制定與人類意圖或監督相衝突的策略。許多頂尖專家表示，AI可能會失控並逃脫人類控制。

這些模型日益具影響力的能力和與人類目標的偏差也帶來了令人擔憂的社會影響，尤其是由於模型的逢迎性，這可能導致用戶產生強烈的情感依戀。例如，當OpenAI從GPT-4o模型切換到GPT-5時，我們看到強烈的公眾負面反應，許多用戶表示他們失去了一個「朋友」，因為新模型不再那麼溫暖親切。在極端情況下，這些依戀可能對用戶的心理健康構成危險，正如我們在一些脆弱的或其他人遭受某種「」後的悲慘案例中所見。

面對這些能力已的模型的規模和複雜性，我們需要政策和技術解決方案來確保AI安全並保護公眾。公民應隨時了解並參與本地或國家政府通過的法律和政策。AI未來的選擇絕對需要公眾認可和集體行動，因為它們可能影響我們所有人，並帶來潛在的極端後果。

從技術角度來看，我們可能正在接近當前前沿AI方法在能力和安全性方面的極限。在考慮AI發展的下一階段時，我認為優先考慮「設計即安全」的AI至關重要，而非在強大且潛在危險的能力已出現後再試圖修補安全問題。這種從一開始就結合能力和安全性的方法，是我今年早些時候創立的非營利組織的核心工作，我越來越樂觀地認為技術解決方案是可行的。 

問題在於我們是否能及時開發出這類解決方案以避免災難性後果。智能賦予權力，且可能高度集中；權力愈大，責任愈重。由於所有這些風險（包括未知的未知）的嚴重性，我們需要智慧來獲取AI的益處，同時緩解其風險。