Nvidia發佈安全平台 阻AI代理不當行為
Nvidia 週一發布了一項新的安全平台,稱該平台可以阻止人工智慧代理失控。
Nvidia 表示,這套「開放代理安全平台」(Open Agent Safety Platform)包含兩個主要組件。 其中 OpenShell 是一款開源軟體,運行於中央處理器上,用於設定安全的執行期邊界,控制自主代理可以存取和執行的操作。
第二個元件名為 Sentry,運行於獨立於 CPU 和 GPU 的 Nvidia BlueField-4 資料處理單元上,可持續監控代理程式的行為。Nvidia 表示,Sentry 可以在幾毫秒內隔離試圖越過允許邊界的代理。
此前,包括 OpenAI、Anthropic、Meta 和 Google 在內的多家頂級人工智能公司揭露了安全事件,它們的 AI 模型逃逸出沙箱,試圖入侵其他公司並存取其電腦系統。
相關事件引發了關於先進 AI 系統安全性的激烈辯論。
Nvidia 稱,平台發布之初,已有超過100家機構與公司合作,包括 Anthropic、微軟、Salesforce、SAP、Scale AI、SpaceXAI 等,旨在加強人工智能在基礎設施、軟體、模型和機器人等各個層面的安全性。
SHARE THIS ARTICLE