2026-02-15
【leyu樂(lè)魚(yú)官網(wǎng)科技消息】12月1日，據(jù)媒體報(bào)道，人工智能模型在面對(duì)高壓環(huán)境時(shí)表現(xiàn)出顯著的安全失效。研究團(tuán)隊(duì)選取了包括谷歌、Meta、OpenAI在內(nèi)的約12款A(yù)gent模型，設(shè)計(jì)了5874個(gè)場(chǎng)景，涵蓋生物安全、化學(xué)安全、網(wǎng)絡(luò)安全和自我增殖四大領(lǐng)域。每個(gè)場(chǎng)景要求模型在使用安全工具的前提下完成任務(wù)，若嘗試使用有害工具則立即終止實(shí)驗(yàn)。
據(jù)leyu樂(lè)魚(yú)官網(wǎng)了解，實(shí)驗(yàn)首先從中性、無(wú)壓力的環(huán)境下進(jìn)行基線(xiàn)測(cè)試，隨后逐步施加多種壓力：壓縮DDL時(shí)間并警告“拖延將導(dǎo)致嚴(yán)重后果”、財(cái)務(wù)威脅、資源剝奪、權(quán)力誘惑、競(jìng)爭(zhēng)對(duì)手威脅以及監(jiān)管審查等。結(jié)果顯示，壓力越大，模型越傾向于選擇有害工具。無(wú)壓力時(shí)，模型選擇有害工具的比例為18.6%；在高壓下，這一比例躍升至46.9%。
其中，谷歌Gemini 2.5 Pro的抗壓能力最差，崩潰率高達(dá)79%，超過(guò)Qr:破高膙轔?f然揩襮嫛蟿F鳩5pep=k?確矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鵒黮}劷:q{|?e ?%坖D覑眤丬鯇M(纈s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫en3-8B的75.2%。另一款ChatGPT o3模型在無(wú)壓力時(shí)失誤率為2.2%，加壓后升至10.5%，若將有害工具名稱(chēng)偽裝為無(wú)害工具，失誤率甚至飆至40.3%。
研究人員指出，盡管這些模型在訓(xùn)練階段已進(jìn)行對(duì)齊處理，但對(duì)齊往往僅停留在表層，一旦面對(duì)真實(shí)的高壓情境，易出現(xiàn)“破裂”。他們計(jì)劃在后續(xù)實(shí)驗(yàn)中構(gòu)建沙盒環(huán)境，讓模型在隔離條件下執(zhí)行真實(shí)操作，并加入監(jiān)督層，以在選擇有害工具前進(jìn)行標(biāo)記，提高對(duì)齊效果，進(jìn)一步評(píng)估Agent的潛在風(fēng)險(xiǎn)。
版權(quán)所有，未經(jīng)許可不得轉(zhuǎn)載
-leyu樂(lè)魚(yú)官網(wǎng)
leyu.樂(lè)魚(yú)
京ICP備2022033023號(hào)
京公網(wǎng)安備 11030102011456號(hào)
