會員登錄
本報訊（記者沈春蕾）人工智能（AI）模型究竟是否安全，攻擊和防御能力如何？日前，清華大學(xué)、阿里安全、瑞萊智慧聯(lián)合推出了AI攻防對抗基準(zhǔn)平臺。該平臺致力于對AI防御和攻擊算法進(jìn)行自動化、科學(xué)評估，AI安全基準(zhǔn)依托清華大學(xué)人工智能研究院研發(fā)的人工智能對抗安全算法平臺ARES建立。
參與該評測基準(zhǔn)平臺設(shè)計的阿里安全高級算法研究人員越豐打了一個比喻：“就像打仗一樣，攻擊者可能用水攻，也可能用火攻，還可能偷偷挖條地道來攻打一座城；守城的人不能只考慮一種可能性，必須布防應(yīng)對許多的攻擊可能性?！?/p>
美國伊利諾伊大學(xué)計算機(jī)科學(xué)系教授李博認(rèn)為，機(jī)器學(xué)習(xí)在推理和決策中的快速發(fā)展已使其廣泛部署于自動駕駛、智慧城市、智能醫(yī)療等應(yīng)用中，但傳統(tǒng)的機(jī)器學(xué)習(xí)系統(tǒng)通常假定訓(xùn)練和測試數(shù)據(jù)遵循相同或相似的分布，并未考慮潛在攻擊者惡意修改兩種數(shù)據(jù)分布。
他解釋道，這相當(dāng)于在一個人成長的過程中，故意對他進(jìn)行錯誤的行為引導(dǎo)。惡意攻擊者可以在測試時設(shè)計小幅度擾動，誤導(dǎo)機(jī)器學(xué)習(xí)模型的預(yù)測，或?qū)⒕脑O(shè)計的惡意實例注入訓(xùn)練數(shù)據(jù)中，通過攻擊訓(xùn)練引發(fā)AI系統(tǒng)產(chǎn)生錯誤判斷。這好比是從AI“基因”上做了改變，讓AI在訓(xùn)練過程中按錯誤的樣本進(jìn)行訓(xùn)練，最終變成被操控的“傀儡”，只是使用的人全然不知而已。
記者獲悉，不同于之前只包含零散攻防模型的對抗攻防基準(zhǔn)，此次三方聯(lián)合推出的AI對抗安全基準(zhǔn)基本包括了目前主流的人工智能對抗攻防模型，涵蓋了數(shù)十種典型的攻防算法。不同算法的比測盡量采用相同的實驗設(shè)定和一致的度量標(biāo)準(zhǔn)，從而在最大限度上保證了比較公平性。
除此之外，此次發(fā)布的AI安全排行榜也包括了在剛剛結(jié)束的CVPR2021人工智能攻防競賽中誕生的前5名代表隊的攻擊算法。此次競賽獲得了全球2000多支代表隊提交最新算法，進(jìn)一步提升了該安全基準(zhǔn)的科學(xué)性和可信性。
清華大學(xué)計算機(jī)科學(xué)與技術(shù)系教授朱軍告訴《中國科學(xué)報》：“通過對AI算法的攻擊結(jié)果和防御結(jié)果進(jìn)行排名、比較不同算法性能建立的AI安全基準(zhǔn)具有重要學(xué)術(shù)意義，可以更加公平、全面地衡量不同算法的效果?！?/p>
清華大學(xué)、阿里安全、瑞萊智慧三方都表示，該基準(zhǔn)評測平臺不是專屬于某一家機(jī)構(gòu)或公司搭建的平臺，需要工業(yè)界和學(xué)術(shù)界的共同參與才能把它打造為真正受認(rèn)可的全面、權(quán)威AI安全評估平臺。
《中國科學(xué)報》 (2021-06-10 第3版 信息技術(shù))關(guān)注【深圳科普】微信公眾號，在對話框：
回復(fù)【最新活動】，了解近期科普活動
回復(fù)【科普行】，了解最新深圳科普行活動
回復(fù)【研學(xué)營】，了解最新科普研學(xué)營
回復(fù)【科普課堂】，了解最新科普課堂
回復(fù)【科普書籍】，了解最新科普書籍
回復(fù)【團(tuán)體定制】，了解最新團(tuán)體定制活動
回復(fù)【科普基地】，了解深圳科普基地詳情
回復(fù)【觀鳥知識】，學(xué)習(xí)觀鳥相關(guān)科普知識
回復(fù)【博物學(xué)院】，了解更多博物學(xué)院活動詳情
深圳市寶安區(qū)國際會展中心20號館
- 參加最新科普活動
- 認(rèn)識科普小朋友
- 成為科學(xué)小記者
