正常行駛的自動(dòng)駕駛儀突然駛?cè)肽嫘熊嚨馈?胸部的特殊貼紙就像披著隱形斗篷的斗篷。 它成功地從監(jiān)視系統(tǒng)中逃脫了。 戴上專用眼鏡，它很容易欺騙人臉識(shí)別系統(tǒng)，還可以用來(lái)與他人的手機(jī)解鎖或刷臉。 面對(duì)支付

時(shí)要小心，這可能是硬AI病毒！

最近，清華大學(xué)人工智能研究所的孵化企業(yè)為人工智能算法模型本身的安全性推出了Realsafe安全平臺(tái)。 根據(jù)介紹，該平臺(tái)可以快速緩解針對(duì)樣本的攻擊威脅。

人工智能感染哪種病毒？ 其安全問(wèn)題的特點(diǎn)是什么？ 在人工智能時(shí)代，如何培育殺毒軟件成為具有獨(dú)特技能的病毒獵人？

是用于在極端和對(duì)抗環(huán)境中進(jìn)行AI算法安全性檢測(cè)和增強(qiáng)的人工智能安全平臺(tái)。 它包括兩個(gè)功能模塊：模型安全評(píng)估和防御解決方案。 該平臺(tái)內(nèi)置AI防攻擊和防御算法，可提供從安全評(píng)估到防御增強(qiáng)的整體解決方案。 北京科技大學(xué)計(jì)算機(jī)網(wǎng)絡(luò)與對(duì)策技術(shù)研究所所長(zhǎng)顏懷志告訴《科學(xué)技術(shù)日?qǐng)?bào)》，該平臺(tái)著重于模型和算法的安全檢測(cè)與強(qiáng)化，可以說(shuō)是該平臺(tái)的一種殺毒工具。 人工智能算法。 根據(jù)嚴(yán)懷志的說(shuō)法，這種針對(duì)樣本攻擊的惡意代碼通常稱為“ AI病毒”。 對(duì)手樣本是通過(guò)在數(shù)據(jù)集中故意添加細(xì)微干擾而形成的輸入樣本，這將導(dǎo)致模型以高置信度提供錯(cuò)誤輸出。

”實(shí)際上，在實(shí)驗(yàn)室中，使用對(duì)抗樣本可以測(cè)試許多訓(xùn)練和學(xué)習(xí)AI方法的分類效果，還可以使用對(duì)抗樣本進(jìn)行對(duì)抗訓(xùn)練，從而提高AI系統(tǒng)的分類效果。 ” 嚴(yán)懷志告訴《科學(xué)技術(shù)日?qǐng)?bào)》。 換句話說(shuō)，對(duì)手樣本可以被視為訓(xùn)練人工智能的一種手段。

“但在現(xiàn)實(shí)世界中，攻擊者可以使用反樣本來(lái)攻擊并惡意入侵AI系統(tǒng)，從而演變?yōu)榱钊祟^痛的'AI病毒'�！� 嚴(yán)懷志說(shuō)，反樣本攻擊可以逃避檢測(cè)。 例如，在生物識(shí)別的應(yīng)用場(chǎng)景中，反樣本攻擊可以欺騙基于人工智能技術(shù)的身份識(shí)別和生命檢測(cè)系統(tǒng)。 2019年4月，比利時(shí)魯汶大學(xué)的研究人員發(fā)現(xiàn)，采用設(shè)計(jì)的打印圖案可以避免使用人工智能視頻監(jiān)控系統(tǒng)。 在現(xiàn)實(shí)世界中，許多AI系統(tǒng)很容易受到樣本攻擊。 嚴(yán)懷志介紹，一方面是因?yàn)锳I系統(tǒng)非常重視應(yīng)用程序和輕安全性，而且很多AI系統(tǒng)根本沒(méi)有考慮到對(duì)抗樣本攻擊的問(wèn)題。 另一方面，盡管一些AI系統(tǒng)已經(jīng)接受了對(duì)抗訓(xùn)練，但是由于許多缺陷（例如不完整的對(duì)抗樣本和不成熟的AI算法），它們無(wú)法阻止惡意攻擊樣本。

在毒害訓(xùn)練數(shù)據(jù)方面不同于傳統(tǒng)的網(wǎng)絡(luò)攻擊

360公司董事長(zhǎng)兼首席執(zhí)行官周鴻yi曾說(shuō)過(guò)，人工智能是由大數(shù)據(jù)進(jìn)行訓(xùn)練的，并且訓(xùn)練數(shù)據(jù)會(huì)被污染，也被稱為“數(shù)據(jù)中毒”- 通過(guò)將偽裝數(shù)據(jù)，惡意樣本和其他數(shù)據(jù)添加到訓(xùn)練數(shù)據(jù)中，將破壞數(shù)據(jù)的完整性，這將導(dǎo)致訓(xùn)練算法模型的決策偏差。 在中國(guó)信息通信安全研究院發(fā)布的《人工智能數(shù)據(jù)安全白皮書(shū)（2019）》（以下簡(jiǎn)稱白皮書(shū)）中也提到了這一點(diǎn)。 白皮書(shū)指出，人工智能本身面臨的數(shù)據(jù)安全風(fēng)險(xiǎn)包括：培訓(xùn)數(shù)據(jù)污染引起的人工智能決策錯(cuò)誤； 智能系統(tǒng)在操作階??段由于數(shù)據(jù)異常（例如反樣本攻擊）而導(dǎo)致的操作錯(cuò)誤；

值得注意的是，隨著人工智能與實(shí)體經(jīng)濟(jì)的深度融合，醫(yī)療數(shù)據(jù)集建設(shè)的迫切需求， 交通，金融等行業(yè)，使培訓(xùn)樣本鏈接網(wǎng)絡(luò)攻擊成為最直接，最有效的方法，具有極大的潛在危害。 例如，在軍事領(lǐng)域，通過(guò)信息偽裝的方式，可以誘發(fā)自主武器的發(fā)射或攻擊，從而帶來(lái)破壞性風(fēng)險(xiǎn)。

白皮書(shū)還提到AI算法模型主要反映了數(shù)據(jù)的相關(guān)性及其特征統(tǒng)計(jì)，并沒(méi)有真正得到數(shù)據(jù)之間的因果關(guān)系。 因此，鑒于算法模型的缺陷，通過(guò)對(duì)數(shù)據(jù)輸入樣本增加不可察覺(jué)的干擾，算法模型輸出錯(cuò)誤的結(jié)果。 以這種方式

，發(fā)生本文開(kāi)頭提到的一種意外也就不足為奇了。 此外，模型竊取攻擊也值得注意。 由于算法模型需要在部署應(yīng)用程序中向用戶發(fā)布公共訪問(wèn)接口，因此攻擊者可以在沒(méi)有任何先驗(yàn)知識(shí)（訓(xùn)練數(shù)據(jù)，模型參數(shù)， 等），構(gòu)造與目標(biāo)模型具有非常高相似性的模型，以實(shí)現(xiàn)算法模型的盜竊。

嚴(yán)懷志在接受采訪時(shí)說(shuō)，AI安全比功能安全更重要，通常是指AI系統(tǒng)被惡意數(shù)據(jù)（例如反樣本數(shù)據(jù)）欺騙，導(dǎo)致AI輸出與期望不一致甚至有害的結(jié)果。 結(jié)果。 “ Ai功能安全性從根本上不同于傳統(tǒng)的網(wǎng)絡(luò)安全性，后者強(qiáng)調(diào)機(jī)密性，完整性，可用性和其他信息安全性問(wèn)題�！�

難以預(yù)防“中毒” AI技術(shù)還可以構(gòu)建網(wǎng)絡(luò)安全工具

嚴(yán)懷志表示，目前，預(yù)防人工智能的各種原因?qū)е隆爸卸尽钡睦щy，其原因從三個(gè)方面說(shuō)明。

首先，許多AI開(kāi)發(fā)人員和用戶都沒(méi)有意識(shí)到AI病毒的巨大風(fēng)險(xiǎn)和危害，因此不可能重視和解決AI病毒的問(wèn)題； 其次，由于AI處于高速發(fā)展階段，許多AI開(kāi)發(fā)人員和制造商“蘿卜速度快，不洗泥”，他們沒(méi)有時(shí)間去關(guān)注安全問(wèn)題，導(dǎo)致大量AI 具有固有安全缺陷的系統(tǒng)大量涌入應(yīng)用市場(chǎng)； 第三，AI盡管一些AI開(kāi)發(fā)人員和供應(yīng)商已經(jīng)意識(shí)到AI病毒問(wèn)題，但是由于缺乏技術(shù)能力，因此沒(méi)有有效的解決方案。

“當(dāng)然，網(wǎng)絡(luò)安全是一個(gè)高度對(duì)抗和動(dòng)態(tài)的發(fā)展領(lǐng)域，這也為防病毒軟件領(lǐng)域打開(kāi)了藍(lán)海市場(chǎng)。人工智能防病毒產(chǎn)業(yè)正面臨著巨大的發(fā)展機(jī)遇�！� 嚴(yán)懷志強(qiáng)調(diào)，反病毒軟件行業(yè)首先應(yīng)具有防范AI病毒的意識(shí)，然后在軟件技術(shù)和算法安全中注重信息安全和功能安全。

“在實(shí)際需求的驅(qū)動(dòng)下，在高新技術(shù)的驅(qū)動(dòng)下，有可能將AI殺毒的嚴(yán)峻挑戰(zhàn)變成反病毒軟件行業(yè)發(fā)展的主要機(jī)遇。” 顏懷志強(qiáng)調(diào)，人工智能技術(shù)不僅可以帶來(lái)網(wǎng)絡(luò)安全問(wèn)題，而且可以實(shí)現(xiàn)網(wǎng)絡(luò)安全。 一方面，人工智能的廣泛應(yīng)用帶來(lái)了許多安全隱患。 由技術(shù)缺陷引起的AI算法的安全風(fēng)險(xiǎn)包括可能導(dǎo)致攻擊者控制AI系統(tǒng)的信息安全問(wèn)題，以及可能導(dǎo)致攻擊者任意控制AI系統(tǒng)輸出的功能安全問(wèn)題。 但是，另一方面，人工智能技術(shù)也可以成為構(gòu)建網(wǎng)絡(luò)空間安全的強(qiáng)大工具，主要體現(xiàn)在主動(dòng)防御，威脅分析，策略生成，態(tài)勢(shì)感知，攻擊和防御對(duì)抗等許多方面。 “包括使用人工神經(jīng)網(wǎng)絡(luò)技術(shù)來(lái)檢測(cè)入侵，蠕蟲(chóng)和其他安全風(fēng)險(xiǎn)源；使用專家系統(tǒng)技術(shù)進(jìn)行安全計(jì)劃，安全運(yùn)營(yíng)中心管理等；此外，人工智能方法也有助于管理 網(wǎng)絡(luò)空間安全環(huán)境，例如打擊網(wǎng)絡(luò)欺詐�！� 嚴(yán)懷志說(shuō)。 根據(jù)中國(guó)信息通信安全研究院的專家

，為了有效地控制人工智能的安全隱患，積極推動(dòng)人工智能技術(shù)在安全領(lǐng)域的應(yīng)用，開(kāi)展了人工智能安全管理 可以從法律法規(guī)，標(biāo)準(zhǔn)和規(guī)范，技術(shù)手段，安全評(píng)估，人才團(tuán)隊(duì)，可控生態(tài)等方面構(gòu)建系統(tǒng)。