正常行駛的自動駕駛儀突然駛?cè)肽嫘熊嚨馈?胸部的特殊貼紙就像披著隱形斗篷的斗篷。 它成功地從監(jiān)視系統(tǒng)中逃脫了。 戴上專用眼鏡，它很容易欺騙人臉識別系統(tǒng)，還可以用來與他人的手機解鎖或刷臉。 面對支付

時要小心，這可能是硬AI病毒！

最近，清華大學(xué)人工智能研究所的孵化企業(yè)為人工智能算法模型本身的安全性推出了Realsafe安全平臺。 根據(jù)介紹，該平臺可以快速緩解針對樣本的攻擊威脅。

人工智能感染哪種病毒？ 其安全問題的特點是什么？ 在人工智能時代，如何培育殺毒軟件成為具有獨特技能的病毒獵人？

是用于在極端和對抗環(huán)境中進(jìn)行AI算法安全性檢測和增強的人工智能安全平臺。 它包括兩個功能模塊：模型安全評估和防御解決方案。 該平臺內(nèi)置AI防攻擊和防御算法，可提供從安全評估到防御增強的整體解決方案。 北京科技大學(xué)計算機網(wǎng)絡(luò)與對策技術(shù)研究所所長顏懷志告訴《科學(xué)技術(shù)日報》，該平臺著重于模型和算法的安全檢測與強化，可以說是該平臺的一種殺毒工具。 人工智能算法。 根據(jù)嚴(yán)懷志的說法，這種針對樣本攻擊的惡意代碼通常稱為“ AI病毒”。 對手樣本是通過在數(shù)據(jù)集中故意添加細(xì)微干擾而形成的輸入樣本，這將導(dǎo)致模型以高置信度提供錯誤輸出。

”實際上，在實驗室中，使用對抗樣本可以測試許多訓(xùn)練和學(xué)習(xí)AI方法的分類效果，還可以使用對抗樣本進(jìn)行對抗訓(xùn)練，從而提高AI系統(tǒng)的分類效果。 ” 嚴(yán)懷志告訴《科學(xué)技術(shù)日報》。 換句話說，對手樣本可以被視為訓(xùn)練人工智能的一種手段。

“但在現(xiàn)實世界中，攻擊者可以使用反樣本來攻擊并惡意入侵AI系統(tǒng)，從而演變?yōu)榱钊祟^痛的'AI病毒'�！� 嚴(yán)懷志說，反樣本攻擊可以逃避檢測。 例如，在生物識別的應(yīng)用場景中，反樣本攻擊可以欺騙基于人工智能技術(shù)的身份識別和生命檢測系統(tǒng)。 2019年4月，比利時魯汶大學(xué)的研究人員發(fā)現(xiàn)，采用設(shè)計的打印圖案可以避免使用人工智能視頻監(jiān)控系統(tǒng)。 在現(xiàn)實世界中，許多AI系統(tǒng)很容易受到樣本攻擊。 嚴(yán)懷志介紹，一方面是因為AI系統(tǒng)非常重視應(yīng)用程序和輕安全性，而且很多AI系統(tǒng)根本沒有考慮到對抗樣本攻擊的問題。 另一方面，盡管一些AI系統(tǒng)已經(jīng)接受了對抗訓(xùn)練，但是由于許多缺陷（例如不完整的對抗樣本和不成熟的AI算法），它們無法阻止惡意攻擊樣本。

在毒害訓(xùn)練數(shù)據(jù)方面不同于傳統(tǒng)的網(wǎng)絡(luò)攻擊

360公司董事長兼首席執(zhí)行官周鴻yi曾說過，人工智能是由大數(shù)據(jù)進(jìn)行訓(xùn)練的，并且訓(xùn)練數(shù)據(jù)會被污染，也被稱為“數(shù)據(jù)中毒”- 通過將偽裝數(shù)據(jù)，惡意樣本和其他數(shù)據(jù)添加到訓(xùn)練數(shù)據(jù)中，將破壞數(shù)據(jù)的完整性，這將導(dǎo)致訓(xùn)練算法模型的決策偏差。 在中國信息通信安全研究院發(fā)布的《人工智能數(shù)據(jù)安全白皮書（2019）》（以下簡稱白皮書）中也提到了這一點。 白皮書指出，人工智能本身面臨的數(shù)據(jù)安全風(fēng)險包括：培訓(xùn)數(shù)據(jù)污染引起的人工智能決策錯誤； 智能系統(tǒng)在操作階??段由于數(shù)據(jù)異常（例如反樣本攻擊）而導(dǎo)致的操作錯誤；

值得注意的是，隨著人工智能與實體經(jīng)濟的深度融合，醫(yī)療數(shù)據(jù)集建設(shè)的迫切需求， 交通，金融等行業(yè)，使培訓(xùn)樣本鏈接網(wǎng)絡(luò)攻擊成為最直接，最有效的方法，具有極大的潛在危害。 例如，在軍事領(lǐng)域，通過信息偽裝的方式，可以誘發(fā)自主武器的發(fā)射或攻擊，從而帶來破壞性風(fēng)險。

白皮書還提到AI算法模型主要反映了數(shù)據(jù)的相關(guān)性及其特征統(tǒng)計，并沒有真正得到數(shù)據(jù)之間的因果關(guān)系。 因此，鑒于算法模型的缺陷，通過對數(shù)據(jù)輸入樣本增加不可察覺的干擾，算法模型輸出錯誤的結(jié)果。 以這種方式

，發(fā)生本文開頭提到的一種意外也就不足為奇了。 此外，模型竊取攻擊也值得注意。 由于算法模型需要在部署應(yīng)用程序中向用戶發(fā)布公共訪問接口，因此攻擊者可以在沒有任何先驗知識（訓(xùn)練數(shù)據(jù)，模型參數(shù)， 等），構(gòu)造與目標(biāo)模型具有非常高相似性的模型，以實現(xiàn)算法模型的盜竊。

嚴(yán)懷志在接受采訪時說，AI安全比功能安全更重要，通常是指AI系統(tǒng)被惡意數(shù)據(jù)（例如反樣本數(shù)據(jù)）欺騙，導(dǎo)致AI輸出與期望不一致甚至有害的結(jié)果。 結(jié)果。 “ Ai功能安全性從根本上不同于傳統(tǒng)的網(wǎng)絡(luò)安全性，后者強調(diào)機密性，完整性，可用性和其他信息安全性問題�！�

難以預(yù)防“中毒” AI技術(shù)還可以構(gòu)建網(wǎng)絡(luò)安全工具

嚴(yán)懷志表示，目前，預(yù)防人工智能的各種原因?qū)е隆爸卸尽钡睦щy，其原因從三個方面說明。

首先，許多AI開發(fā)人員和用戶都沒有意識到AI病毒的巨大風(fēng)險和危害，因此不可能重視和解決AI病毒的問題； 其次，由于AI處于高速發(fā)展階段，許多AI開發(fā)人員和制造商“蘿卜速度快，不洗泥”，他們沒有時間去關(guān)注安全問題，導(dǎo)致大量AI 具有固有安全缺陷的系統(tǒng)大量涌入應(yīng)用市場； 第三，AI盡管一些AI開發(fā)人員和供應(yīng)商已經(jīng)意識到AI病毒問題，但是由于缺乏技術(shù)能力，因此沒有有效的解決方案。

“當(dāng)然，網(wǎng)絡(luò)安全是一個高度對抗和動態(tài)的發(fā)展領(lǐng)域，這也為防病毒軟件領(lǐng)域打開了藍(lán)海市場。人工智能防病毒產(chǎn)業(yè)正面臨著巨大的發(fā)展機遇�！� 嚴(yán)懷志強調(diào)，反病毒軟件行業(yè)首先應(yīng)具有防范AI病毒的意識，然后在軟件技術(shù)和算法安全中注重信息安全和功能安全。

“在實際需求的驅(qū)動下，在高新技術(shù)的驅(qū)動下，有可能將AI殺毒的嚴(yán)峻挑戰(zhàn)變成反病毒軟件行業(yè)發(fā)展的主要機遇�！� 顏懷志強調(diào)，人工智能技術(shù)不僅可以帶來網(wǎng)絡(luò)安全問題，而且可以實現(xiàn)網(wǎng)絡(luò)安全。 一方面，人工智能的廣泛應(yīng)用帶來了許多安全隱患。 由技術(shù)缺陷引起的AI算法的安全風(fēng)險包括可能導(dǎo)致攻擊者控制AI系統(tǒng)的信息安全問題，以及可能導(dǎo)致攻擊者任意控制AI系統(tǒng)輸出的功能安全問題。 但是，另一方面，人工智能技術(shù)也可以成為構(gòu)建網(wǎng)絡(luò)空間安全的強大工具，主要體現(xiàn)在主動防御，威脅分析，策略生成，態(tài)勢感知，攻擊和防御對抗等許多方面。 “包括使用人工神經(jīng)網(wǎng)絡(luò)技術(shù)來檢測入侵，蠕蟲和其他安全風(fēng)險源；使用專家系統(tǒng)技術(shù)進(jìn)行安全計劃，安全運營中心管理等；此外，人工智能方法也有助于管理 網(wǎng)絡(luò)空間安全環(huán)境，例如打擊網(wǎng)絡(luò)欺詐�！� 嚴(yán)懷志說。 根據(jù)中國信息通信安全研究院的專家

，為了有效地控制人工智能的安全隱患，積極推動人工智能技術(shù)在安全領(lǐng)域的應(yīng)用，開展了人工智能安全管理 可以從法律法規(guī)，標(biāo)準(zhǔn)和規(guī)范，技術(shù)手段，安全評估，人才團隊，可控生態(tài)等方面構(gòu)建系統(tǒng)。（實習(xí)記者戴小培）