Trust AI@TüV SüD專欄第十四期：歐盟人工智能法案的被禁止人工智能系統(tǒng)清單強(qiáng)制實(shí)施

2025-02-13 17:00 3255

上海2025年2月13日 /美通社/ -- 2025年2月2日，歐盟《人工智能法案》被禁止人工智能系統(tǒng)清單生效。即日起，面向歐盟市場(chǎng)的AI系統(tǒng)提供商和部署商、基于AI的服務(wù)提供商、含有嵌入式AI的產(chǎn)品制造商將面臨合規(guī)性挑戰(zhàn)。為協(xié)助中國(guó)人工智能相關(guān)企業(yè)積極應(yīng)對(duì)這一合規(guī)性挑戰(zhàn)，TÜV南德意志集團(tuán)（以下簡(jiǎn)稱"TÜV南德"）推出AI系統(tǒng)的快速評(píng)估服務(wù)，幫助企業(yè)及時(shí)識(shí)別其基于AI的服務(wù)和AI相關(guān)產(chǎn)品中可能含有的被禁止功能，控制風(fēng)險(xiǎn)。

歐盟《人工智能法案》（Regulation (EU) 2024/1689）于2024年7月12日出版，并于20日后的8月1日生效，根據(jù)第113章的實(shí)施計(jì)劃，法案整體將在兩年后的2026年8月2日強(qiáng)制實(shí)施。然而，第5章"被禁止的人工智能實(shí)踐"提前于2025年2月2日強(qiáng)制實(shí)施。這意味著從該日期起，任何在歐盟市場(chǎng)提供含有被禁止人工智能的產(chǎn)品和服務(wù)的行為都將承擔(dān)相應(yīng)的法律后果。為了該禁止清單得到有效執(zhí)行，歐盟委員會(huì)還于2025年2月4日發(fā)布了《人工智能法案》所定義的"被禁止的人工智能實(shí)踐"的指南（以下簡(jiǎn)稱"指南"）。

該指南進(jìn)一步提供了對(duì)《人工智能法案》第5章（Article 5）所列被禁止人工智能實(shí)踐的解釋，以確保這些法規(guī)條款得到一致和有效的執(zhí)行。該指南再次強(qiáng)調(diào)了被禁止AI系統(tǒng)的供應(yīng)商和部署商可能會(huì)被處以最高3500萬(wàn)歐元或其上一財(cái)年全球年?duì)I業(yè)額的7%（以較高者為準(zhǔn)）的罰款。

八類被禁止的人工智能應(yīng)用

《人工智能法案》第5章定義了八類被禁止的人工智能應(yīng)用，以下為每種類型的具體定義，適用范圍和舉例。

法規(guī)章節(jié)	禁止項(xiàng)	內(nèi)容與舉例
Article 5(1)(a)	有害的操縱與欺詐	AI系統(tǒng)通過(guò)潛意識(shí)、故意操縱或欺騙性技術(shù)來(lái)影響消費(fèi)者的購(gòu)買(mǎi)決策，從而可能對(duì)消費(fèi)者造成經(jīng)濟(jì)上的傷害。 AI系統(tǒng)通過(guò)操縱性設(shè)計(jì)來(lái)影響用戶的情緒和行為，從而可能對(duì)用戶的心理健康和社會(huì)關(guān)系造成傷害。 AI系統(tǒng)通過(guò)設(shè)計(jì)高度成癮的游戲機(jī)制，誘導(dǎo)玩家過(guò)度消費(fèi)或沉迷于游戲，從而可能對(duì)玩家的心理健康和經(jīng)濟(jì)狀況造成傷害。
Article 5(1)(b)	對(duì)弱勢(shì)群體脆弱性的有害利用	AI系統(tǒng)利用兒童的年齡和認(rèn)知特點(diǎn)，通過(guò)操縱性設(shè)計(jì)誘導(dǎo)兒童采取某些行為，從而可能對(duì)兒童造成身體或心理上的傷害。例如，AI驅(qū)動(dòng)的玩具，通過(guò)設(shè)計(jì)吸引兒童進(jìn)行危險(xiǎn)行為，如鼓勵(lì)兒童攀爬高處或接觸危險(xiǎn)物品，從而可能導(dǎo)致兒童受傷。 AI系統(tǒng)通過(guò)分析殘疾人、老年人的行為模式，向他們推送特定的廣告或內(nèi)容，這些內(nèi)容可能對(duì)他們的心理健康產(chǎn)生負(fù)面影響，如誘導(dǎo)他們購(gòu)買(mǎi)不必要的產(chǎn)品或服務(wù)。 AI系統(tǒng)通過(guò)分析患有某些慢性病的患者的健康數(shù)據(jù)，向他們推送特定的醫(yī)療產(chǎn)品或服務(wù)廣告，這些廣告可能誘導(dǎo)他們購(gòu)買(mǎi)不必要的或無(wú)效的醫(yī)療產(chǎn)品，從而導(dǎo)致經(jīng)濟(jì)損失和健康風(fēng)險(xiǎn)。 AI系統(tǒng)通過(guò)分析低收入群體的消費(fèi)習(xí)慣，向他們推送高利率貸款或高風(fēng)險(xiǎn)投資的廣告，這些廣告可能誘導(dǎo)他們做出不利于自己的財(cái)務(wù)決策，從而導(dǎo)致經(jīng)濟(jì)上的損失。
Article 5(1)(c)	社會(huì)性評(píng)分	AI系統(tǒng)基于社會(huì)行為、個(gè)人或人格特征對(duì)自然人或人群進(jìn)行評(píng)估或分類，當(dāng)數(shù)據(jù)來(lái)自不相關(guān)的社會(huì)背景或這種處理不合理或與社會(huì)行為不成比例時(shí)，社會(huì)評(píng)分會(huì)導(dǎo)致有害或不利的處理結(jié)果。例如信用評(píng)分系統(tǒng)使用個(gè)人的社交媒體活動(dòng)或在線行為來(lái)評(píng)估其信用風(fēng)險(xiǎn)，導(dǎo)致在貸款或金融服務(wù)的獲取上對(duì)某些個(gè)人或群體產(chǎn)生不公平的待遇。例如招聘系統(tǒng)使用個(gè)人的教育背景或工作經(jīng)歷來(lái)評(píng)估其就業(yè)資格，導(dǎo)致對(duì)某些個(gè)人或群體的就業(yè)機(jī)會(huì)產(chǎn)生不公平的限制。
Article 5(1)(d)	個(gè)人犯罪風(fēng) 險(xiǎn)評(píng)估和預(yù) 測(cè)	使用AI系統(tǒng)預(yù)測(cè)個(gè)人未來(lái)犯罪的可能性，僅基于其個(gè)人特征或行為模式，可能導(dǎo)致對(duì)某些群體的系統(tǒng)性偏見(jiàn)和歧視。 AI系統(tǒng)在沒(méi)有具體證據(jù)的情況下，對(duì)個(gè)人進(jìn)行犯罪風(fēng)險(xiǎn)評(píng)估，可能導(dǎo)致對(duì)個(gè)人的不公正對(duì)待。
Article 5(1)(e)	無(wú)差別面部圖像抓取	AI系統(tǒng)無(wú)差別地抓取互聯(lián)網(wǎng)上的面部圖像來(lái)創(chuàng)建或擴(kuò)展面部識(shí)別數(shù)據(jù)庫(kù)。 AI系統(tǒng)通過(guò)閉路電視（監(jiān)控）無(wú)差別地抓取視頻中的面部圖像來(lái)創(chuàng)建或擴(kuò)展面部識(shí)別數(shù)據(jù)庫(kù)。在未經(jīng)個(gè)人明確同意前提下建立的識(shí)別數(shù)據(jù)庫(kù)用于執(zhí)法、商業(yè)和研究活動(dòng)。
Article 5(1)(f)	情感識(shí)別	在工作場(chǎng)所或教育機(jī)構(gòu)推斷情緒的AI系統(tǒng)，除非出于醫(yī)療或安全原因。例如監(jiān)控員工的情感狀態(tài)，以評(píng)估他們的工作表現(xiàn)或滿意度。招聘過(guò)程中用于推斷應(yīng)聘者的情感狀態(tài)，以評(píng)估他們的適合度。例如推斷學(xué)生的情感狀態(tài)，以評(píng)估他們的學(xué)習(xí)效果或參與度。
Article 5(1)(g)	生物特征分類	使用AI系統(tǒng)根據(jù)生物特征數(shù)據(jù)對(duì)個(gè)人進(jìn)行種族分類，可能導(dǎo)致對(duì)某些群體的系統(tǒng)性歧視。 AI系統(tǒng)根據(jù)生物特征數(shù)據(jù)對(duì)個(gè)人進(jìn)行政治觀點(diǎn)分類，可能導(dǎo)致對(duì)某些群體的不公正對(duì)待。可能導(dǎo)致對(duì)個(gè)人的系統(tǒng)性歧視和不公正對(duì)待，特別是在敏感領(lǐng)域如種族、政治觀點(diǎn)等。可能導(dǎo)致對(duì)某些群體的系統(tǒng)性偏見(jiàn)，影響社會(huì)公平和司法公正。
Article 5(1)(h)	實(shí)時(shí)遠(yuǎn)程生物特征識(shí)別	實(shí)時(shí)遠(yuǎn)程生物特征識(shí)別（Real-Time Remote Biometric Identification, RBI）是一種利用AI技術(shù)，通過(guò)遠(yuǎn)程方式實(shí)時(shí)識(shí)別個(gè)人身份的技術(shù)。它通常涉及將個(gè)人的生物特征數(shù)據(jù)（如面部圖像、指紋、虹膜掃描等）與存儲(chǔ)在數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行比對(duì)，以確定該個(gè)人的身份。實(shí)時(shí)遠(yuǎn)程生物特征識(shí)別在公共場(chǎng)所用于執(zhí)法目的被嚴(yán)格限制，除非滿足特定的例外情況，如尋找失蹤兒童、預(yù)防恐怖襲擊或識(shí)別犯罪嫌疑人等。這些例外情況需要經(jīng)過(guò)嚴(yán)格的授權(quán)程序，并確保有充分的法律依據(jù)和保護(hù)措施。

豁免條件

除了以上八項(xiàng)被禁止人工智能實(shí)踐的清單，《人工智能法案》第5章還詳細(xì)規(guī)定了豁免條件，如在某些特定情況下，可以使用通常被禁止的人工智能實(shí)踐的必要保障措施和條件。例如實(shí)時(shí)遠(yuǎn)程生物特征識(shí)別（RBI）系統(tǒng)在執(zhí)法領(lǐng)域的應(yīng)用，在滿足一定保障措施和條件下可以獲得例外許可：

針對(duì)特定受害者的搜索：例如被綁架、人口販賣(mài)或性剝削的受害者，以及失蹤人員。
防止具體威脅：例如防止對(duì)自然人的生命或身體安全構(gòu)成的具體、重大和迫在眉睫的威脅，或?qū)植酪u擊的真實(shí)和當(dāng)前或可預(yù)見(jiàn)的威脅。
定位或識(shí)別犯罪嫌疑人：例如涉嫌犯有《人工智能法案》附件II（Annex II）中所列犯罪的人員。

使用這些系統(tǒng)時(shí)必須遵循的嚴(yán)格條件包括事先授權(quán)、必要性和成比例性評(píng)估、地理和時(shí)間限制、基本權(quán)利影響評(píng)估（FRIA）、注冊(cè)要求、通知監(jiān)管機(jī)構(gòu)以及年度報(bào)告等。這些規(guī)定旨在確保在保護(hù)執(zhí)法需求的同時(shí)，充分保護(hù)個(gè)人的基本權(quán)利和自由。

具體的例外案例如下：

一種生物特征識(shí)別系統(tǒng)（非遠(yuǎn)程）用于驗(yàn)證人員是否具有進(jìn)入核電站的權(quán)限。當(dāng)人員在顯眼的攝像頭前進(jìn)行驗(yàn)證時(shí)，若系統(tǒng)拒絕其訪問(wèn)，隨后會(huì)嘗試識(shí)別該人員是否屬于恐怖分子監(jiān)視名單。該系統(tǒng)并非遠(yuǎn)程操作，且人員是主動(dòng)參與驗(yàn)證流程以獲取核電站準(zhǔn)入權(quán)限。該應(yīng)用場(chǎng)景不違反《人工智能法案》第5條的被禁止人工智能實(shí)踐的條款規(guī)定。

監(jiān)管與罰款

歐盟成員國(guó)指定的市場(chǎng)監(jiān)管機(jī)構(gòu)以及歐洲數(shù)據(jù)保護(hù)監(jiān)管機(jī)構(gòu)負(fù)責(zé)執(zhí)行《人工智能法案》中關(guān)于人工智能系統(tǒng)的規(guī)則和禁令?！度斯ぶ悄芊ò浮方⒘艘粋€(gè)分級(jí)的處罰體系，針對(duì)違反AI禁止項(xiàng)的最嚴(yán)重處罰如下：

對(duì)供應(yīng)商和部署者的罰款：從事被禁人工智能實(shí)踐的供應(yīng)商和部署者可能會(huì)被處以最高3500萬(wàn)歐元或其上一財(cái)年全球年?duì)I業(yè)額的7%（以較高者為準(zhǔn)）的罰款。
對(duì)公共機(jī)構(gòu)的處罰：對(duì)違反法案的公共機(jī)構(gòu)和機(jī)構(gòu)處以行政罰款，這些罰款最高可達(dá)150萬(wàn)歐元。

不適用范圍

包括國(guó)家安全、國(guó)防等用途、與第三國(guó)的司法和執(zhí)法合作等幾種情況不適用于《人工智能法案》。為了在促進(jìn)技術(shù)創(chuàng)新和保護(hù)公共利益之間取得平衡，《人工智能法案》還規(guī)定了一些排除情況。如，在投放市場(chǎng)前的研究與開(kāi)發(fā)階段，為了符合安全和倫理要求而進(jìn)行各式技術(shù)驗(yàn)證，以及純粹個(gè)人目的的非專業(yè)活動(dòng)以及以自由和開(kāi)源許可證發(fā)布的AI系統(tǒng)。

數(shù)據(jù)保護(hù)

AI法案的禁止條款與GDPR的原則密切相關(guān)，特別是在處理個(gè)人數(shù)據(jù)時(shí)。GDPR要求數(shù)據(jù)處理必須合法、公正和透明，旨在保護(hù)數(shù)據(jù)主體的個(gè)人數(shù)據(jù)權(quán)利。AI法案中的禁止條款，旨在防止通過(guò)人工智能技術(shù)對(duì)個(gè)人進(jìn)行操控、剝削或不公正對(duì)待，這與GDPR保護(hù)個(gè)人數(shù)據(jù)的目標(biāo)是一致的。因此需要同時(shí)確保不違反數(shù)據(jù)保護(hù)法律。例如，如果某個(gè)AI系統(tǒng)通過(guò)不當(dāng)方式收集和處理個(gè)人數(shù)據(jù)，導(dǎo)致對(duì)個(gè)人的操控或剝削，那么該系統(tǒng)就可能違反GDPR的規(guī)定。另外，對(duì)于具體AI系統(tǒng)還要關(guān)注廣告法、醫(yī)療器械法規(guī)、數(shù)字服務(wù)法等可能適用的法規(guī)。

結(jié)語(yǔ)

為協(xié)助中國(guó)人工智能相關(guān)企業(yè)積極應(yīng)對(duì)這一合規(guī)性挑戰(zhàn)， TÜV南德推出AI系統(tǒng)的快速評(píng)估服務(wù)，包含合規(guī)性評(píng)估、技術(shù)支持、培訓(xùn)和教育等服務(wù)，幫助中國(guó)出口商企業(yè)理解和滿足歐盟相關(guān)法規(guī)要求，避免踩到被禁止的AI實(shí)踐的紅線。通過(guò)這項(xiàng)服務(wù)，中國(guó)人工智能相關(guān)出口商可以快速確認(rèn)產(chǎn)品中沒(méi)有被禁止AI系統(tǒng)，并獲得有公信力的第三方證明。在AI產(chǎn)品或服務(wù)與被禁止清單有關(guān)時(shí)，獲得豁免或排除的專業(yè)建議。

消息來(lái)源：TüV南德意志集團(tuán)