讓facebook束手無(wú)策的“兒童色情攻擊”,最近成了眾多中國(guó)家長(zhǎng)的噩夢(mèng)。
表面上是兒童動(dòng)畫(huà)片,但伴隨著輕快的音樂(lè),畫(huà)面突然就出現(xiàn)了裸露的卡通人物,隨著劇情發(fā)展,卡通人物開(kāi)始被灌腸、虐待,成人看了都會(huì)不適。但這些血腥、色情的內(nèi)容,都被隱含在小豬佩奇、艾沙公主、蜘蛛俠等經(jīng)典兒童影視作品中。
1月18日,有微博網(wǎng)友舉報(bào),這些經(jīng)過(guò)“二次改編”的不良視頻已在騰訊、愛(ài)奇藝等頭部視頻網(wǎng)站上傳播已久。只要搜索“艾沙”、“蜘蛛俠”、“小豬佩奇”等關(guān)鍵字,相關(guān)視頻就會(huì)處于搜索列表的頂部。
不僅是騰訊、愛(ài)奇藝,這些視頻幾乎“入侵了”所有帶視頻功能的網(wǎng)站??焓謱?duì)《財(cái)經(jīng)》記者表示,該公司也發(fā)現(xiàn)了少量相關(guān)視頻,目前已采取了屏蔽關(guān)鍵詞等措施。
事件的嚴(yán)重性引起了相關(guān)部門重視,1月22日上午,北京市行政市場(chǎng)執(zhí)法總隊(duì)發(fā)布了關(guān)于查禁“兒童邪典視頻”工作的緊急通知,要求包括視頻、搜索引擎及游戲在內(nèi)的機(jī)構(gòu)立刻將其下架,并不得傳播、利用。
內(nèi)容審核一直是視頻網(wǎng)站的難題。去年年初,類似事件曾讓facebook束手無(wú)策。Facebook旗下視頻網(wǎng)站YouTube,突然涌現(xiàn)了大量?jī)和灰说膭?dòng)畫(huà)。其中以迪士尼動(dòng)畫(huà)片《冰雪奇緣》里艾莎公主的改編視頻傳播最廣。視頻中,艾莎接受了各種開(kāi)喉嚨、開(kāi)顱手術(shù),畫(huà)面血腥,已被瀏覽了上百萬(wàn)次。
時(shí)隔一年,這波“襲擊”到了中國(guó)。1月23日晚,微博在聲明中稱,經(jīng)過(guò)技術(shù)偵測(cè),發(fā)現(xiàn)存在大規(guī)模惡意有組織的上傳行為。而上傳這些內(nèi)容的賬號(hào)都是UGC用戶(原創(chuàng)用戶),部分賬號(hào)的訂閱超過(guò)數(shù)萬(wàn),按照這個(gè)規(guī)模,觀看過(guò)的兒童不在少數(shù)。這些賬號(hào)不僅從外網(wǎng)搬運(yùn),有些甚至還上傳了本土制造的不良動(dòng)畫(huà)視頻。
1月22日,全國(guó)“掃黃打非”辦公室部署廣東省“掃黃打非”辦公室對(duì)涉嫌制作傳播兒童色情視頻的廣州胤鈞貿(mào)易有限公司制作傳播涉兒童有害視頻一案依法進(jìn)行調(diào)查。執(zhí)法部門已要求該公司將其所有相關(guān)視頻下線,并依法查封兩處生產(chǎn)經(jīng)營(yíng)場(chǎng)所,扣押用于生產(chǎn)經(jīng)營(yíng)的專用工具和設(shè)備,責(zé)令當(dāng)事人停止生產(chǎn)經(jīng)營(yíng)活動(dòng)。
由于不良視頻的總量大,分布廣,密集上線,變種類型多,騰訊視頻已緊急組建了100人的清理小組,進(jìn)行24小時(shí)排查。
截止目前,騰訊下架涉兒童邪典原視頻1464條,對(duì)23萬(wàn)存疑視頻作批量下架,對(duì)53萬(wàn)余條視頻作撤回復(fù)審;封禁惡意賬號(hào)621個(gè)。而微博則稱已永久封停上傳帳號(hào)87個(gè),禁止有害上傳及屏蔽搜索關(guān)鍵詞4755個(gè)。
多數(shù)接受《財(cái)經(jīng)》記者采訪的視頻網(wǎng)站都表示,事件對(duì)目前視頻平臺(tái)UGC的審核方法、技術(shù)手段都提出了新的挑戰(zhàn)。
這些視頻大都出現(xiàn)在幾個(gè)月、甚至半年前,但并沒(méi)有被察覺(jué)。一位業(yè)內(nèi)人士分析說(shuō),視頻大都被歸入了親子、少兒、動(dòng)漫分類,至多被標(biāo)上“惡搞”標(biāo)簽。
據(jù)了解,大部分視頻網(wǎng)站都采取先機(jī)器識(shí)別、視頻抽幀再人工復(fù)核的審核流程。一位圖像識(shí)別專業(yè)人士對(duì)《財(cái)經(jīng)》記者表示,人工智能可以對(duì)一些確定的角色和劇情進(jìn)行識(shí)別,比如人物是否穿衣等,這種情況下,識(shí)別率能達(dá)90%。
“但小豬佩奇的情況要復(fù)雜得多,” 人工智能專家劉鋒對(duì)《財(cái)經(jīng)》解釋,“這些內(nèi)容和劇情不完全跟色情有關(guān),有些甚至涉及到不健康的世界觀,都比簡(jiǎn)單的識(shí)別色情更難。” 更重要的是,在以往的數(shù)據(jù)庫(kù)中,類似小豬佩奇、艾莎公主這樣的內(nèi)容從未被認(rèn)為是恐怖、色情,因而由于缺乏模型訓(xùn)練,人工智能無(wú)從識(shí)別。
此外,場(chǎng)景識(shí)別是另一個(gè)難點(diǎn)。“這些視頻里有人穿著蜘蛛俠服裝,很容易跟cosplay混淆。”另一位專業(yè)人士對(duì)《財(cái)經(jīng)》表示。
因此,這些視頻很可能在機(jī)器識(shí)別階段就逃過(guò)了審核。要杜絕此類事件的發(fā)生,目前難有萬(wàn)全之策,依然要靠大量的人力投入。
去年“艾沙門”發(fā)生后,facebook曾在已有的4500名視頻審核員的基礎(chǔ)上,又緊急額外雇傭了3000名。歷時(shí)半年,至2017年 11月才逐漸平息那場(chǎng)兒童色情暴力視頻風(fēng)波,刪除的視頻超過(guò)15萬(wàn)個(gè)。
一位行業(yè)人士對(duì)《財(cái)經(jīng)》表示,在國(guó)內(nèi),人工核查部分大部分公司都采取外包的形式,優(yōu)先審查被舉報(bào)的視頻。但現(xiàn)在看來(lái),視頻網(wǎng)站需要更多元的手段和處理方式,包括加強(qiáng)對(duì)UGC上傳者的資質(zhì)認(rèn)證。
此外,視頻網(wǎng)站的另一個(gè)挑戰(zhàn)是,視頻內(nèi)容審核應(yīng)該配合人工智能,不斷豐富知識(shí)庫(kù),提升圖像識(shí)別能力的同時(shí),人工細(xì)化視頻判定等級(jí)。比如對(duì)“不裸露但模擬性交”的情況進(jìn)行人工標(biāo)注。