愛奇藝“多模態(tài)人物識別競賽”結果揭曉 冠軍團隊實現(xiàn)多模態(tài)視頻人物識別全球最佳算法

經過3個月的角逐，愛奇藝聯(lián)合全球多媒體領域頂尖會議ACM International Conference on Multimedia(以下簡稱ACM MM)共同舉辦的多模態(tài)人物識別競賽于近日正式落下帷幕。本次大賽，吸引了包括卡內基梅隆大學、倫敦大學學院、?？巳卮髮W、清華大學、北京大學等國內外頂尖高校，以及百度、中興、京東、美圖、英偉達等知名企業(yè)在內的共255支團隊同場競技。其中，來自于北京郵電大學自動化學院、北京郵電大學網研院網絡智能中心以及南京大學計算機科學與技術系的團隊分別獲得前三名。 獲得第一名的北京郵電大學自動化學院團隊將多模態(tài)視頻人物識別精準度提升到了91.14%，愛奇藝攜手頂尖參賽團隊在多模態(tài)人物識別領域再次取得突破。此次競賽的頒獎儀式將在10月21日至25日在法國尼斯舉辦的第27屆ACM MM 大會上進行。

目前，全世界眾多科技公司以及學術機構發(fā)布視頻數(shù)據(jù)集，側重解決視頻識別各種難題。其中，牛津大學發(fā)布過VoxCeleb2數(shù)據(jù)集，包含6千多人，15萬視頻，側重于解決說話人識別的問題;香港中文大學和商湯科技合作發(fā)布的包括1218人，12.7萬視頻CSM數(shù)據(jù)集，為了更好地檢索識別視頻中的說話的人物。以色列特拉維夫大學的Youtube Faces DB，擁有3425個視頻片段與1595個人物，用以解決非約束環(huán)境下的人臉識別問題。此次，愛奇藝發(fā)起的多模態(tài)人物識別挑戰(zhàn)賽中，對參賽者公布了通過嚴格人工標注、更具有挑戰(zhàn)性的多模態(tài)人物數(shù)據(jù)集(iQIYI-VID-2019)，包含10000名明星人物、200小時、20萬條影視劇與短視頻數(shù)據(jù)集，更接近實際應用場景，其中包括臉部，頭部，身體及聲紋4個模態(tài)的特征，為學術界及工業(yè)界利用多模態(tài)特征去更全面解決場景復雜、人體動作多變、化妝等人物識別難題提供了便利條件。參賽團隊無需使用自己的計算資源去提取特征，這樣大大降低該競賽對硬件資源的門檻，吸引了更多全球頂尖優(yōu)秀的學術機構團隊參與，加快提升人物識別技術不斷向前演進。此次拔得頭籌的北京郵電大學自動化學院團隊，在愛奇藝公布的4個模態(tài)特征的基礎上，重新訓練了對齊的人臉識別模型，利用數(shù)據(jù)增強和這5種模態(tài)信息訓練完成多模態(tài)分類模型，在數(shù)據(jù)集難度提升的情況下，將多模態(tài)視頻人物識別精準度由去年的88.65%提升到了91.14%，提升幅度達2.5pp，成為多模態(tài)視頻人物識別競賽中的全球最佳算法。

多模態(tài)人物識別技術精準度進一步提升意味著，愛奇藝可以通過對復雜場景下精準識別為用戶帶來更優(yōu)的視頻消費體驗，進一步提升娛樂系統(tǒng)的效率，例如，通過識別短視頻、UGC內容中模糊、側面、距離遠等復雜場景中的人物，更好地為用戶精準推薦內容，加強愛奇藝個性化內容分發(fā)能力;在AI雷達中，通過對視頻人物的精準識別，通過只看TA的功能讓用戶享受到更為個性化的互動體驗;可以使HomeAI智能語音交互平臺提升用戶的交互體驗;以及讓AIWorks視頻智能創(chuàng)作對長視頻進行更精準的拆條，進一步提升愛奇藝愛創(chuàng)媒資系統(tǒng)制作爆款劇的效率等。

愛奇藝首席技術官兼基礎架構和智能內容分發(fā)事業(yè)群總裁劉文峰表示，多模態(tài)人物識別競賽不斷取得突破，除了對愛奇藝娛樂生態(tài)產生重要價值之外，對人物識別技術的研發(fā)，技術成果轉化效率，相關人才培養(yǎng)都會產生深遠的影響。未來，愛奇藝將不斷與國內外學術機構、行業(yè)領先者合作，不斷提升前沿技術的探索與實踐。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。