天津移動“AI荷爾蒙” ，打造基于計算機視覺技術(shù)的智慧零售系統(tǒng)

團隊介紹

天津移動“AI荷爾蒙”團隊，專注人工智能產(chǎn)品研究，研發(fā)的三項成果已入選中國人工智能產(chǎn)業(yè)聯(lián)盟的2018年人工智能應(yīng)用案例TOP100，累計獲得國家專利7項。

團隊產(chǎn)品經(jīng)理趙東明：

人工智能專業(yè)博士，長期鉆研人工智能技術(shù)研發(fā)，有高級工程師職稱和中國移動集團專家認證；

團隊數(shù)據(jù)科學(xué)家田雷：

北大數(shù)學(xué)系碩士學(xué)歷，精于數(shù)據(jù)庫開發(fā)、智能算法、邏輯設(shè)計。負責產(chǎn)品系統(tǒng)架構(gòu)、系統(tǒng)軟件開發(fā)。

一．前言

“AI荷爾蒙”

是天津移動IT和支撐中心開發(fā)的一款基于人臉識別技術(shù)的視覺智慧零售系統(tǒng)，包括WEB版和移動終端版，其中WEB版面向廳店運營，移動版面向流動式營銷。

通過引入機器視覺、智慧推薦等人工智能技術(shù)，“AI荷爾蒙”以人臉識別快速獲取客戶身份、年齡、性別、行為軌跡，通過靈活的流動式營銷場地部署，實現(xiàn)流動式營銷場景中客戶的駐留信息收集，以深度分析最終實現(xiàn)精準營銷推薦，確保商家的智慧運營拓展到廳店外的廣闊空間，也幫助客戶更加快捷地完成商品了解、選購商品、交易、結(jié)算的購物流程。

二、產(chǎn)品介紹

目前市場上的新零售系統(tǒng)都是基于會員或APP用戶的固定應(yīng)用場景，利用互聯(lián)網(wǎng)產(chǎn)品優(yōu)勢采集到客戶人臉圖像來實現(xiàn)客戶識別，但無法識別非會員客戶，無法適用戶外或隨機場景。“AI荷爾蒙”利用電信運營商大數(shù)據(jù)優(yōu)勢和人臉識別模型優(yōu)勢，有效解決以上局限性，實現(xiàn)了非會員客戶全場景的智慧營銷。

AI荷爾蒙廳店版系統(tǒng)以攝像頭為核心設(shè)備進行進廳客戶識別和推薦，但是受到場地、電力、顯示等限制，存在部署的局限性。零售場景中常用的社區(qū)推廣，小區(qū)推銷，校園營銷等戶外場景，也需要有相應(yīng)的系統(tǒng)形態(tài)去獲取客戶身份，主動推薦。因此，AI荷爾蒙團隊打造了移動終端版系統(tǒng)?；诎沧渴謾C或Pad，由設(shè)備自帶的屏幕進行信息顯示，由內(nèi)置攝像頭進行全景視頻采集，完成主體的人臉識別和智能商品推薦功能。

Web版系統(tǒng)圖示

移動終端版

三、核心優(yōu)勢

將固定場景推廣到流動場景，突破了固定位置限制和硬件約束，只需要手機安裝軟件就可以實現(xiàn)智慧營銷能力

將會員或產(chǎn)品客戶范圍推廣到全部客戶，把智慧零售從體驗期帶到了實用期。

依賴電信運營商大數(shù)據(jù)優(yōu)勢，可以獲取客戶產(chǎn)品推薦信息，為客戶量身定做推薦產(chǎn)品，提升營銷效率和成功率的同時，確?？蛻舾兄w驗。

系統(tǒng)的客戶體驗流程：

四、研發(fā)過程

AI荷爾蒙團隊2年來一直致力于能從視覺世界中學(xué)習的AI算法研究，通過打造一款產(chǎn)品，讓計算機能夠辨別不同的人，理解行為的關(guān)聯(lián)，推斷人的情緒、動作和意圖，迅速判斷出畫面中人物、行為、喜好，進而推薦最適合的商品。

實現(xiàn)這一目標的第一步，就是讓計算機快速而精準的識別人臉。過移動的人臉圖像庫來訓(xùn)練個性化模型，客戶無感式完成人臉檢測-特征點估計-特征比對的全過程，結(jié)合識別的身份進行個性化推薦。

工作難點體現(xiàn)在數(shù)據(jù)、模型、技術(shù)方法三個方面：

首先， AI荷爾蒙的訓(xùn)練集，必須比之前使用過的任何一種數(shù)據(jù)庫都要龐大。因此，下載了900萬天津移動用戶的人臉圖片，并去除水印，過濾劣質(zhì)圖片，生成多角度人臉。天津公司近百人的團隊，輔助計算機完成了千萬級的圖片處理工作，最終得到讓計算機精準識別人臉的千萬級高質(zhì)量圖像數(shù)據(jù)庫。

之后，在研究院九天深度學(xué)習平臺的GPU集群支持下，通過卷積神經(jīng)網(wǎng)絡(luò)框架進行了100輪次2000小時的訓(xùn)練，模型優(yōu)化再優(yōu)化，參數(shù)精調(diào)再精調(diào)，最終得到個性化模型。

最后，為了客戶的無感式體驗，引入先進的目標檢測框架YOLO，來提升人臉檢測精度，確保廣角視頻中人臉不漏檢。通過網(wǎng)絡(luò)MR信令數(shù)據(jù)，圈定小范圍的用戶集，將檢索范圍由1:900萬降到1:500，顯著提升檢索速度。在原有WEB版系統(tǒng)基礎(chǔ)上，針對社區(qū)直銷、校園營銷的需求，開發(fā)了移動終端版，基于安卓手機或pad，在流動式營銷中實現(xiàn)人臉識別和商品推薦功能。

系統(tǒng)的大數(shù)據(jù)運營界面

五、應(yīng)用場景

在新零售背景下， AI荷爾蒙移動終端版在流動式營銷場景中，有極大應(yīng)用潛力，具體包括：

1. 社區(qū)銷售場景

越來越多的渠道營銷需要在傳統(tǒng)業(yè)務(wù)專區(qū)外開辟了新的直銷專區(qū)，例如：小區(qū)公共區(qū)域的營銷，商場公共空間的營銷，地鐵入口營銷，戶外廣場營銷等。社區(qū)營銷最大的問題，就是客戶匆匆而過，或者咨詢后猶豫離開，無法有效留下客戶信息，不能后續(xù)深入營銷，重點客戶流量，客戶精確位置無法獲取，對精細化運營也不利。

因此，本系統(tǒng)是以安卓手機、Pad為載體，幫助流動式營銷中無感式完成客戶身份鑒別，留存客戶人臉、身份、位置，為后續(xù)精準營銷積累重要的精細化數(shù)據(jù)。在此場景下，社區(qū)內(nèi)攤位后可布放以手機攝像頭為載體的系統(tǒng)，全程拍攝營銷過程并截取人臉，傳送到后臺服務(wù)器進行識別，并聯(lián)合大數(shù)據(jù)微營銷，計算最適應(yīng)的營銷方案后續(xù)發(fā)送。

2. 體驗式新零售場景

目前，各大手機品牌均傾向于開設(shè)線下的終端體驗區(qū)，尤其是新手機發(fā)布時，會結(jié)合時下熱點事件進行流動式營銷，例如世界杯期間，各大商家結(jié)合世界杯主題開設(shè)手機、啤酒、飲料品牌的公共空間布展營銷，例如：在大悅城一層廣場進行華為手機、三星手機、百威啤酒的銷售展覽。

在類似場景中，AI荷爾蒙移動終端版可以發(fā)揮成本低、攜帶方便、體驗良好的特性，以PAD+支架方式，在零售區(qū)內(nèi)設(shè)置智慧視覺體驗區(qū)：

一方面將客戶識別結(jié)果展示在界面，給客戶全新體驗；

另一方面可以獲取客戶身份，結(jié)合售賣的商品進行實時營銷。

本產(chǎn)品目前已立足天津移動營銷進行了產(chǎn)品使用推廣，已應(yīng)用于天津移動“萬場直銷”活動，支撐營銷人員到小區(qū)等場景進行現(xiàn)場營銷，有效提升了營銷效率，并支撐在營銷活動后自動生成營銷記錄和快速營銷總結(jié)，目前正在18年校園營銷中應(yīng)用。經(jīng)過驗證可以有效提升現(xiàn)場營銷效率12%，節(jié)省客戶記錄時間20%，提升產(chǎn)品推薦成功率8%。

六、近期產(chǎn)出的成果

進入2018年中國移動自主開發(fā)大賽半決賽10強

入選人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟TOP100優(yōu)秀應(yīng)用案例

天津市科技成果轉(zhuǎn)化中心科技成果鑒定為“國內(nèi)領(lǐng)先”項目

集團公司人工智能試點二期項目

集團公司研發(fā)計劃項目

中國移動研發(fā)云支撐項目，中國移動研究院“九天”深度學(xué)習平臺重點支撐項目

獲推薦參加2018年天津市科學(xué)技術(shù)獎項目，獲推薦參加2018年中國移動業(yè)務(wù)服務(wù)創(chuàng)新獎項目

完成天津移動核心能力回收項目結(jié)題

中國移動自主開發(fā)大賽半決賽現(xiàn)場

七、應(yīng)用效果

人臉識別系統(tǒng)已應(yīng)用到天津移動2個自辦營業(yè)廳（新興路、民航大學(xué)）的到廳客戶身份識別、現(xiàn)場服務(wù)、業(yè)務(wù)推薦工作中，并直接參與了天津移動萬場地推和校園營銷活動，深入一線，以人工智能技術(shù)提升移動用戶的客戶感知。經(jīng)過統(tǒng)計，客戶的業(yè)務(wù)受理時間減少40%，銷售效率提升25%，單位業(yè)務(wù)效益提升28%，客戶滿意度提升到99.5%，營業(yè)廳整體運營效率提升30%以上，社會效益顯著，客戶評價良好。

系統(tǒng)還在持續(xù)迭代中，目前已經(jīng)通過AI技術(shù)教會計算機通過人臉去觀察顧客，鑒別顧客，推薦預(yù)設(shè)的方案，下一步，會在人體行為分析領(lǐng)域繼續(xù)探索，讓計算機讀懂人的形態(tài)，不同動作的內(nèi)在關(guān)聯(lián)，真正理解客戶，感受客戶，希望大家繼續(xù)關(guān)注AI荷爾蒙，讓AI給生活多點荷爾蒙。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。