計(jì)算機(jī)多媒體領(lǐng)域的年度國(guó)際學(xué)術(shù)會(huì)議IEEE International Conference on Multimedia and Expo (ICME) 于2019年7月8日-12日在上海圓滿召開(kāi)。鵬城實(shí)驗(yàn)室人工智能研究中心、北京大學(xué)數(shù)字視頻編解碼技術(shù)國(guó)家工程實(shí)驗(yàn)室高文院士團(tuán)隊(duì)的論文“Towards Digital Retina in Smart Cities: A Model Generation, Utilization and Communication Paradigm (面向智慧城市數(shù)字視網(wǎng)膜的模型生成、利用和傳輸范式)”榮獲大會(huì)最佳論文獎(jiǎng)。論文第一作者為鵬城實(shí)驗(yàn)室、北京大學(xué)信息科學(xué)技術(shù)學(xué)院2015級(jí)博士生樓燚航，通訊作者為鵬城實(shí)驗(yàn)室、北京大學(xué)段凌宇教授。ICME是IEEE在多媒體領(lǐng)域的旗艦?zāi)陼?huì)，本次會(huì)議共收到來(lái)自36個(gè)國(guó)家或地區(qū)的1000余篇論文投稿，論文接受率約31%。
鵬城實(shí)驗(yàn)室高文院士團(tuán)隊(duì)致力于數(shù)字視網(wǎng)膜計(jì)算架構(gòu)的研究，借鑒人類(lèi)視網(wǎng)膜機(jī)理，實(shí)現(xiàn)特征實(shí)時(shí)匯聚、視頻按需調(diào)取、前端軟件可定義等功能。該獲獎(jiǎng)?wù)撐尼槍?duì)數(shù)字視網(wǎng)膜計(jì)算，首次提出了視頻流、特征流與模型流的多流協(xié)同計(jì)算模式，改善了城市大腦的視覺(jué)通路，有效克服“端-邊-云”協(xié)同計(jì)算的模型重用與傳輸瓶頸等問(wèn)題，為視頻數(shù)據(jù)大規(guī)模匯聚、存儲(chǔ)和計(jì)算提供了新思路。
獲獎(jiǎng)?wù)撐牡南嚓P(guān)研究工作依托于鵬城實(shí)驗(yàn)室人工智能研究中心云腦開(kāi)源平臺(tái)與智能應(yīng)用項(xiàng)目的智能交通課題，段凌宇教授擔(dān)任其中子課題負(fù)責(zé)人。課題瞄準(zhǔn)人工智能?chē)?guó)家重大戰(zhàn)略需求，以建立數(shù)字視網(wǎng)膜的計(jì)算理論、方法與技術(shù)體系為目標(biāo)，深入研究智能交通場(chǎng)景下的大規(guī)模視頻特征計(jì)算瓶頸問(wèn)題，并在鵬城實(shí)驗(yàn)室“云腦”平臺(tái)上逐步實(shí)現(xiàn)百億規(guī)模視頻監(jiān)控以及交通數(shù)據(jù)的高效索引、事件的實(shí)時(shí)檢測(cè)和因果推斷技術(shù)驗(yàn)證。利用視頻流、特征流與模型流協(xié)作機(jī)制，研制千萬(wàn)規(guī)模視頻對(duì)象的關(guān)聯(lián)理解與知識(shí)演化特性分析引擎，并在重點(diǎn)城市智能交通系統(tǒng)進(jìn)行應(yīng)用示范。通過(guò)數(shù)字視網(wǎng)膜框架下的視頻、特征、模型協(xié)同計(jì)算等基礎(chǔ)理論方法創(chuàng)新，提升我國(guó)在人工智能基礎(chǔ)理論領(lǐng)域的國(guó)際學(xué)術(shù)地位和影響力；通過(guò)應(yīng)用示范系統(tǒng)的構(gòu)建，為智慧出行等重要民生領(lǐng)域提供有序引導(dǎo)及因果推斷等方面的人工智能技術(shù)保障。
段凌宇教授課題組在數(shù)字視網(wǎng)膜研究與實(shí)踐中發(fā)現(xiàn)，數(shù)字視網(wǎng)膜計(jì)算框架的邊緣節(jié)點(diǎn)緩存了大量表征識(shí)別模型與無(wú)標(biāo)簽數(shù)據(jù)。為此，課題組提出一種多模型重用機(jī)制，有效利用數(shù)字視網(wǎng)膜框架下邊緣節(jié)點(diǎn)緩存的模型和數(shù)據(jù)，生成更具域適應(yīng)性和判別力的目標(biāo)模型。針對(duì)多模型重用帶來(lái)的風(fēng)險(xiǎn)，該論文給出了理論證明與分析，并在實(shí)驗(yàn)中取得了相比傳統(tǒng)方法更優(yōu)的性能增益。在視網(wǎng)膜計(jì)算框架下，模型的頻繁傳輸與部署會(huì)帶來(lái)較大的通信開(kāi)銷(xiāo)；為此，該項(xiàng)研究工作進(jìn)一步提出了模型之間高效通信的新問(wèn)題，并提出了一種新穎的差分模型壓縮方法，相比傳統(tǒng)的單模型壓縮方法，可有效降低模型傳輸代價(jià)。論文圍繞視頻流、特征流、模型流，提出了城市視覺(jué)系統(tǒng)中的協(xié)同計(jì)算新問(wèn)題，對(duì)于未來(lái)數(shù)字視網(wǎng)膜理論研究與實(shí)踐具有指導(dǎo)意義。
段凌宇教授長(zhǎng)期從事以機(jī)器識(shí)別為目標(biāo)驅(qū)動(dòng)的視覺(jué)特征分析與壓縮研究工作，以壓縮傳輸視覺(jué)特征為突破口，通過(guò)匯聚大規(guī)模緊湊視覺(jué)特征，實(shí)現(xiàn)視覺(jué)對(duì)象精準(zhǔn)分析與識(shí)別，克服了聯(lián)網(wǎng)分析識(shí)別提出的實(shí)時(shí)數(shù)據(jù)匯聚挑戰(zhàn)。課題組圍繞視覺(jué)特征的緊湊表示、模式學(xué)習(xí)、高效索引三方面系統(tǒng)地開(kāi)展了研究工作，提升了特征的緊湊性與辨識(shí)力，優(yōu)化了大規(guī)模特征檢索的可擴(kuò)展性，并通過(guò)制定標(biāo)準(zhǔn)解決了傳輸壓縮特征所引發(fā)的互操作問(wèn)題，全面實(shí)現(xiàn)了特征的小、準(zhǔn)、快、通。作為主起草人，制定了緊湊視覺(jué)特征國(guó)際標(biāo)準(zhǔn)MPEG－CDVS與MPEG－CDVA，將多項(xiàng)研究成果轉(zhuǎn)化成為標(biāo)準(zhǔn)規(guī)范化核心技術(shù)。其中，MPEG-CDVS成為多媒體領(lǐng)域我國(guó)主導(dǎo)制定的首項(xiàng)ISO國(guó)際標(biāo)準(zhǔn)。MPEG-CDVA預(yù)計(jì)在2019年9月正式頒布執(zhí)行，鵬城實(shí)驗(yàn)室人工智能研究中心為該項(xiàng)國(guó)際標(biāo)準(zhǔn)制定的重要貢獻(xiàn)單位之一。相關(guān)成果獲2017年度國(guó)家技術(shù)發(fā)明獎(jiǎng)二等獎(jiǎng)、2016年度教育部技術(shù)發(fā)明獎(jiǎng)一等獎(jiǎng)、2017年度中國(guó)專(zhuān)利優(yōu)秀獎(jiǎng)。整體研究成果已被著名互聯(lián)網(wǎng)公司與安防領(lǐng)域重點(diǎn)企業(yè)采納并投入運(yùn)營(yíng)。段凌宇教授現(xiàn)擔(dān)任新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟(AITISA)視覺(jué)特征編碼標(biāo)準(zhǔn)組組長(zhǎng)，依托于鵬城實(shí)驗(yàn)室人工智能研究中心，圍繞數(shù)字視網(wǎng)膜計(jì)算框架，研究特征計(jì)算規(guī)范化問(wèn)題，致力于我國(guó)自主知識(shí)產(chǎn)權(quán)的人工智能標(biāo)準(zhǔn)化技術(shù)。
來(lái)源 | 鵬城實(shí)驗(yàn)室
撰稿 | 人工智能研究中心 邱景飛、白燕
