零售行業(yè)是我國非常重要的行業(yè)之一，隨著手機(jī)支付和購物用戶數(shù)量的不斷提高，以及數(shù)字化技術(shù)的不斷發(fā)展，零售行業(yè)的企業(yè)尤其是線下體驗(yàn)店對數(shù)字化轉(zhuǎn)型的意愿不斷加強(qiáng)，未來我國智慧零售行業(yè)有望持續(xù)快速發(fā)展。
那么，零售行業(yè)有哪些痛點(diǎn)？人工智能在零售行業(yè)又能有哪些技術(shù)突破和創(chuàng)新呢？
今天，OpenI要為大家介紹社區(qū)最新入駐且正進(jìn)入社區(qū)孵化管道的零售行業(yè)開源項(xiàng)目【袋鼯麻麻ColugoMum】，該項(xiàng)目由一群優(yōu)秀的本科生組成的ColugoMum團(tuán)隊(duì)，基于國產(chǎn)深度學(xué)習(xí)開源框架飛槳PaddlePadddle開發(fā)，針對中小型線下零售體驗(yàn)店提供了一系列解決方案。
項(xiàng)目開源地址：
https://git.openi.org.cn/ColugoMum
零售行業(yè)背景及痛點(diǎn)介紹
目前在零售行業(yè)的實(shí)際運(yùn)營過程中，會(huì)產(chǎn)生巨大的人力成本，例如導(dǎo)購、保潔、結(jié)算等，而其中，尤其需要花費(fèi)大量的人力成本和時(shí)間成本在識別商品并對其進(jìn)行價(jià)格結(jié)算的過程中，并且在此過程中，顧客也因此而需要排隊(duì)等待。這樣一來零售行業(yè)人力成本較大、工作效率極低，二來也使得顧客的購物體驗(yàn)下降。
編輯
隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，以及無人化、自動(dòng)化超市運(yùn)營理念的提出，利用圖像識別技術(shù)及目標(biāo)檢測技術(shù)實(shí)現(xiàn)產(chǎn)品的自動(dòng)識別及自動(dòng)化結(jié)算的需求呼之欲出，即自動(dòng)結(jié)賬系統(tǒng)（Automatic checkout, ACO）。
基于計(jì)算機(jī)視覺的自動(dòng)結(jié)賬系統(tǒng)能有效降低零售行業(yè)的運(yùn)營成本，提高顧客結(jié)賬效率，從而進(jìn)一步提升用戶在購物過程中的體驗(yàn)感與幸福感。
AI結(jié)算的核心是圖像識別。圖像識別的準(zhǔn)確率決定了AI結(jié)算落地的可行性。目前，AI結(jié)算面臨著如下幾個(gè)痛點(diǎn)問題：
商品包裝相似：同類別商品口味不同且價(jià)格也不同，不同類別商品外包裝相似，都對圖像識別精度具有較高的要求；
干擾因素眾多：同類別商品在識別時(shí)容易因角度問題發(fā)生變形、折疊、遮擋等干擾，對識別結(jié)果造成影響；
品類更新極快：零售商品通常以小時(shí)級別速度更新迭代，每增加新產(chǎn)品時(shí)若僅靠單一模型均需重新訓(xùn)練模型，模型訓(xùn)練成本及時(shí)間成本極大；
系統(tǒng)性能要求高：需要同時(shí)解決檢測和識別兩個(gè)任務(wù)，選模型和優(yōu)化時(shí)要權(quán)衡精度與速度兩方面。
袋鼯麻麻ColugoMum
袋鼯麻麻ColugoMum致力于為中小型線下零售體驗(yàn)店提供基于視覺的零售結(jié)算方案。
編輯
基于上述痛點(diǎn)問題，ColugoMum團(tuán)隊(duì)采用飛槳PaddleClas[1]團(tuán)隊(duì)提出的PP-ShiTu[2]圖像識別系統(tǒng)。
基于PP-ShiTu實(shí)現(xiàn)的商品識別方案為零售場景中商品多類別、小樣本、高相似和更新頻繁問題提供了新的思路，不僅能對多類別商品進(jìn)行精準(zhǔn)識別，也可以滿足對預(yù)測效率的極致追求。
尤為實(shí)用的功能在于：實(shí)際上線使用的時(shí)候，遇到新的需要識別的商品類別，無需重新訓(xùn)練模型，只需要在檢索庫中增加該類別圖像特征，就能夠?qū)崿F(xiàn)對新商品的識別！
編輯
01、PP-ShiTu
PP-ShiTu是一個(gè)實(shí)用的輕量級通用圖像識別系統(tǒng)，主要由主體檢測、特征學(xué)習(xí)和向量檢索三個(gè)模塊組成。該系統(tǒng)從骨干網(wǎng)絡(luò)選擇和調(diào)整、損失函數(shù)的選擇、數(shù)據(jù)增強(qiáng)、學(xué)習(xí)率變換策略、正則化參數(shù)選擇、預(yù)訓(xùn)練模型使用以及模型裁剪量化8個(gè)方面，采用多種策略，對各個(gè)模塊的模型進(jìn)行優(yōu)化，并經(jīng)過10w+類別數(shù)據(jù)進(jìn)行訓(xùn)練，最終得到在CPU上預(yù)測時(shí)間僅需0.2s的多場景通用圖像識別系統(tǒng)。
簡單來說，PP-ShiTu的使用分為三步：
通過主體檢測模型，對圖片中的物體一一識別；
對每個(gè)候選區(qū)域進(jìn)行特征提?。?/p>
將特征提取后的向量在檢索庫中進(jìn)行檢索，完成匹配，返回識別結(jié)果。
02、數(shù)據(jù)集
考慮到實(shí)際零售場景對于精度和預(yù)測速度的極致追求，ColugoMum團(tuán)隊(duì)在主體檢測部分選取了PicoDet模型作為主體檢測算法，選取了輕量級PPLCNet_x2_5_ssld模型用作特征提取，最后使用向量搜索模塊Faiss中的HNSW32作為檢索算法，實(shí)現(xiàn)速度與精度的極致平衡。
基于此，ColugoMum團(tuán)隊(duì)基于RP2K數(shù)據(jù)集已經(jīng)實(shí)現(xiàn)了最高96.91%的預(yù)測精度。
RP2K數(shù)據(jù)集[3]：收錄了50萬+張零售商品貨架圖片，商品種類超過2,000種，是目前零售類數(shù)據(jù)集中產(chǎn)品種類數(shù)量最多的數(shù)據(jù)集。不同于一般聚焦新產(chǎn)品的數(shù)據(jù)集，RP2K收錄了超過50萬張零售商品貨架圖片，商品種類超過2000種，該數(shù)據(jù)集是目前零售類數(shù)據(jù)集中產(chǎn)品種類數(shù)量TOP1，同時(shí)所有圖片均來自于真實(shí)場景下的人工采集，針對每種商品，品覽提供了十分詳細(xì)的標(biāo)注。
此外，ColugoMum也收集整理了業(yè)內(nèi)SKU級別的商品圖像數(shù)據(jù)集，并期待和開發(fā)者們一道， 開源出能夠在業(yè)內(nèi)有影響力、符合實(shí)際場景應(yīng)用需求的數(shù)據(jù)集。
數(shù)據(jù)集地址：
https://git.openi.org.cn/ColugoMum/Dataset
03、模型
并且，ColugoMum團(tuán)隊(duì)開源了基于RP2K數(shù)據(jù)集的高精度訓(xùn)練模型和預(yù)測模型。開發(fā)者可以在提供的訓(xùn)練模型上基于自己的數(shù)據(jù)進(jìn)行微調(diào)，也可以使用提供的預(yù)測模型直接進(jìn)行預(yù)測體驗(yàn)。同時(shí)，ColugoMum也開啟了基于RP2K的打榜活動(dòng)，歡迎開發(fā)者們參與。
地址：
https://git.openi.org.cn/ColugoMum/Exprements-public
04、部署框架Paddle Serving
部署方面使用飛槳服務(wù)化部署框架Paddle Serving[4]進(jìn)行部署，滿足用戶批量預(yù)測、數(shù)據(jù)安全性高、延遲低的需求，在CPU上僅需0.2秒即可實(shí)現(xiàn)預(yù)測效果，真正做到預(yù)測速度與精度的極致平衡。
編輯
05、商品識別教程
為了方便開發(fā)者們更好地理解PP-ShiTu、更好地利用其在圖像識別領(lǐng)域的優(yōu)勢，ColugoMum團(tuán)隊(duì)開源了基于圖像識別的智慧零售商品識別教程，開發(fā)者可以在此基礎(chǔ)上使用PP-ShiTu快速對接業(yè)務(wù)。
教程地址：
https://git.openi.org.cn/ColugoMum/Goods_Recognition
06、商品識別Smart_container
基于上述核心技術(shù)，目前ColugoMum團(tuán)隊(duì)利用PP-ShiTu技術(shù)，開源了云邊一體、符合實(shí)際場景應(yīng)用需求的商品識別Smart_container。其能夠精準(zhǔn)地定位顧客購買的商品，并進(jìn)行智能化、自動(dòng)化的價(jià)格結(jié)算。
項(xiàng)目地址：
https://git.openi.org.cn/ColugoMum/Smart_container
編輯
當(dāng)顧客將自己選購的商品放置在制定區(qū)域內(nèi)時(shí)，Smart_container能夠精準(zhǔn)地定位識別每一個(gè)商品，并且能夠返回完整的購物清單及顧客應(yīng)付的實(shí)際商品總價(jià)格。而當(dāng)系統(tǒng)有新商品增加時(shí)，只需更新檢索庫即可，無需重新訓(xùn)練模型。
Smart_container覆蓋硬件結(jié)算臺、小程序管理平臺、大數(shù)據(jù)可視化平臺，實(shí)現(xiàn)了多端統(tǒng)一，智慧管理。
編輯
編輯
核心開發(fā)團(tuán)隊(duì)
顏鑫
華東理工大學(xué)自動(dòng)化專業(yè)大三在讀，研究方向?yàn)槎鄼C(jī)器人的協(xié)同控制與決策，主要興趣點(diǎn)為計(jì)算機(jī)視覺、強(qiáng)化學(xué)習(xí)、推理部署。飛槳開發(fā)者技術(shù)專家、Datawhale成員、華為云享專家、國家級大學(xué)生創(chuàng)新創(chuàng)業(yè)項(xiàng)目第一主持人，曾獲第十三屆“挑戰(zhàn)杯”大學(xué)生創(chuàng)業(yè)計(jì)劃競賽上海市銅獎(jiǎng)、華東理工大學(xué)第十屆“奮進(jìn)杯”大學(xué)生創(chuàng)業(yè)計(jì)劃競賽金獎(jiǎng)、PPSIG優(yōu)秀開源項(xiàng)目獎(jiǎng)等。
顏鑫的開發(fā)心得
很榮幸能夠有這樣的機(jī)會(huì)，我們能在啟智社區(qū)分享團(tuán)隊(duì)針對“AI+實(shí)體零售”的一些想法和一些成果。
在項(xiàng)目的實(shí)際開發(fā)過程中，團(tuán)隊(duì)曾面臨著非常多的困難，比如缺乏一個(gè)穩(wěn)定的協(xié)同開發(fā)環(huán)境導(dǎo)致開發(fā)效率極低、模型訓(xùn)練需要大量的計(jì)算資源導(dǎo)致我們一度陷入困境。
好在啟智社區(qū)為我們提供了鵬城實(shí)驗(yàn)室的鵬城云腦1計(jì)算資源，這不僅大大減少了我們在硬件方面的投入成本，更是完美解決了我們在開發(fā)環(huán)境不完善和計(jì)算資源不充足等方面的瓶頸，才使ColugoMum項(xiàng)目的開發(fā)周期得以極大縮短。
此外，由于當(dāng)前國際形式的強(qiáng)烈不穩(wěn)定性，ColugoMum在框架選擇上選取了國產(chǎn)深度學(xué)習(xí)開源框架飛槳PaddlePaddle，在開發(fā)過程中也受到了來自飛槳PaddleClas團(tuán)隊(duì)的大力支持，也期待國產(chǎn)深度學(xué)習(xí)開源框架能越來越好。
后面ColugoMum團(tuán)隊(duì)會(huì)不斷打破產(chǎn)品和技術(shù)邊界，依托啟智社區(qū)，開源出更多更好的、能真正賦能實(shí)體零售的開源項(xiàng)目，真正推動(dòng)我國實(shí)體零售向智能化、數(shù)字化轉(zhuǎn)型，也期待眾多開發(fā)者能加入我們。
沈晨
華東理工大學(xué)信息工程專業(yè)大三在讀，曾獲得CRAIC中國機(jī)器人及人工智能大賽上海市二等獎(jiǎng)、上海市大學(xué)生計(jì)算機(jī)應(yīng)用能力設(shè)計(jì)大賽上海市二等獎(jiǎng)，華東理工大學(xué)第十屆“奮進(jìn)杯”大學(xué)生創(chuàng)業(yè)計(jì)劃競賽金獎(jiǎng)，參與多個(gè)大型優(yōu)秀開源項(xiàng)目，擁有軟件著作權(quán)兩篇，曾在IEEE國際會(huì)議發(fā)表論文一篇，另有一項(xiàng)實(shí)用新型專利正在受理。曾任信息學(xué)院團(tuán)委組織部副部長，獲得校優(yōu)秀獎(jiǎng)學(xué)金和優(yōu)秀學(xué)生先進(jìn)稱號。
沈晨的開發(fā)心得
很高興能得到在啟智社區(qū)分享我們團(tuán)隊(duì)項(xiàng)目的機(jī)會(huì)，這能讓更多人看到我們團(tuán)隊(duì)的努力成果，是ColugoMum項(xiàng)目的一次機(jī)遇，同時(shí)本人也很榮幸能參與ColugoMum項(xiàng)目的開發(fā)工作。
在項(xiàng)目開發(fā)過程中，我得到了很多學(xué)習(xí)和成長的機(jī)會(huì)，不管是在項(xiàng)目初期的程序開發(fā)階段還是在目前的交流成長階段，同團(tuán)隊(duì)成員一起精心打磨項(xiàng)目的過程雖然辛苦，但卻是對自己的挑戰(zhàn)與要求，并且與團(tuán)隊(duì)成員一起努力和成長本身就是一件快樂的事情，這讓我受益匪淺。
與此同時(shí)，啟智社區(qū)和飛槳PaddleClas團(tuán)隊(duì)也給予了我們團(tuán)隊(duì)莫大的支持和幫助，這讓我們能夠花更少的時(shí)間去尋求資源，轉(zhuǎn)而精心打磨項(xiàng)目。
未來，我也將和團(tuán)隊(duì)成員一起，推動(dòng)ColugoMum項(xiàng)目走向更廣闊的沃土，為推動(dòng)實(shí)體零售的智能化、數(shù)字化做出自己的努力。
杜旭東
華東理工大學(xué)信息工程專業(yè)大三在讀，熟練掌握C/C++/Python/Jave/Matlab/verilog等多種編程語言，上海市大學(xué)生計(jì)算機(jī)應(yīng)用能力設(shè)計(jì)大賽上海市二等獎(jiǎng)，參與多個(gè)大型優(yōu)秀開源項(xiàng)目，擁有軟件著作權(quán)兩篇，一項(xiàng)實(shí)用新型專利正在受理。曾任信息學(xué)院社團(tuán)管理部副部長，獲得校優(yōu)秀獎(jiǎng)學(xué)金。
此外，團(tuán)隊(duì)也向曾參與項(xiàng)目研發(fā)的同學(xué)表示感謝：黃小悅、王鑫、趙祎安、周天奕、申佳川等。
面對當(dāng)前國際形式的強(qiáng)烈不穩(wěn)定因素，ColugoMum團(tuán)隊(duì)認(rèn)為國產(chǎn)的深度學(xué)習(xí)框架以及本土的托管平臺在當(dāng)前形式下更加穩(wěn)妥。因此，在項(xiàng)目推進(jìn)過程中，除了選用國產(chǎn)深度學(xué)習(xí)開源框架飛槳PaddlePadddle之外，團(tuán)隊(duì)也受到了來自O(shè)penI啟智社區(qū)的強(qiáng)力支持?；趩⒅巧鐓^(qū)中AI協(xié)作平臺的協(xié)同開發(fā)能力、豐富的計(jì)算資源以及強(qiáng)有力的資源對接能力等，團(tuán)隊(duì)能夠更快更高效地開展實(shí)驗(yàn)、推進(jìn)項(xiàng)目，大大縮短開發(fā)周期，推動(dòng)AI在實(shí)體零售行業(yè)的真正落地應(yīng)用。
寫在最后
最后，OpenI啟智社區(qū)歡迎更多開發(fā)者共同參與零售商品識別數(shù)據(jù)集、商品識別打榜以及Smart Container的開源共建活動(dòng)，推動(dòng)我國實(shí)體零售向數(shù)字化、智能化方向轉(zhuǎn)型發(fā)展，真正實(shí)現(xiàn)ColugoMum“降本增效、賦能零售”的使命。
同時(shí)，社區(qū)也歡迎更多優(yōu)秀的項(xiàng)目入駐OpenI進(jìn)行開源開放，社區(qū)將提供平臺資源和激勵(lì)機(jī)制幫助項(xiàng)目孵化發(fā)展和開發(fā)者培育，共同促進(jìn)AI開源開放生態(tài)體系建設(shè)。
參考文獻(xiàn)
1.https://github.com/PaddlePaddle/PaddleClas
2. S. Wei et al., "PP-ShiTu: A Practical Lightweight Image Recognition System," arXiv preprint arXiv:2111.00775, 2021.
3. J. Peng, C. Xiao, and Y. Li, "RP2K: A large-scale retail product dataset for fine-grained image classification," arXiv preprint arXiv:2006.12634, 2020.
4.https://github.com/PaddlePaddle/Serving
