日前,工學(xué)院2019級(jí)在讀碩士研究生謝懿,以第一作者身份在2021年第32屆英國(guó)機(jī)器視覺(jué)會(huì)議(British Machine Vision Conference)上發(fā)表題為“Object Re-identification Using Teacher-Like and Light Students”的學(xué)術(shù)論文。該項(xiàng)工作的指導(dǎo)老師為我院的曾煥強(qiáng)教授和朱建清教授,得到了國(guó)家自然科學(xué)基金的資助。
該文章提出了一種有效的聯(lián)合蒸餾與剪枝(JDP)的模型壓縮方法對(duì)目標(biāo)再識(shí)別(Re-ID)模型進(jìn)行壓縮。首先,JDP目的是生成一個(gè)輕量的類(lèi)教師(teacher-like and light, TLL)網(wǎng)絡(luò)的Re-ID模型,從而能夠讓學(xué)生網(wǎng)絡(luò)與教師網(wǎng)絡(luò)之間的語(yǔ)義差異較小。具體來(lái)說(shuō),我們?cè)O(shè)計(jì)了一個(gè)pruner-convolution-pruner(PCP)模塊來(lái)替代學(xué)生網(wǎng)絡(luò)的K×K卷積層。在學(xué)生網(wǎng)絡(luò)訓(xùn)練階段,由KD損失和group LASSO損失共同監(jiān)督學(xué)生網(wǎng)絡(luò)的學(xué)習(xí)。由于多個(gè)線(xiàn)性卷積層可以等價(jià)地合并為一個(gè)卷積層,因此在測(cè)試階段,學(xué)生網(wǎng)絡(luò)可以將PCP模塊簡(jiǎn)化為一個(gè)輕量的卷積層。最終獲得了一個(gè)TLL學(xué)生網(wǎng)絡(luò)。在DukeMTMC-reID、MTMC-reID、Veri-776三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)表明,JDP方法在精度和計(jì)算量上都有明顯的優(yōu)勢(shì)。
據(jù)悉,英國(guó)機(jī)器視覺(jué)會(huì)議(BMVC)是英國(guó)機(jī)器視覺(jué)協(xié)會(huì)(BMVA)的年度機(jī)器視覺(jué)、圖像處理和模式識(shí)別會(huì)議。它是在英國(guó)舉辦的計(jì)算機(jī)視覺(jué)及相關(guān)領(lǐng)域的主要國(guó)際會(huì)議之一,本次會(huì)議共收到1206篇有效論文投稿,經(jīng)過(guò)匿名評(píng)審、打分、辯駁、再打分后最終確定接收論文。該會(huì)議在《清華大學(xué)計(jì)算機(jī)學(xué)科推薦學(xué)術(shù)會(huì)議和期刊列表》中評(píng)級(jí)為B類(lèi)會(huì)議。