近日，我校計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院青年教師柳欣以第一作者在國(guó)際權(quán)威期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》發(fā)表了題為“MTFH: A Matrix Tri-Factorization Hashing Framework for Efficient Cross-Modal Retrieval”的科研論文。

《IEEE Transactions on Pattern Analysis and Machine Intelligence》是人工智能、模式識(shí)別、圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域的頂級(jí)國(guó)際期刊之一，中科院JCR一區(qū)（TOP期刊）、中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）A類(lèi)期刊，在計(jì)算機(jī)科學(xué)與人工智能領(lǐng)域具有權(quán)威影響力，尤其強(qiáng)調(diào)模式分析與機(jī)器智能領(lǐng)域的前沿創(chuàng)新成果,當(dāng)前影響因子為17.73。

柳欣及團(tuán)隊(duì)的研究創(chuàng)新地提出了一種通用跨媒體哈希檢索框架?？缑襟w檢索旨在通過(guò)語(yǔ)義相關(guān)性，利用某一模態(tài)的數(shù)據(jù)（如文本）去檢索其它模態(tài)的數(shù)據(jù)（如圖片、視頻等）。近年來(lái)，由于哈希方法能夠提供更小的存貯代價(jià)和更高的檢索效率，跨模態(tài)哈希方法受到了研究者的廣泛關(guān)注。研究發(fā)現(xiàn)，多模態(tài)數(shù)據(jù)中不同模態(tài)數(shù)據(jù)的特征維度往往并不相同。目前大多數(shù)跨模態(tài)哈希算法常常采用統(tǒng)一哈希碼或等長(zhǎng)哈希碼進(jìn)行多模態(tài)數(shù)據(jù)刻畫(huà)，然而這些限制難免會(huì)對(duì)其中某些模態(tài)數(shù)據(jù)的語(yǔ)義表達(dá)精度有所折損。同時(shí)，具有相同語(yǔ)義的多模態(tài)數(shù)據(jù)中還存在著大量的非成對(duì)數(shù)據(jù)，而針對(duì)這部分不成對(duì)數(shù)據(jù)的跨模態(tài)哈希分析卻很少被關(guān)注。為解決這些問(wèn)題，該研究創(chuàng)新地利用三重矩陣分解靈活提取出具有不同長(zhǎng)度的哈希碼來(lái)分別表示各自模態(tài)樣本，并結(jié)合新穎的離散更新學(xué)習(xí)方法，使得學(xué)習(xí)到的哈希碼具有更小的量化誤差，判別性極佳。大量實(shí)驗(yàn)結(jié)果表明，該研究工作提出的跨媒體哈希檢索方法能夠廣泛地適用于各種復(fù)雜場(chǎng)景，并同時(shí)具備處理成對(duì)數(shù)據(jù)和不成對(duì)數(shù)據(jù)的能力，對(duì)于各種原始特征的輸入和參數(shù)的變化也具有較強(qiáng)的魯棒性。

該研究論文第一完成單位為華僑大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，合作單位為美國(guó)紐約州立大學(xué)石溪分校和香港浸會(huì)大學(xué)。研究得到了國(guó)家自然科學(xué)基金和華僑大學(xué)中青年教師科技創(chuàng)新培育資助計(jì)劃等項(xiàng)目的資助。

論文鏈接：https://ieeexplore.ieee.org/document/8827941

（值班編輯：吳江輝）