中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院高性能計(jì)算技術(shù)研究中心張?jiān)茍F(tuán)隊(duì)在智能視頻編碼優(yōu)化理論與方法方面的研究取得進(jìn)展。相應(yīng)成果“Deeplearning based chroma prediction for versatile videocoding(基于神經(jīng)網(wǎng)絡(luò)的色度預(yù)測(cè))”2020 年 11月 3 日在線發(fā)表于 IEEE Transactions on Circuitsand Systems for Video Technology。

視頻數(shù)據(jù)爆炸式增長(zhǎng)給存儲(chǔ)和傳輸帶來了巨大的壓力和挑戰(zhàn)，這迫切地需要快速、高效的視頻編碼方案。而下一代視頻編碼方法仍是采用憑統(tǒng)計(jì)經(jīng)驗(yàn)手工設(shè)計(jì)預(yù)測(cè)函數(shù)的編碼方案，在一定程度上限制了編碼性能的提升。如何使用先進(jìn)的學(xué)習(xí)工具在給定帶寬的條件下最大化視頻質(zhì)量、提高壓縮效率成為了未來智能視頻編碼優(yōu)化的關(guān)鍵問題。該文從計(jì)算機(jī)視覺和人工智能的角度出發(fā)，將視頻編碼中的色度預(yù)測(cè)問題模型化為計(jì)算機(jī)視覺中的圖像上色問題，以進(jìn)一步消除顏色通道之間的冗余?；诰矸e神經(jīng)網(wǎng)絡(luò)的色度預(yù)測(cè)包含兩個(gè)子網(wǎng)絡(luò)：亮度下采樣和色度預(yù)測(cè)。采用線性模型結(jié)果作為色度初始化以增強(qiáng)性能，采用量化參數(shù)來表征編碼失真消除壓縮噪聲影響。在編碼器設(shè)計(jì)過程中，為了取得更好的編碼性能，該文利用率失真優(yōu)化方法從傳統(tǒng)色度預(yù)測(cè)方法和所提出的方法中選擇代價(jià)最小的預(yù)測(cè)策略。

結(jié)果顯示，與現(xiàn)有傳統(tǒng)方法相比，該文方法在 Y、U、V 分量分別可以節(jié)省 4.28%、3.34%和 4.63% 的網(wǎng)絡(luò)帶寬。

針對(duì)現(xiàn)有視頻編碼模塊中的局限性問題，從計(jì)算機(jī)視覺和人工智能的角度出發(fā)，實(shí)現(xiàn)了由信號(hào)處理領(lǐng)域問題向人工智能領(lǐng)域問題的轉(zhuǎn)變，以海量視頻/圖像數(shù)據(jù)為基礎(chǔ)，研究結(jié)合神經(jīng)網(wǎng)絡(luò)模型的視頻編碼方法，最終實(shí)現(xiàn)智能視頻編碼優(yōu)化理論與方法的創(chuàng)新，預(yù)期成果能應(yīng)用于下一代視頻編碼標(biāo)準(zhǔn)及視頻壓縮的相關(guān)領(lǐng)域。