景深是光學(xué)系統(tǒng)中最近和最遠的清晰成像平面之間的距離。景深越大，該光學(xué)系統(tǒng)可清晰成像的范圍就越廣。由于光學(xué)鏡頭的景深限制，難以獲得全聚焦圖像，即其中往往存在一部分模糊區(qū)域。解決這一問題的有效方法之一是多聚焦圖像融合（MFIF）。MFIF旨在將對同一場景中的不同物體分別進行聚焦得到的多幅局部聚焦圖像進行融合，得到所有物體都清晰的全聚焦圖像。MFIF可以有效的擴展光學(xué)鏡頭的景深，使成像系統(tǒng)突破景深限制，以獲得更高質(zhì)量的圖像。

目前，在MFIF領(lǐng)域中，深度學(xué)習(xí)方法的效果明顯優(yōu)于傳統(tǒng)算法。近年來，基于深度學(xué)習(xí)的MFIF算法發(fā)展迅速，但科學(xué)家往往致力于設(shè)計越來越復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)、模塊和損失函數(shù)來提升算法的融合性能。這意味著必須花費大量的時間來設(shè)計巧妙的網(wǎng)絡(luò)結(jié)構(gòu)，并完成足夠多的對比實驗。而這不利于算法性能的提升，導(dǎo)致當(dāng)前的MFIF算法性能遇到了瓶頸。

為此，中科院蘇州生物醫(yī)學(xué)工程技術(shù)研究所付威威團隊重新考慮了圖像融合任務(wù)，并將其建模為一種條件生成模型。該團隊結(jié)合當(dāng)前圖像生成領(lǐng)域效果最好的擴散模型（Diffusion Models），提出了一種基于擴散模型的MFIF算法——FusionDiff（FusionDiff的圖像融合原理如圖1所示）。這是該擴散模型在多聚焦圖像融合領(lǐng)域的首次應(yīng)用，為該領(lǐng)域的研究提供了新思路。

圖1.FusionDiff算法的圖像融合原理示意圖

經(jīng)過實驗驗證，F(xiàn)usionDiff在融合效果和小樣本學(xué)習(xí)性能上均優(yōu)于其他MFIF算法。FusionDiff在8種評價指標(biāo)上與13種代表性的MFIF算法進行了對比，取得了最好的融合效果（表1、2）。同時，F(xiàn)usionDiff是一種小樣本學(xué)習(xí)的MFIF算法，僅需要100對訓(xùn)練集就能夠取得良好的融合效果。表3展示了不同MFIF算法的訓(xùn)練集規(guī)模，F(xiàn)usionDiff的訓(xùn)練集規(guī)模降低為其他算法的2%以內(nèi)。這意味著該算法可能適用于樣本稀缺的應(yīng)用場景，如顯微圖像融合。

表1.在Lytro公開測試集上所有算法的平均得分

表2.在MFFW公開測試集上所有算法的平均得分

表3.不同MFIF算法的訓(xùn)練集規(guī)模

相關(guān)研究成果以FusionDiff: Multi-focus image fusion using denoising diffusion probabilistic models為題，發(fā)表在《專家系統(tǒng)與應(yīng)用》（Expert Systems with Applications）上。研究工作得到山東省自然科學(xué)基金和中國科學(xué)院青年創(chuàng)新促進會的支持。

論文鏈接：https://doi.org/10.1016/j.eswa.2023.121664