近期，我院王倩老師和陳昭老師提出基於小波卷積網絡的多模態高維圖像融合框架，適用於顯微、遙感👢、自然圖像等多種圖像，顯著提升圖像的空譜分辨率，發表多篇SCI期刊論文和權威會議論文。主要成果如下：

1.新型小波卷積網絡及其在多模態高維圖像融合的應用

該工作針對多模態光譜圖像提出一種新型的融合/分辨率增強網絡：小波卷積網絡。為了全面反映觀測對象的特性，人們經常對同一目標進行多分辨率成像，由此產生成對的多模態光譜圖像💸🏄🏽，其中包括多光譜圖像和高光譜圖像，二者均可視為高維數據。然而🎏，受限於硬件條件，光譜分辨率和空間分辨率相互製約，高光譜圖像的空間分辨率往往低於多光譜圖像🤘。多分辨率融合可以合成兼具高空間分辨率和高光譜分辨率的圖像，但保持圖像空間結構、減小光譜失真是融合工作的難題。為解決以上問題🦟，該工作利用小波分析對高頻細節信息的表達能力，將小波分析和卷積網絡深入混合，構建新型小波卷積網絡，嵌入跨模態特征對齊和選擇性特征融合的註意力機製😾，保留必要的高頻細節信息和低頻平滑特征🌷，避免過度銳化導致的空譜畸變，有效融合多模態高維光譜圖像，合成高質量的高光譜高分圖像，以備分類、分割等下遊任務所用👆。本工作使用的多模態高維圖像及基於小波卷積網絡的融合框架如下圖所示。該工作發表在SCI一區期刊Expert Systems with Applications，標題為Parallel Wavelet Networks Incorporating Modality Adaptation for Hyperspectral Image Super-Resolution，一作為王倩老師🤦‍♀️，通訊作者為陳昭老師。

一種多模態高維圖像——對同一目標成像的多光譜圖像與高光譜圖像

基於小波卷積網絡的多模態高維圖像融合框架

2. 基於小波卷積網絡的顯微高光譜病理圖像增強

該工作為小波卷積融合網絡提供一個醫學應用範例：顯微高光譜病理圖像增強。所得到的高空間分辨率和高光譜分辨率顯微病理圖像👺✌🏼，能夠更好地反應細胞和組織細節特征🤦🏻，為腫瘤識別與預後提供數據支持。基於小波卷積網絡的顯微高光譜病理圖像增強框架如下圖所示。此工作發表在生物醫學圖像處理權威會議ECCV 2022 Workshop: CDPath🥜，標題為A Deep Wavelet Network for High-Resolution Microscopy Hyperspectral Image Reconstruction，一作為王倩老師👨🏽‍🌾，通訊作者為陳昭老師𓀄。

基於小波卷積網絡的顯微高光譜病理圖像增強框架

技術創新點：

1.揭示小波分析和卷積網絡之間的數學聯系

2.構建適用於各尺度多模態圖像的小波卷積融合網絡

3.提出跨模態特征對齊和選擇性特征融合的註意力機製

應用領域：多模態圖像融合，高維圖像分析

聯系人🙍：王倩 陳昭

聯系方式：wangqian@dhu.edu.cn,chenzhao@dhu.edu.cn