衡量蔡司激光共聚焦顯微鏡圖片質量的主要有三大重要因素:亮度、分辨率和信噪比。能夠大做文章的因素其實是信噪比。這里我們主要來探討如何提升圖像的信噪比。
蔡司激光共聚焦顯微鏡ZEN軟件中能提供三大類提升信噪比的方法
一、基于平滑處理的去噪模塊
二、基于去卷積的直接去除非焦平面模糊信號
三、基于深度學習的人工智能降噪
下面我們來具體介紹這三大類方法。
通過平滑處理
提高信噪比最直接的方法就是去噪,常見的就是在拍攝共聚焦圖片時候會選中“Interpolation”這個按鈕,這也是屬于去噪的一種。其原理是讓兩個像素點之間的邊界變得模糊,從而使圖片變得柔和,到達去噪的目的。
▲ 圖1. Interpolation功能對比差異
常規“去噪”和平滑處理類似,去噪的內涵是把圖像中的噪點變得平滑,在ZEN軟件的圖像處理模塊中Smooth大類下就包含了很多去噪方法(如表1)。
▲ 表1. 各種平滑處理特點注釋
除了“Denoise”算法采用小波算法外,其他算法都是常規線性代數的方法,小波變換能更多的保留邊緣信號,就是圖片中的細節信息。選中合適的去噪算法,會讓圖像看起來變得平滑,沒有所謂的噪點。
▲ 圖2. Denoise算法處理效果展示。信噪比較差的圖片(共聚焦拍攝時激光強度極弱,Gain值打的特別高的情況下),用Denoise算法處理可以得到效果比較好的圖片
通過簡單去卷積
——Deblurring模塊
去卷積有很多種不同的算法,蔡司ZEN軟件中Deblurring功能用比較簡單的方式實現了信噪比提升,這個功能符合很多人對“去噪”效果的預期。
在Smooth模塊下的去噪算法大多是對噪點本身下功夫,而Deblurring則考慮了成像過程產生的“噪聲”。
Deblurring是基于最鄰近函數去除背景的一種方法,對Z-Stack圖像作Deblurring處理的時候,考慮某一層圖象的噪聲只是由其相鄰兩層圖像帶來的非焦平面信號和顯微系統本身引起的;處理單張二維圖像的時候,則是運用該圖本身非焦平面的點擴散函數估算其相鄰的噪聲。選用Deblurring則是真的會去除那些噪點,而不是作平滑處理。
通過深度學習的方法
——AI Denoising模塊
除了常規的平滑和去卷積算法外,蔡司ZEN軟件中還有“AI Denoising”模塊,其內核是 Noise2Void (N2V) [1]深度學習的去噪方法。N2V只需要信噪比很低的圖像就能實現深度學習,是一種直接在噪聲圖像上進行訓練的自我監督深度學習方法。因此,成像過程中就可以用更低的熒光光強進行成像,特別適合活細胞成像。
蔡司ZEN軟件里的AI Denoising主要有兩大板塊構成,一個是在Analysis板塊中的Intellesis
Denoising,用戶可以自己訓練模型,而不是給一個通用模型。另一個就是調用訓練好模型的地方在processing板塊中直接搜索Intellesis
Denoising就可以了。
N2V只能夠對像素點獨立的噪聲進行處理,所以想讓AI Denoising效果更好可以對圖像先進行Whitening(白噪聲處理),然后再去訓練AI Denoising的模型,模型訓練好后運用的時候,還是要輸入白噪聲處理后的目標圖像,最終導出圖像是不含白噪聲的圖像。還有一點小技巧就是用8bit的圖像能獲得更好的去噪效果。
AI Denoising不止效果顯著,還可以對多維圖像進行降噪處理。
這次介紹了這么多圖像去噪的方法,從普通平滑處理降噪、到非焦平面信號去除、再到深度學習的人工智能降噪,蔡司君相信總有一款是適合要發表高分文章,攀登科研高峰的你,要不要現在就拿出以前已經拍攝好的圖像進行搶救一下呢?
備注:ZEN 3.4版本及以上才有Deblurring模塊;ZEN 3.6版本及以上才有AI Denoising模塊。