近日，南京理工大學電子工程與光電技術學院陳錢、左超教授課題組提出一種基于深度學習的單幀結構光三維超快成像技術。該工作以“Single-shot super-resolved fringe projection profilometry (SSSR-FPP): 100,000 frames-per-second 3D imaging with deep learning”為題發表在國際頂尖光學期刊Light: Science & Applications，并當被選為封底文章。電光學院博士生王博文和陳文武為本文共同第一作者，南京理工大學為第一完成單位和通訊單位。
為了揭示力學、物理學和生物學中的瞬態事件，研究者們長期致力于探索具有高時空分辨能力的三維成像技術。條紋投影輪廓術憑借其非接觸、高速、高精度和全場測量等優勢，已成為當前最熱門的技術之一。隨著數字光投影器、高速光探測器等光電器件的跨越式發展，結構光三維成像技術也面臨著更高的期望——既要“高精度”，又要“高速度”。因此，如何在單幅投影圖案下實現高精度的三維重建始終是該領域的研究目標。
為提升條紋投影輪廓術的成像速度，我校陳錢、左超教授團隊于2018年提出了微頻移傅里葉法(μFTP)，有效降低三維重建所需的圖像幀數/編碼數量，首次實現速度為10,000 fps的超快結構光三維成像。然而，進一步提高成像幀率則會面臨像素分辨率下降(受限于讀出帶寬)及信噪比急劇降低(曝光時間縮短)的雙重挑戰。因此，如何實現“高分辨、快幀頻、高信噪比”的三維成像探測仍是亟待突破的難題。
隨著深度學習技術的迅猛發展，光學計量學也迎來了范式轉變。為突破傳統結構光成像系統有限空間帶寬積的制約，近日我校陳錢、左超教授課題組結合人工智能相位解碼與超分辨重建技術，提出基于深度學習的超時空分辨單幀結構光三維成像方法(Single-shot super-resolved fringe projection profilometry, SSSR-FPP)，并使用與微頻移傅里葉法“同樣的硬件”系統，即可實現高分辨率絕對相位的精確解耦并將成像速度提升一個量級以上——首次實現了100,000 fps下的超時空分辨單幀結構光三維成像。研究團隊通過對不同類型瞬態場景進行實驗演示，包括旋轉的渦輪風扇葉片，玩具槍發射的子彈，蒸汽機的往復運動等，展示提出方法在100,000 Hz下的超快三維成像能力，為瞬態物理過程的研究提供了強有力的技術支持。
圖1 SSSR-FPP系統示意圖
圖源：Light: Science & Applications
如圖2所示，SSSR-FPP僅使用一對低信噪比、低分辨率(160×160)的條紋圖像作為輸入，并通過部分讀出成像窗口來實現成像幀頻的顯著提升，結合建立的物理域調控信息與后端統計模型的關聯信息即可實現高分辨率(480×480)絕對相位的精確解耦。SSSR-FPP采用了兩個結構相似但功能不同的卷積神經網絡，它們獨立且順序地進行訓練以實現高分辨的相位復原及相位展開。其中，SSSR-FPP方法通過將鏡頭焦距增加三倍的方式(從24 mm電控調焦到72 mm)以實現高低分辨數據之間的映射學習。這一策略使得SSSR-FPP的成像框架能夠結合具有“物理意義”的圖像形成先驗知識，更加可靠地學習潛在信息，并“重建”丟失的空間分辨率(三倍像素分辨率的提升)。
圖2 SSSR-FPP方法流程圖
圖源：Light: Science & Applications
研究團隊通過對兩個獨立的被測物體(高速旋轉的風扇葉片和靜態石膏模型)進行動態測量實驗以驗證SSSR-FPP的時空分辨能力。盡管原始條紋圖像中存在嚴重的背景噪聲及圖像像素化成像問題，SSSR-FPP仍能清晰重建風扇的幾何結構及石膏模型表面細節。為驗證測量結果的可重復性，在風扇葉片上選取A、B、C三點，并繪制15 ms內的深度變化，結果表明SSSR-FPP在高速測量過程中展現出優異的穩定性及可重復性。
圖3 SSSR-FPP方法對旋轉葉片及靜態石膏模型的三維測量結果
圖源：Light: Science & Applications
此外，研究團隊使用這項技術對每分鐘約9771轉的渦扇發動機模型實現了動態測量，如圖4所示，從兩個不同的角度展示了對渦扇發動機模型的三維渲染結果。借助于SSSR-FFP的高時空分辨能力，研究團隊提供了以0.01 ms為時間間隔的連續三維測量結果，可清晰捕捉到運轉齒輪在不同時刻的紋理細節。相關實驗結果進一步表明SSSR-FPP方法可有效克服傳統成像技術在超快瞬態現象捕捉中的速度瓶頸，同時在確保高精度三維成像的基礎上提供了足夠的空間分辨率，彌補了成像速度與分辨率之間的鴻溝，使三維成像速率提升至100,000 fps以上，刷新了超快瞬態結構光三維成像速度的紀錄。
圖4 SSSR-FPP方法對渦扇發動機模型的三維測量結果
圖源：Light: Science & Applications
上述工作得到了國家重點研發計劃、基金委國家重大科研儀器研制項目、基金委聯合基金重點項目、中央高校基礎科研業務費專項資金等項目的支持。
