本發(fā)明涉及一種使用信息嵌入技術(shù)和在傅立葉空間中執(zhí)行的對(duì)抗學(xué)習(xí)方法來(lái)改善具有光學(xué)像差的超小型成像系統(tǒng)的性能的圖像修復(fù)方法、以及執(zhí)行該方法的成像系統(tǒng)。

背景技術(shù)：

1、超透鏡(metalens)是一種由超短波長(zhǎng)結(jié)構(gòu)組成的超薄透鏡，作為一種可以克服現(xiàn)有透鏡局限的技術(shù)而受到關(guān)注。然而，根據(jù)最近的研究，大面積寬帶超透鏡存在寬帶聚焦效率和直徑之間發(fā)生基本權(quán)衡(trade-off)的問(wèn)題。因此，當(dāng)前公開(kāi)的寬帶超透鏡在寬帶寬內(nèi)具有色差或低聚焦效率，這將阻礙基于超透鏡的小型成像系統(tǒng)的商業(yè)化。

2、一方面，以往公開(kāi)的圖像修復(fù)技術(shù)為如下。

3、在先論文1是涉及一種通過(guò)反卷積(deconvolution)的圖像修復(fù)方法。在先論文1，假設(shè)性能不會(huì)因位置而變化的情況下，對(duì)受損圖像使用預(yù)先測(cè)量的點(diǎn)擴(kuò)散函數(shù)(pointspread?function，psf)執(zhí)行反卷積。即在先論文1的技術(shù)，由于假設(shè)了性能不會(huì)因位置而變化，因此存在無(wú)法考慮根據(jù)位置的性能下降的問(wèn)題。

4、在先論文2是一種通過(guò)深度學(xué)習(xí)(deep?learning)的圖像修復(fù)技術(shù)。在先論文2的技術(shù)是為了gpu(graphic?processing?unit)的物理限制和學(xué)習(xí)效率，從給定圖像中隨機(jī)裁切(crop)圖像塊使用，而不是使用全分辨率圖像原圖。在這種情況下，當(dāng)模型在給定的數(shù)據(jù)上進(jìn)行訓(xùn)練時(shí)，圖像的位置信息完全丟失，導(dǎo)致無(wú)法學(xué)習(xí)由于透鏡的像差而導(dǎo)致的性能下降。

5、在先論文3公開(kāi)了一種通過(guò)基于分塊(patch)的psf的塊式反卷積(pa?tch-wisedeconvolution)方法。在先論文3，為了修復(fù)因具有根據(jù)視角發(fā)生變化的psf的一般光學(xué)像差而引起的圖像損壞，由人直接測(cè)量圖像上對(duì)每個(gè)分塊單位區(qū)域的psf進(jìn)行訓(xùn)練，因此，在費(fèi)用、時(shí)間方面存在問(wèn)題。

6、在先論文1

7、krishnan，dilip，and?rob?fergus.“fast?image?deconvolution?using?hyp?er-laplacian?priors.”advances?in?neural?information?processing?systems?22(2009).

8、在先論文2

9、zamir，syed?waqas，et?al.“multi-stage?progressive?image?restoration.”proceedings?of?the?ieee/cvf?conference?on?computer?vision?and?pattern?recognition.2021.

10、在先論文3

11、li，xiu，et?al.“universal?and?flexible?optical?aberration?correctionusi?ng?deep-prior?based?deconvolution.”proceedings?of?the?ieee/cvf?international?conference?on?computer?vision.2021.

技術(shù)實(shí)現(xiàn)思路

1、技術(shù)問(wèn)題

2、本發(fā)明的一實(shí)施例涉及一種圖像修復(fù)方法及執(zhí)行該方法的成像系統(tǒng)，其通過(guò)使用利用具有強(qiáng)像差的透鏡直接拍攝的圖像數(shù)據(jù)學(xué)習(xí)的人工智能模型，并直接在頻域中學(xué)習(xí)清晰的正確數(shù)據(jù)，從而，可以解決超小型成像系統(tǒng)中的圖像質(zhì)量劣化，并可以修復(fù)高空間頻域中的圖像損傷。

3、技術(shù)方案

4、根據(jù)本發(fā)明的一實(shí)施例的成像修復(fù)裝置，其中，包括：存儲(chǔ)器，用于存儲(chǔ)從攝像頭拍攝的原始圖像和人工智能模型；以及處理器，用于訓(xùn)練所述人工智能模型，所述人工智能模型，包括：圖像修復(fù)模型，用預(yù)設(shè)的塊裁切所述原始圖像，基于在裁切的圖像塊嵌入所述塊的坐標(biāo)信息的輸入數(shù)據(jù)生成修復(fù)圖像；以及判別模型，對(duì)由所述圖像修復(fù)模型生成的修復(fù)圖像進(jìn)行傅里葉變換，并區(qū)別所述傅里葉變換后的修復(fù)圖像，所述處理器，執(zhí)行所述圖像修復(fù)模型和所述判別模型的對(duì)抗學(xué)習(xí)，從所述已完成學(xué)習(xí)的圖像修復(fù)模型生成對(duì)由所述攝像頭拍攝的新原始圖像的修復(fù)圖像。

5、所述處理器，可以是，以所述圖像塊的中間像素為準(zhǔn)生成所述坐標(biāo)信息，通過(guò)網(wǎng)格(meshgrid)方法將所述坐標(biāo)信息轉(zhuǎn)換為二維坐標(biāo)數(shù)據(jù)，通過(guò)1×1卷積層將轉(zhuǎn)換為所述二維數(shù)據(jù)的坐標(biāo)信息結(jié)合(concatenate)至所述圖像塊來(lái)生成所述輸入數(shù)據(jù)。

6、所述處理器，可以是，輸入至從所述1×1卷積層輸出的輸入數(shù)據(jù)的大小與輸出數(shù)據(jù)的大小相同的第一神經(jīng)網(wǎng)絡(luò)，并從所述第一神經(jīng)網(wǎng)絡(luò)輸出所述修復(fù)圖像。

7、所述第一神經(jīng)網(wǎng)絡(luò)可以包括包含mirnet、mprnet或nafnet中的至少一個(gè)的卷積神經(jīng)網(wǎng)絡(luò)(cnn，convolution?neural?network)模型、或者包括restormer或uformer中的至少一個(gè)的transformer模型。

8、所述判別模型，可以是，包括用于判別經(jīng)所述傅立葉變換的修復(fù)圖像的真?zhèn)蔚腸nn模型，所述cnn模型包括googlenet、alexnet、vgg網(wǎng)絡(luò)中的至少一個(gè)，所述處理器，通過(guò)所述判別模型將所述傅里葉變換的修復(fù)圖像與正確圖像進(jìn)行比較，并基于所述比較結(jié)果對(duì)抗性地訓(xùn)練所述圖像修復(fù)模型，使得所述圖像修復(fù)模型將低頻原始圖像生成為高頻修復(fù)圖像。

9、所述處理器，可以是，訓(xùn)練所述判別模型以針對(duì)所述正確圖像輸出預(yù)設(shè)的第一參考值以上，并訓(xùn)練所述判別模型以針對(duì)所述修復(fù)圖像輸出預(yù)設(shè)的第二參考值以下。

10、根據(jù)本發(fā)明的其他實(shí)施例的成像系統(tǒng)，包括：攝像頭，包含超透鏡或衍射光學(xué)透鏡；存儲(chǔ)器，接收所述攝像頭拍攝的原始圖像，并存儲(chǔ)人工智能模型；處理器，用于訓(xùn)練所述人工智能模型；以及顯示器，用于輸出所述處理器通過(guò)已完成學(xué)習(xí)的人工智能模型修復(fù)所述原始圖像的修復(fù)圖像，所述人工智能模型，包括：圖像修復(fù)模型，用預(yù)設(shè)的塊裁切所述原始圖像，基于在裁切的圖像塊嵌入所述塊的坐標(biāo)信息的輸入數(shù)據(jù)生成修復(fù)圖像；以及判別模型，對(duì)由所述圖像修復(fù)模型生成的修復(fù)圖像進(jìn)行傅里葉變換，并區(qū)別所述傅里葉變換后的修復(fù)圖像。

11、所述處理器，可以是，以所述圖像塊的中間像素為準(zhǔn)生成所述坐標(biāo)信息，通過(guò)網(wǎng)格方法將所述坐標(biāo)信息轉(zhuǎn)換為二維坐標(biāo)數(shù)據(jù)，通過(guò)1×1卷積層將轉(zhuǎn)換為所述二維數(shù)據(jù)的坐標(biāo)信息結(jié)合至所述圖像塊來(lái)生成所述輸入數(shù)據(jù)。

12、所述處理器，可以是，輸入至從所述1×1卷積層輸出的輸入數(shù)據(jù)的大小與輸出數(shù)據(jù)的大小相同的第一神經(jīng)網(wǎng)絡(luò)，并從所述第一神經(jīng)網(wǎng)絡(luò)輸出所述修復(fù)圖像。

13、所述處理器，可以是，通過(guò)所述判別模型將所述傅里葉變換的修復(fù)圖像與正確圖像進(jìn)行比較，并基于所述比較結(jié)果對(duì)抗性地訓(xùn)練所述圖像修復(fù)模型，使得所述圖像修復(fù)模型將低頻原始圖像生成為高頻修復(fù)圖像。

14、所述處理器，可以是，訓(xùn)練所述判別模型以針對(duì)所述正確圖像輸出預(yù)設(shè)的第一參考值以上，并訓(xùn)練所述判別模型以針對(duì)所述修復(fù)圖像輸出預(yù)設(shè)的第二參考值以下。

15、根據(jù)本發(fā)明的其他另一實(shí)施例的圖像修復(fù)方法，其中，包括：訓(xùn)練人工智能模型；包括超透鏡的攝像頭獲取原始圖像；通過(guò)所述已完成學(xué)習(xí)的人工智能模型生成所述原始圖像的修復(fù)圖像，所述人工智能模型，包括：圖像修復(fù)模型，用預(yù)設(shè)的塊裁切學(xué)習(xí)數(shù)據(jù)的圖像，基于在裁切的圖像塊嵌入所述塊的坐標(biāo)信息的輸入數(shù)據(jù)生成修復(fù)圖像；以及判別模型，對(duì)由所述圖像修復(fù)模型生成的修復(fù)圖像進(jìn)行傅里葉變換，并區(qū)別所述傅里葉變換后的修復(fù)圖像，所述訓(xùn)練人工智能模型，包括通過(guò)所述判別模型將所述傅里葉變換的修復(fù)圖像與正確圖像進(jìn)行比較，并基于所述比較結(jié)果對(duì)抗性地訓(xùn)練所述圖像修復(fù)模型，使得所述圖像修復(fù)模型將低頻原始圖像生成為高頻修復(fù)圖像。

16、所述圖像修復(fù)模型生成所述修復(fù)圖像，可以是，包括：以所述圖像塊的中間像素為準(zhǔn)生成所述坐標(biāo)信息；通過(guò)網(wǎng)格方法將所述坐標(biāo)信息轉(zhuǎn)換為二維坐標(biāo)數(shù)據(jù)；通過(guò)1×1卷積層將轉(zhuǎn)換為所述二維數(shù)據(jù)的坐標(biāo)信息結(jié)合至所述圖像塊來(lái)生成所述輸入數(shù)據(jù)。

17、所述圖像修復(fù)模型生成所述修復(fù)圖像，可以是，包括輸入至從所述1×1卷積層輸出的輸入數(shù)據(jù)的大小與輸出數(shù)據(jù)的大小相同的第一神經(jīng)網(wǎng)絡(luò)，并從所述第一神經(jīng)網(wǎng)絡(luò)輸出所述修復(fù)圖像。

18、所述訓(xùn)練人工智能模型，可以是，包括訓(xùn)練所述判別模型以針對(duì)所述正確圖像輸出預(yù)設(shè)的第一參考值以上，并訓(xùn)練所述判別模型以針對(duì)所述修復(fù)圖像輸出預(yù)設(shè)的第二參考值以下。

19、發(fā)明效果

20、根據(jù)本發(fā)明的一實(shí)施例的圖像修復(fù)方法及執(zhí)行該方法的成像系統(tǒng)，通過(guò)使用利用具有強(qiáng)像差的透鏡直接拍攝的圖像數(shù)據(jù)學(xué)習(xí)的人工智能模型，可以解決超小型成像系統(tǒng)中的圖像質(zhì)量劣化。

21、另外，本發(fā)明的圖像修復(fù)方法及執(zhí)行該方法的成像系統(tǒng)，通過(guò)直接在頻域中學(xué)習(xí)清晰的正確數(shù)據(jù)，從而，可以修復(fù)高空間頻域中的圖像損傷。因此，本發(fā)明的圖像修復(fù)方法及執(zhí)行該方法的成像系統(tǒng)，當(dāng)安裝在智能手機(jī)等可穿戴設(shè)備上時(shí)，可以解決智能手機(jī)的攝像頭凸出的現(xiàn)象，并可以拍攝高質(zhì)量的圖像/視頻。

22、另外，本發(fā)明的圖像修復(fù)方法及執(zhí)行該方法的成像系統(tǒng)，基于改進(jìn)的圖像/視頻質(zhì)量，對(duì)由設(shè)置在無(wú)人駕駛飛行器和ar(augmented?reality)/vr(virtual?reality)設(shè)備中的攝像頭拍攝的圖像可執(zhí)行的下游應(yīng)用也展現(xiàn)出優(yōu)異的性能。

23、本發(fā)明的圖像修復(fù)方法及執(zhí)行該方法的成像系統(tǒng)，可以實(shí)現(xiàn)透鏡的輕量化，從而，可以減輕所搭載的成像系統(tǒng)的重量，期待減輕無(wú)人駕駛飛機(jī)、無(wú)人機(jī)等的重量，由此，還可以期待提高功率效率，此外，本發(fā)明的圖像修復(fù)方法及實(shí)現(xiàn)該方法的成像系統(tǒng)通過(guò)在ar/vr設(shè)備上充當(dāng)眼睛的作用的成像系統(tǒng)中安裝超小型成像系統(tǒng)，從而，可以減輕設(shè)備本身的重量，期待功率效率的提高，而且，通過(guò)減輕用戶的疲勞，可以改善用戶體驗(yàn)。