本發(fā)明涉及醫(yī)學(xué)圖像處理,特別涉及一種基于distseg模型圖像處理技術(shù)對(duì)細(xì)胞進(jìn)行檢測(cè)的方法及系統(tǒng)、一種對(duì)細(xì)胞圖像分割結(jié)果進(jìn)行拼接的方法及系統(tǒng)。
背景技術(shù):
1、隨著數(shù)字病理學(xué)的發(fā)展,全視野切片(whole?slide?image,wsi)技術(shù)已成為病理圖像分析中的重要工具。wsi技術(shù)能夠以高分辨率記錄整個(gè)病理切片,為大規(guī)模病理圖像的存儲(chǔ)、分析及共享提供了基礎(chǔ)。然而,由于病理圖像中細(xì)胞形態(tài)復(fù)雜、密度高、邊界模糊,以及顯微鏡成像條件的多樣性,實(shí)現(xiàn)高精度的細(xì)胞檢測(cè)與分割始終是該領(lǐng)域的一大技術(shù)難點(diǎn)。
2、目前,深度學(xué)習(xí)技術(shù)特別是卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neural?networks,cnns)的應(yīng)用,在病理圖像的自動(dòng)化處理領(lǐng)域取得了顯著進(jìn)展。例如,基于u-net的分割方法因其結(jié)構(gòu)簡(jiǎn)單、性能優(yōu)越,廣泛用于醫(yī)學(xué)圖像分割任務(wù)。此外,生成式對(duì)抗網(wǎng)絡(luò)(generativeadversarial?networks,gans)近年來在醫(yī)學(xué)圖像增強(qiáng)和分割中也表現(xiàn)出強(qiáng)大的能力。又如,pix2pix?gan模型能夠通過生成器和判別器之間的對(duì)抗學(xué)習(xí),生成高質(zhì)量的增強(qiáng)圖像,使細(xì)胞核中心更突出、邊界更清晰。同時(shí),一些基于傳統(tǒng)圖像處理技術(shù)(如形態(tài)學(xué)操作和分水嶺算法)的方法仍被廣泛使用。這些方法在捕獲全局特征和增強(qiáng)邊界特性方面具有一定優(yōu)勢(shì)。
3、盡管如此,目前針對(duì)wsi級(jí)別的細(xì)胞檢測(cè)與分割方法在精準(zhǔn)性與形態(tài)學(xué)真實(shí)性之間仍然難以平衡。特別是在處理高分辨率大規(guī)模圖像時(shí),如何將深度學(xué)習(xí)的強(qiáng)大建模能力與傳統(tǒng)圖像處理技術(shù)相結(jié)合,優(yōu)化細(xì)胞輪廓檢測(cè)的精確性和形態(tài)真實(shí)性,仍是一項(xiàng)尚未完全解決的技術(shù)挑戰(zhàn)。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明技術(shù)方案解決的技術(shù)問題為:如何提高對(duì)wsi級(jí)別細(xì)胞檢測(cè)結(jié)果的精確性與準(zhǔn)確性。
2、為了解決上述技術(shù)問題,本發(fā)明技術(shù)方案提供了一種基于distseg模型圖像處理技術(shù)對(duì)細(xì)胞進(jìn)行檢測(cè)的方法,包括:
3、對(duì)采集的細(xì)胞圖像進(jìn)行預(yù)處理;
4、基于distseg模型圖像處理技術(shù)對(duì)細(xì)胞圖像進(jìn)行分割以生成細(xì)胞核區(qū)域;
5、基于分割的細(xì)胞核區(qū)域,采用形態(tài)學(xué)操作生成背景區(qū)域、前景區(qū)域以及邊緣區(qū)域;
6、計(jì)算每個(gè)背景區(qū)域像素到最近前景區(qū)域像素的最短歐式距離,并利用分水嶺算法對(duì)所述細(xì)胞圖像進(jìn)行分割;
7、對(duì)每個(gè)細(xì)胞實(shí)例標(biāo)簽對(duì)應(yīng)的分割圖進(jìn)行結(jié)果優(yōu)化,以得到過濾后的分割標(biāo)記圖;
8、從分割標(biāo)記圖中提取每個(gè)細(xì)胞的核內(nèi)區(qū)域外部輪廓以及周圍區(qū)域外部輪廓,并保存至對(duì)應(yīng)結(jié)果文件。
9、可選的,所述對(duì)采集的細(xì)胞圖像進(jìn)行預(yù)處理包括:
10、對(duì)所采集細(xì)胞圖像進(jìn)行分割,切分為若干分塊圖像,所述分塊圖像包含局部的細(xì)胞信息,并保留所述分塊圖像在所所采集細(xì)胞圖像全局中的位置信息;
11、將所述分塊圖像轉(zhuǎn)化為灰度格式。
12、可選的,所述分塊圖像包括:熒光圖像及明場(chǎng)圖像;所述將所述分塊圖像轉(zhuǎn)化為灰度格式包括:
13、所述熒光圖像通過直接灰度化處理后,根據(jù)像素亮度分布過濾掉背景信號(hào)較弱的圖像,保留信號(hào)顯著區(qū)域;
14、所述明場(chǎng)圖像通過將rgb圖像轉(zhuǎn)換為hsi色彩模型,提取并增強(qiáng)飽和度分量以突出細(xì)胞區(qū)域的對(duì)比度,再將增強(qiáng)后的圖像轉(zhuǎn)為灰度圖處理。
15、可選的,所述基于distseg模型圖像處理技術(shù)對(duì)細(xì)胞圖像進(jìn)行分割包括:
16、加載預(yù)處理后的細(xì)胞圖像并作為輸入;
17、結(jié)合星形幾何回歸方法,利用每個(gè)像素點(diǎn)到細(xì)胞核邊界的多方向距離描述細(xì)胞核的輪廓重構(gòu)出所述細(xì)胞核的星形幾何多邊形輪廓;
18、基于所述星形幾何多邊形輪廓,計(jì)算各個(gè)像素點(diǎn)屬于所述細(xì)胞核的對(duì)象概率,所述對(duì)象概率為該像素到最近背景像素的歸一化歐氏距離;
19、設(shè)定閾值,從所有像素中選擇該像素對(duì)象概率大于所述閾值的像素,并生成對(duì)應(yīng)的多邊形候選區(qū)域及所述多邊形候選區(qū)域之間的交并比;
20、使用非極大值抑制去除重疊的候選區(qū)域,按照對(duì)象概率對(duì)候選區(qū)域排序,依次保留具有最高對(duì)象概率且與其他候選區(qū)域交并比小于所述閾值的多邊形候選區(qū)域;
21、對(duì)所保留的多邊形候選區(qū)域分配標(biāo)簽,并生成最終的細(xì)胞核分割區(qū)域。
22、可選的,設(shè)所述細(xì)胞圖像中的像素點(diǎn)為(i,j),其中i、j為大于零的自然數(shù),i=1,2,…,i,j=1,2,…,j,i、j分別為像素點(diǎn)在圖像坐標(biāo)系中的橫縱標(biāo)記序號(hào);i,j為大于1的自然數(shù);
23、所述利用每個(gè)像素點(diǎn)到細(xì)胞核邊界的多方向距離描述細(xì)胞核的輪廓重構(gòu)出所述細(xì)胞核的星形幾何多邊形輪廓包括:
24、利用歐式距離表示所述細(xì)胞圖像像素(i,j)到細(xì)胞圖像的細(xì)胞核物體的邊界,設(shè)邊界k為大于零的自然數(shù),代表當(dāng)前選取像素(i,j)的方向角序號(hào),設(shè)像素(i,j)被等距地選取第1,2,…,n個(gè)預(yù)設(shè)方向角以計(jì)算該像素在選取方向角時(shí)到選定物體邊界的距離,n為大于1的自然數(shù),k=1,2,…,n;
25、
26、其中,θk=n/(2πk),k=1,2,…,n為選取的方向角序號(hào),boundary是當(dāng)前物體的邊界;
27、基于所述細(xì)胞圖像像素(i,j)到所述細(xì)胞核物體歐式距離重構(gòu)出所述細(xì)胞核的星形幾何多邊形輪廓;
28、所述計(jì)算各個(gè)像素點(diǎn)屬于所述細(xì)胞核的對(duì)象概率包括:
29、設(shè)像素(i,j)的對(duì)象概率為di,j,有:
30、
31、其中,distance((i,j),background)代表每個(gè)像素(i,j)到最近背景像素background的歸一化距離,而maxdistance代表在所有計(jì)算得到的歸一化距離中的最大值;
32、所述生成對(duì)應(yīng)的多邊形候選區(qū)域及所述多邊形候選區(qū)域之間的交并比包括:
33、設(shè)根據(jù)所述閾值從所有像素中選擇該像素對(duì)象概率大于所述閾值的像素為(i’,j’),i’=i1,i2,…,ix;i1,i2,…,ix依次為1,2,…,i中對(duì)象概率大于閾值的像素橫坐標(biāo)序號(hào),x為大于1的自然數(shù),j’=j(luò)1,j2,…,jy;j1,j2,…,jy依次為1,2,…,j中對(duì)象概率大于閾值的像素縱坐標(biāo)序號(hào),y為大于1的自然數(shù);
34、基于選中的像素(i’,j’),可獲得選中像素(i’,j’)到細(xì)胞核邊界的多方向距離
35、基于這些對(duì)象概率大于所述閾值的像素(i’,j’)的到細(xì)胞核邊界的多方向距離可重構(gòu)出細(xì)胞核的多邊形候選區(qū)域ai’,j’;
36、定義多邊形候選區(qū)域ai’,j’(i’=i1,i2,…,ix,j’=j(luò)1,j2,…,jy),多邊形候選區(qū)域ai’,j’與其他多邊形候選區(qū)域au,v之間的交并比iou,有:
37、
38、u,v代表像素點(diǎn)值,當(dāng)選定像素點(diǎn)(i’,j’)值時(shí),像素點(diǎn)(u,v)為除像素點(diǎn)(i’,j’)以外的像素點(diǎn)值;
39、所述依次保留具有最高對(duì)象概率且與其他候選區(qū)域交并比小于所述閾值的多邊形候選區(qū)域包括:
40、使用非極大值抑制去除候選區(qū)域ai’,j’中重疊的候選區(qū)域,以得到ai0,j0;設(shè)去除重疊區(qū)域后的候選區(qū)域像素為(i0,j0),i0=i10,i20,…,ix0;i10,i20,…,ix0,依次為i1,i2,…,ix中去除重疊候選區(qū)域后得到后續(xù)區(qū)域的相應(yīng)像素橫坐標(biāo)序號(hào),x0為大于1的自然數(shù);j0=j(luò)10,j20,…,jy0;j10,j20,…,jy0依次為j1,j2,…,jy中去除重疊候選區(qū)域后得到后續(xù)區(qū)域的相應(yīng)像素縱坐標(biāo)序號(hào),y0為大于1的自然數(shù);
41、按照像素(i0,j0)的對(duì)象概率di0,j0對(duì)候選區(qū)域ai0,j0進(jìn)行排序,并保留di0,j0中的最高對(duì)象概率且與其他候選區(qū)域交并比小于所述閾值的多邊形候選區(qū)域iou(a?i0,j0);
42、所述對(duì)所保留的多邊形候選區(qū)域分配標(biāo)簽并生成最終的細(xì)胞核分割區(qū)域包括:
43、基于上述保留的多邊形候選區(qū)域iou(a?i0,j0),設(shè)i(iz,jz)表示最終生成的細(xì)胞核分割圖,(iz,jz)表示生成分割圖的橫縱像素序號(hào),在通過保留的多邊形候選區(qū)域iou(ai0,j0)的像素(i0,j0)獲取,并可基于p(iz,jz)為對(duì)應(yīng)像素(iz,jz)分配的標(biāo)簽,則有:
44、
45、基于這些被分配標(biāo)簽的像素(iz,jz)生成最終的細(xì)胞核分割區(qū)域。
46、可選的,所述基于分割的細(xì)胞核區(qū)域,采用形態(tài)學(xué)操作生成背景區(qū)域、前景區(qū)域以及邊緣區(qū)域包括:
47、先通過膨脹操作增加細(xì)胞核邊界像素,用于標(biāo)記潛在的背景區(qū)域;
48、再通過腐蝕操作減少細(xì)胞核邊界像素,用于生成高置信度的前景區(qū)域;
49、將前景與背景差異的區(qū)域標(biāo)記為邊緣區(qū)域,用于后續(xù)分割。
50、可選的,設(shè)細(xì)胞核實(shí)例的二值圖為ii,其中設(shè)ii(x1,y1)=1表示目標(biāo)區(qū)域,ii(x1,y1)=0表示背景,x1,y1代表二值圖ii中像素的橫縱序號(hào);
51、所述通過膨脹操作增加細(xì)胞核邊界像素包括:
52、定義背景膨脹bk1(ii):
53、
54、其中kk1是大小為k1×k1的結(jié)構(gòu)元,表示膨脹操作,k1為膨脹核大?。?/p>
55、設(shè)置每個(gè)目標(biāo)區(qū)域用獨(dú)立的標(biāo)簽l標(biāo)記,背景為0;
56、所述通過腐蝕操作減少細(xì)胞核邊界像素包括:
57、定義實(shí)例腐蝕fm(ii):
58、fm(ii)=ii-km
59、其中“-”在這里表示腐蝕操作,km是大小為m×m的結(jié)構(gòu)元,m為腐蝕操作系數(shù);
60、所述將前景與背景差異的區(qū)域標(biāo)記為邊緣區(qū)域包括:
61、計(jì)算總前景區(qū)域fall(ii),即為所有實(shí)例前景的并集:
62、
63、將前景與背景差異的區(qū)域標(biāo)記為邊緣區(qū)域uk1;
64、uk1=bk1(ii)-fall(ii)。
65、可選的,所述計(jì)算每個(gè)背景區(qū)域像素到最近前景區(qū)域像素的最短歐式距離,并利用分水嶺算法對(duì)所述細(xì)胞圖像進(jìn)行分割,包括:
66、計(jì)算每個(gè)背景區(qū)域像素pb(xb,yb)到最近前景區(qū)域像素pf(xf,yf)的最短距離d(pb,pf):
67、
68、對(duì)于每個(gè)背景像素pb,在其5×5鄰域內(nèi)尋找所有前景像素集合f(pb),取最小值作為最終距離dmin(pb),有:
69、
70、如果f(pb)為空,則dmin(pb)設(shè)定為無窮大;
71、定義距離圖d(xa,ya),其中每個(gè)背景像素(xb,yb)的值等于其到最近前景像素的距離:
72、
73、其中,background代表背景像素集,foregound代表前景像素集;
74、基于d(xa,ya)生成距離圖以對(duì)所述細(xì)胞圖像進(jìn)行分割;
75、基于前景、背景、邊緣區(qū)域以及距離圖的標(biāo)記利用分水嶺算法對(duì)所述細(xì)胞圖像進(jìn)行分割:
76、定義分水嶺算法的初始標(biāo)記m(xc,yc),前景區(qū)域標(biāo)記f=fall(ii),背景區(qū)域標(biāo)記b=bk1(ii),邊緣區(qū)域標(biāo)記e=uk1,有:
77、
78、其中,像素(xc,yc)的前景區(qū)域標(biāo)記為1,背景區(qū)域標(biāo)記為2,邊緣區(qū)域標(biāo)記為0;
79、記未知區(qū)域e(xe,ye)的每個(gè)像素(xe,ye)被賦予最近的標(biāo)記值,則有:
80、
81、可選的,所述對(duì)每個(gè)細(xì)胞實(shí)例標(biāo)簽對(duì)應(yīng)的分割圖進(jìn)行結(jié)果優(yōu)化,以得到過濾后的分割標(biāo)記圖,包括:
82、對(duì)每個(gè)細(xì)胞實(shí)例標(biāo)簽對(duì)應(yīng)的實(shí)例分割圖進(jìn)行連通性分析,生成標(biāo)記圖l(xf,yf),設(shè)lf∈{0,1,2,…,nf}表示連通區(qū)域的標(biāo)簽;
83、定義每個(gè)連通區(qū)域的面積alf,記統(tǒng)計(jì)標(biāo)記圖l(xf,yf)中屬于標(biāo)簽lf的像素?cái)?shù)量計(jì)算得到的每個(gè)連通區(qū)域的面積alf,計(jì)算公式為:
84、
85、面積過濾條件為:
86、
87、lf'(xf,yf)是過濾后的分割標(biāo)記圖。
88、可選的,所述從分割標(biāo)記圖中提取每個(gè)細(xì)胞的核內(nèi)區(qū)域外部輪廓以及周圍區(qū)域外部輪廓,并保存至對(duì)應(yīng)結(jié)果文件,包括:
89、基于如下公式從分割標(biāo)記圖中提取每個(gè)細(xì)胞的核內(nèi)區(qū)域外部輪廓以及周圍區(qū)域外部輪廓:
90、設(shè)輸出標(biāo)記圖為m'(xe,ye),則從標(biāo)記圖中:
91、提取每個(gè)細(xì)胞ig的核內(nèi)區(qū)域外部輪廓cnb(ig)為:
92、cnb(ig)={(xg,yg)|(xg,yg)∈m'(xe,ye)=1}
93、每個(gè)細(xì)胞ig的周圍區(qū)域外部輪廓ccb(ig)為:
94、ccb(ig)={(xh,yh)|(xh,yh)∈m'(xe,ye)=2}
95、記錄并保存對(duì)應(yīng)結(jié)果至json文件。
96、為了解決上述技術(shù)問題,本發(fā)明技術(shù)方案還提供了一種對(duì)細(xì)胞圖像分割結(jié)果進(jìn)行拼接的方法,包括:
97、獲取輸入數(shù)據(jù),所述輸入數(shù)據(jù)包括:原始切片圖像文件和經(jīng)如上所述方法對(duì)細(xì)胞進(jìn)行檢測(cè)后的分割圖像結(jié)果,所述原始切片圖像文件包括:若干切片圖像塊;
98、將每一行的圖像塊按順序進(jìn)行橫向拼接,同時(shí)合并圖像塊間的重疊區(qū)域掩膜,去除冗余部分并優(yōu)化重疊區(qū)域,從指定路徑加載每一行的圖像塊及記錄該圖像塊分割圖像結(jié)果,在重疊區(qū)域內(nèi)檢查掩膜是重疊情況,更新合并后的掩膜并移除冗余掩膜;
99、采用iou指標(biāo)來衡量?jī)蓚€(gè)掩膜之間的重疊情況,基于iou指標(biāo)評(píng)估掩膜的重疊情況;
100、基于所有掩膜的重疊情況繪制圖像,生成所述細(xì)胞圖像分割結(jié)果的拼接圖像。
101、可選的,所述采用iou指標(biāo)來衡量?jī)蓚€(gè)掩膜之間的重疊情況,基于iou指標(biāo)評(píng)估掩膜的重疊情況包括:
102、評(píng)估兩個(gè)掩膜多邊形p1和p2之間的相似性,計(jì)算公式為:
103、
104、其中:area?of?intersection代表兩個(gè)掩膜p1和p2多邊形重疊區(qū)域的面積,areaof?union代表兩個(gè)掩膜多邊形p1和p2并集區(qū)域的面積;
105、對(duì)于兩個(gè)掩膜多邊形p1和p2,計(jì)算其iou指標(biāo),如果iou≥threshold,則刪除較小面積的掩膜intersection;如果iou<threshold,計(jì)算intersection部分并執(zhí)行差集運(yùn)算:threshold為預(yù)設(shè)指標(biāo)閾值;
106、p1'=p1-intersection
107、p2'=p2-intersection
108、保留兩側(cè)非重疊區(qū)域。
109、為了解決上述技術(shù)問題,本發(fā)明技術(shù)方案還提供了一種基于distseg模型圖像處理技術(shù)對(duì)細(xì)胞進(jìn)行檢測(cè)的系統(tǒng),包括:預(yù)處理模塊、第一分割模塊、第二分割模塊、第三分割模塊、優(yōu)化處理模塊以及提取模塊;
110、所述預(yù)處理模塊,適于對(duì)采集的細(xì)胞圖像進(jìn)行預(yù)處理;
111、所述第一分割模塊,適于基于distseg模型圖像處理技術(shù)對(duì)細(xì)胞圖像進(jìn)行分割以生成細(xì)胞核區(qū)域;
112、所述第二分割模塊,適于基于分割的細(xì)胞核區(qū)域,采用形態(tài)學(xué)操作生成背景區(qū)域、前景區(qū)域以及邊緣區(qū)域;
113、所述第三分割模塊,適于計(jì)算每個(gè)背景區(qū)域像素到最近前景區(qū)域像素的最短歐式距離,并利用分水嶺算法對(duì)所述細(xì)胞圖像進(jìn)行分割;
114、所述優(yōu)化處理模塊,適于對(duì)每個(gè)細(xì)胞實(shí)例標(biāo)簽對(duì)應(yīng)的分割圖進(jìn)行結(jié)果優(yōu)化,以得到過濾后的分割標(biāo)記圖;
115、所述提取模塊,適于從分割標(biāo)記圖中提取每個(gè)細(xì)胞的核內(nèi)區(qū)域外部輪廓以及周圍區(qū)域外部輪廓,并保存至對(duì)應(yīng)結(jié)果文件。
116、為了解決上述技術(shù)問題,本發(fā)明技術(shù)方案還提供了一種對(duì)細(xì)胞圖像分割結(jié)果進(jìn)行拼接的系統(tǒng),包括:圖像輸入模塊、圖像拼接模塊、重疊區(qū)域處理模塊、輪廓合并與輸出模塊;
117、所述圖像輸入模塊,適于獲取輸入數(shù)據(jù),所述輸入數(shù)據(jù)包括:原始切片圖像文件和記錄經(jīng)過細(xì)胞檢測(cè)后對(duì)應(yīng)分割圖像結(jié)果的json文件,所述原始切片圖像文件包括:若干切片圖像塊;
118、所述圖像拼接模塊,適于將每一行的圖像塊按順序進(jìn)行橫向拼接,同時(shí)合并圖像塊間的重疊區(qū)域掩膜,去除冗余部分并優(yōu)化重疊區(qū)域,從指定路徑加載每一行的圖像塊及記錄該圖像塊分割圖像結(jié)果,在重疊區(qū)域內(nèi)檢查掩膜是重疊情況,更新合并后的掩膜并移除冗余掩膜;
119、所述重疊區(qū)域處理模塊,適于采用iou指標(biāo)來衡量?jī)蓚€(gè)掩膜之間的重疊情況,基于iou指標(biāo)評(píng)估掩膜的重疊情況;
120、所述輪廓合并與輸出模塊,適于基于所有掩膜的重疊情況繪制圖像,生成所述細(xì)胞圖像分割結(jié)果的拼接圖像。
121、本發(fā)明技術(shù)方案的有益效果至少包括:
122、本發(fā)明采用distseg模型深度學(xué)習(xí)網(wǎng)絡(luò),通過星形幾何回歸和歐氏距離變換,增強(qiáng)了背景區(qū)域的結(jié)構(gòu)信息,提供了更精確的前景和背景分離依據(jù),有效改善了細(xì)胞檢測(cè)的邊界形態(tài),提高了細(xì)胞檢測(cè)和分割的整體性能。
123、本發(fā)明通過引入iou指標(biāo)來判斷拼接過程中的重疊區(qū)域,并結(jié)合并行化處理,有效去除冗余部分,確保拼接圖像的完整性和準(zhǔn)確性,同時(shí)提高了拼接速度和效率,使得大規(guī)模的wsi圖像拼接更加高效、精確。