本發(fā)明涉及計(jì)算機(jī)視覺目標(biāo)檢測(cè)領(lǐng)域，特別涉及一種基于yolov11m應(yīng)用于邊緣設(shè)備的芯片封裝缺陷檢測(cè)方法。

背景技術(shù)：

1、在科技日新月異的當(dāng)下，半導(dǎo)體行業(yè)作為現(xiàn)代信息技術(shù)產(chǎn)業(yè)的核心與基石，正蓬勃發(fā)展。5g通信、人工智能、物聯(lián)網(wǎng)等新興技術(shù)的崛起，使得芯片需求呈爆發(fā)式增長(zhǎng)，不僅數(shù)量上持續(xù)攀升，對(duì)性能、尺寸以及集成度的要求也愈發(fā)嚴(yán)苛。隨著芯片集成度不斷提高，芯片封裝環(huán)節(jié)愈發(fā)關(guān)鍵。封裝過程中，任何細(xì)微偏差都可能造成芯片表面出現(xiàn)封裝缺陷，這些缺陷嚴(yán)重影響芯片的可靠性與性能。在大規(guī)模芯片生產(chǎn)中，既要精準(zhǔn)檢測(cè)出各類表面封裝缺陷，又要保證高效的檢測(cè)速度，已成為當(dāng)下行業(yè)亟待解決的關(guān)鍵難題。

2、傳統(tǒng)芯片檢測(cè)方法存在諸多弊端。人工外觀檢查主觀性強(qiáng)，難以發(fā)現(xiàn)微小缺陷，效率極低；自動(dòng)光學(xué)檢測(cè)雖一定程度提升了檢測(cè)效率，但其對(duì)芯片表面復(fù)雜紋理、多層結(jié)構(gòu)的識(shí)別能力欠佳，當(dāng)芯片表面存在反光、陰影等干擾因素時(shí)，容易出現(xiàn)誤判；電子束檢測(cè)雖能提供高分辨率圖像，但設(shè)備采購(gòu)成本高昂，檢測(cè)過程中電子束對(duì)芯片表面有潛在損傷風(fēng)險(xiǎn)，檢測(cè)速度也相對(duì)較慢，每平方厘米的檢測(cè)時(shí)長(zhǎng)較長(zhǎng)，在追求高效、無損檢測(cè)的當(dāng)下，大規(guī)模應(yīng)用存在阻礙。

3、盡管yolov11m在目標(biāo)檢測(cè)領(lǐng)域表現(xiàn)出色，但應(yīng)用于芯片封裝缺陷檢測(cè)時(shí)仍有明顯短板。芯片封裝缺陷類型復(fù)雜，尺寸微小，普通yolov11m小目標(biāo)檢測(cè)能力不足，易造成漏檢。同時(shí)，芯片生產(chǎn)線對(duì)實(shí)時(shí)檢測(cè)要求極高，普通yolov11m在高分辨率圖像下計(jì)算量大，推理速度難以達(dá)標(biāo)。此外，芯片車間常用的邊緣計(jì)算設(shè)備資源有限，普通yolov11m龐大的模型參數(shù)難以實(shí)現(xiàn)輕量化部署。這些問題導(dǎo)致傳統(tǒng)yolov11m難以兼顧檢測(cè)精度、實(shí)時(shí)性與部署可行性，亟需改進(jìn)。

4、其他領(lǐng)域也存在類似的需求，并已經(jīng)有了一些有效的改進(jìn)方案，例如，starnet骨干網(wǎng)絡(luò)的輕量化分層架構(gòu)在醫(yī)療影像小目標(biāo)檢測(cè)、自動(dòng)駕駛實(shí)時(shí)檢測(cè)等領(lǐng)域可降低計(jì)算量并提升特征提取能力，simam注意力機(jī)制與gsconv輕量級(jí)卷積技術(shù)也分別在遙感圖像關(guān)鍵特征聚焦、車載邊緣設(shè)備計(jì)算成本優(yōu)化等場(chǎng)景中體現(xiàn)價(jià)值；而在芯片封裝缺陷檢測(cè)領(lǐng)域，starnet的分層架構(gòu)適配小目標(biāo)特性并降低計(jì)算量，simam注意力機(jī)制適應(yīng)圖像的復(fù)雜背景和易受干擾的缺陷，gsconv技術(shù)適用于低算力邊緣設(shè)備，這些改進(jìn)技術(shù)在本領(lǐng)域展現(xiàn)出了良好適配性與應(yīng)用潛力。

5、面對(duì)這些難題，傳統(tǒng)檢測(cè)方法和現(xiàn)有目標(biāo)檢測(cè)模型逐漸暴露出局限性，難以滿足日益增長(zhǎng)的行業(yè)需求，且其他領(lǐng)域解決類似需求的方案尚未有效應(yīng)用于本領(lǐng)域。因此，迫切需要一種創(chuàng)新、高效的檢測(cè)模型來填補(bǔ)這一空白。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明以原yolov11模型為基礎(chǔ)，提供一種基于yolov11m應(yīng)用于邊緣設(shè)備的芯片封裝缺陷檢測(cè)方法，在保持檢測(cè)精度的情況下，旨在提高芯片封裝缺陷的檢測(cè)速度，減小模型大小與計(jì)算量，提升在邊緣設(shè)備部署的可行性。

2、本發(fā)明具體是通過以下技術(shù)方案來實(shí)現(xiàn)的，依據(jù)本發(fā)明提出的一種基于yolov11m應(yīng)用于邊緣設(shè)備的芯片封裝缺陷檢測(cè)方法，其步驟如下：

3、步驟1，拍攝封裝芯片的圖像，對(duì)圖像中的缺陷位置進(jìn)行坐標(biāo)標(biāo)記，導(dǎo)出坐標(biāo)文件與圖像組成數(shù)據(jù)集；

4、步驟2，對(duì)數(shù)據(jù)集的數(shù)據(jù)增強(qiáng)，包括對(duì)圖像進(jìn)行裁剪和拼接，對(duì)圖像進(jìn)行翻轉(zhuǎn)，調(diào)整圖像的亮度、對(duì)比度和飽和度；

5、步驟3，將數(shù)據(jù)集按照8:1:1的比例劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集；

6、步驟4，搭建yolov11-ale目標(biāo)檢測(cè)模型，其網(wǎng)絡(luò)結(jié)構(gòu)包括backbone模塊、neck模塊和head模塊，分別負(fù)責(zé)特征提取、特征融合以及目標(biāo)預(yù)測(cè)；

7、所述backbone模塊采用starnet網(wǎng)絡(luò)結(jié)構(gòu)，然后將原有的c2psa模塊替換為c2cga模塊，用于調(diào)整通道間特征關(guān)聯(lián)，再增加simam注意力模塊強(qiáng)化關(guān)鍵特征輸出；

8、所述neck模塊，引入輕量級(jí)卷積技術(shù)gsconv，替換原有的conv模塊，將標(biāo)準(zhǔn)卷積與深度卷積結(jié)合，通過1×1卷積混合通道輸出，然后將原有的c3k2模塊替換為以gsconv為基礎(chǔ)的msr-vovgscsp模塊，經(jīng)跨級(jí)連接與融合策略，完成特征處理與結(jié)構(gòu)優(yōu)化；

9、所述head模塊采用lwnbdet檢測(cè)頭，借助雙向特征傳播架構(gòu)，跨尺度連接融合多尺度特征，以加權(quán)方式確定特征重要性，實(shí)現(xiàn)高效目標(biāo)檢測(cè)；

10、步驟5，將數(shù)據(jù)集導(dǎo)入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到改進(jìn)后的目標(biāo)檢測(cè)模型；

11、步驟6，將得到的模型的格式轉(zhuǎn)換為邊緣設(shè)備兼容格式，移植到邊緣設(shè)備，對(duì)芯片封裝缺陷進(jìn)行檢測(cè)。

12、進(jìn)一步，所述對(duì)數(shù)據(jù)集的數(shù)據(jù)增強(qiáng)包括：將圖像中包含缺陷的部分裁剪出來，然后將4-8張裁剪后的圖像均勻排布拼接成一張圖像；對(duì)圖像分別進(jìn)行水平方向或垂直方向的翻轉(zhuǎn)；對(duì)圖像的亮度、對(duì)比度和飽和度分別進(jìn)行升高25%和降低25%的處理；對(duì)同一張圖像進(jìn)行上述方法的組合使用，從而使缺陷特征更加突出，有助于模型更好捕捉缺陷邊緣的細(xì)微細(xì)節(jié)。

13、進(jìn)一步，所述starnet網(wǎng)絡(luò)結(jié)構(gòu)采用四階段分層架構(gòu)。首先，輸入圖像通過卷積層下采樣，改變輸入特征圖尺寸與維度；以批量歸一化替換原本歸一化并后置，便于推理時(shí)融合操作；將gelu換為relu6，簡(jiǎn)化計(jì)算；隨后進(jìn)入star?blocks進(jìn)一步提取特征。其次，再次通過卷積層下采樣，特征圖尺寸進(jìn)一步減小、通道數(shù)增多，接著由star?blocks提取更抽象特征。然后，重復(fù)卷積下采樣過程，特征圖分辨率持續(xù)降低、通道數(shù)繼續(xù)翻倍，經(jīng)star?blocks讓特征表達(dá)更豐富。最后，又一次卷積下采樣，之后經(jīng)star?blocks提取特征，通過全局平均池化和全連接層輸出結(jié)果。各模塊末尾添加深度可分離卷積，由深度卷積提取局部特征、逐點(diǎn)卷積整合通道信息；星操作塊含雙分支，經(jīng)線性變換、逐元素相乘融合并殘差連接輸出，增強(qiáng)特征表達(dá)；網(wǎng)絡(luò)通道擴(kuò)展因子固定為4，各階段寬度翻倍，調(diào)整塊數(shù)與嵌入通道數(shù)以適配不同場(chǎng)景。

14、進(jìn)一步，將backbone模塊的基準(zhǔn)模型網(wǎng)絡(luò)結(jié)構(gòu)中c2psa模塊替換為c2cga模塊，c2cga嵌入基準(zhǔn)模型后，輸入特征圖按通道切分多組，輸入通道數(shù)為1024，分成16組，每組通道數(shù)為64，各特征組獨(dú)立計(jì)算注意力；級(jí)聯(lián)融合時(shí)，前序輸出與當(dāng)前組拼接處理，增強(qiáng)跨尺度交互，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，適配芯片封裝缺陷檢測(cè)。

15、進(jìn)一步，在backbone模塊引入simam注意力機(jī)制，首先接收上一層輸出的維度為n×c×h×w的特征圖；接著，基于神經(jīng)科學(xué)的“空間抑制”理論構(gòu)建能量函數(shù)，求解得到各神經(jīng)元重要性數(shù)值，生成涵蓋通道與空間維度的3d注意力權(quán)重；隨后，經(jīng)sigmoid函數(shù)處理這些權(quán)重后，與原特征圖逐元素相乘，突出關(guān)鍵特征、抑制冗余；最終，輸出處理后的特征圖。

16、進(jìn)一步，所述輕量級(jí)卷積技術(shù)gsconv將輸入特征圖分為兩組，一組經(jīng)標(biāo)準(zhǔn)卷積，另一組經(jīng)深度可分離卷積，后通過通道重排融合特征，在減少計(jì)算量同時(shí)保留特征表達(dá)能力。

17、進(jìn)一步，所述msr-vovgscsp模塊，是以gsconv為基礎(chǔ)構(gòu)建，將輸入特征圖經(jīng)跨級(jí)連接分為兩個(gè)分支，在每個(gè)分支進(jìn)行g(shù)sconv操作，并引入多尺度的3×3與5×5卷積核并行，處理分支特征，捕捉不同尺度信息，各分支輸出與殘差連接傳遞的淺層特征進(jìn)行逐元素相加融合，再通過拼接融合分支特征，優(yōu)化特征金字塔結(jié)構(gòu)，增強(qiáng)特征表征能力。

18、進(jìn)一步，所述lwnbdet檢測(cè)頭構(gòu)建了多層級(jí)特征交互體系，自骨干網(wǎng)絡(luò)的不同卷積階段提取分辨率為原圖1/16、1/32、1/64、1/128的特征圖。通過搭建雙向并行傳導(dǎo)鏈路，將上采樣與下采樣特征進(jìn)行逐元素相加與通道拼接操作；剔除僅作為單一數(shù)據(jù)流傳輸?shù)墓?jié)點(diǎn)，在同層級(jí)特征間建立旁路連接以增強(qiáng)信息復(fù)用。針對(duì)每個(gè)輸入特征分支，部署可訓(xùn)練的權(quán)重向量進(jìn)行通道維度加權(quán)，并基于歸一化融合公式計(jì)算特征融合系數(shù)，最終將融合后的特征矩陣輸入由共享參數(shù)卷積層構(gòu)成的邊界框-類別預(yù)測(cè)網(wǎng)絡(luò)，實(shí)現(xiàn)缺陷位置回歸與類別判定。

19、進(jìn)一步，所述得到的模型的格式轉(zhuǎn)換為邊緣設(shè)備兼容格式，移植到邊緣設(shè)備后，通過以下步驟實(shí)現(xiàn)封裝芯片缺陷檢測(cè)：建立包含封裝缺陷、劃痕缺陷、引腳缺陷、污漬缺陷的特征庫(kù)；設(shè)置置信度閾值，根據(jù)模型識(shí)別結(jié)果的置信度判斷結(jié)果的有效性；通過像素-物理尺寸標(biāo)定算法實(shí)現(xiàn)缺陷尺寸測(cè)量；設(shè)置根據(jù)生產(chǎn)需求、缺陷類型、尺寸和置信度生成不同級(jí)別質(zhì)量警報(bào)的預(yù)警機(jī)制。

20、本發(fā)明的yolov11-ale芯片封裝缺陷檢測(cè)模型通過優(yōu)化yolov11m模型，引入starnet骨干網(wǎng)絡(luò)，輕量化分層架構(gòu)降低計(jì)算量并適配小目標(biāo)缺陷特征提取；采用cscga模塊分組機(jī)制降低計(jì)算復(fù)雜度，同時(shí)增強(qiáng)跨組特征交互；添加simam注意力機(jī)制聚焦缺陷關(guān)鍵特征點(diǎn)；改進(jìn)原始卷積運(yùn)算，gsconv將標(biāo)準(zhǔn)卷積與深度卷積結(jié)合，減少計(jì)算成本，加速neck層推理，以gsconv為基礎(chǔ)改進(jìn)的msr-vovgscsp模塊提高跨層連接效率并適應(yīng)不同大小缺陷特征；借助lwnbdet檢測(cè)頭的雙向特征傳播架構(gòu)，跨尺度連接融合多尺度特征并加權(quán)確定特征重要性，減少無效運(yùn)算，在保持檢測(cè)精度的同時(shí)，大幅提高了芯片封裝缺陷的檢測(cè)速度，減小了模型大小與計(jì)算量，提升了在邊緣設(shè)備部署的可行性。