本發(fā)明涉及智能電網(wǎng)監(jiān)測，且更具體地涉及一種基于sdnn的配電融合終端實時視頻推理方法。

背景技術(shù)：

1、近年來，人工智能(ai)技術(shù)的快速發(fā)展，使其在視頻監(jiān)控領(lǐng)域的應(yīng)用日益廣泛。特別是深度學(xué)習(xí)和計算機(jī)視覺技術(shù)的突破，使得視頻監(jiān)控系統(tǒng)從傳統(tǒng)的人工巡查和錄像回放模式，逐步向智能化、自動化方向演進(jìn)。在傳統(tǒng)視頻監(jiān)控系統(tǒng)中，視頻數(shù)據(jù)的存儲和回放是核心功能，通常依賴中心服務(wù)器進(jìn)行集中式處理。然而，隨著監(jiān)控攝像頭數(shù)量的增加，數(shù)據(jù)量呈指數(shù)級增長，人工巡查方式難以應(yīng)對大規(guī)模視頻數(shù)據(jù)的實時分析需求。同時，傳統(tǒng)系統(tǒng)多采用固定閾值和規(guī)則匹配算法，對復(fù)雜環(huán)境下的目標(biāo)識別和異常檢測能力有限，容易受到環(huán)境光照變化、遮擋和噪聲干擾的影響，導(dǎo)致誤報和漏報情況的發(fā)生。

2、為提升視頻監(jiān)控的智能化水平，ai技術(shù)逐步被引入，并在目標(biāo)檢測、行為分析和異常事件識別等方面發(fā)揮了重要作用。ai算法依托深度學(xué)習(xí)模型，能夠自動學(xué)習(xí)視頻數(shù)據(jù)中的特征，識別異常行為，提高安全管理效率。目前，ai在視頻監(jiān)控中的應(yīng)用主要依賴云計算架構(gòu)，即將視頻數(shù)據(jù)傳輸至云端服務(wù)器，由高性能計算集群執(zhí)行深度學(xué)習(xí)推理任務(wù)。這種模式適用于大規(guī)模數(shù)據(jù)處理，但受限于網(wǎng)絡(luò)帶寬、傳輸延遲以及云端計算資源的分配效率，難以滿足對實時性要求較高的應(yīng)用場景。此外，云計算模式的數(shù)據(jù)傳輸需要長期依賴互聯(lián)網(wǎng)連接，存在潛在的數(shù)據(jù)安全隱患。

3、為彌補云計算模式在視頻監(jiān)控應(yīng)用中的局限性，邊緣計算技術(shù)逐漸被應(yīng)用于視頻推理任務(wù)。邊緣ai視頻推理技術(shù)的核心理念是在靠近數(shù)據(jù)源的位置(如攝像頭、傳感器、嵌入式終端或邊緣服務(wù)器)部署ai模型，實現(xiàn)實時、低延遲的數(shù)據(jù)分析和決策。相比云計算，邊緣ai能夠減少數(shù)據(jù)傳輸量，降低網(wǎng)絡(luò)依賴性，同時提高視頻監(jiān)控系統(tǒng)的響應(yīng)速度和隱私保護(hù)能力。目前，邊緣ai已在智能安防、工業(yè)監(jiān)控和智慧城市等領(lǐng)域得到應(yīng)用。例如，通過在攝像頭端部署輕量級目標(biāo)檢測算法，能夠?qū)崿F(xiàn)本地人臉識別、車輛檢測和異常行為監(jiān)測，從而減少對云端計算資源的依賴。

4、在電網(wǎng)配電領(lǐng)域，監(jiān)控系統(tǒng)通常用于變電站、配電臺區(qū)等關(guān)鍵基礎(chǔ)設(shè)施的狀態(tài)監(jiān)測?，F(xiàn)有配電臺區(qū)融合終端雖然已具備一定的數(shù)據(jù)采集和計算能力，但其ai算力資源尚未得到充分利用，大部分視頻數(shù)據(jù)仍需傳輸至云端或數(shù)據(jù)中心進(jìn)行處理。由于電網(wǎng)環(huán)境下的網(wǎng)絡(luò)條件復(fù)雜，帶寬資源有限，遠(yuǎn)程傳輸可能導(dǎo)致高延遲，影響系統(tǒng)的實時監(jiān)測能力。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明公開一種基于sdnn的配電融合終端實時視頻推理方法，旨在解決現(xiàn)有技術(shù)中存在的現(xiàn)有配電終端算力資源未充分利用、視頻處理依賴云端導(dǎo)致的高延遲、高帶寬消耗，以及模型在復(fù)雜電網(wǎng)場景下適應(yīng)性差的問題。

2、本發(fā)明采用以下技術(shù)方案：

3、一種基于sdnn的配電融合終端實時視頻推理方法，包括以下步驟：

4、步驟s1、采集原始視頻數(shù)據(jù)，采用時域關(guān)鍵幀提取和局部特征描述方法進(jìn)行目標(biāo)關(guān)鍵幀篩選，通過半自動圖像分割與語義標(biāo)注方法對目標(biāo)區(qū)域進(jìn)行標(biāo)記，并通過分層抽樣機(jī)制構(gòu)建電網(wǎng)樣本庫，包括訓(xùn)練樣本、驗證樣本和測試樣本；

5、步驟s2、基于構(gòu)建的電網(wǎng)樣本庫，通過卷積神經(jīng)網(wǎng)絡(luò)結(jié)合遷移學(xué)習(xí)策略，通過梯度下降優(yōu)化算法和數(shù)據(jù)增強機(jī)制進(jìn)行模型訓(xùn)練，并利用交叉驗證及網(wǎng)格搜索方法進(jìn)行超參數(shù)調(diào)優(yōu)，獲取基礎(chǔ)模型；

6、步驟s3、采用中間表示轉(zhuǎn)換機(jī)制，將訓(xùn)練得到的基礎(chǔ)模型轉(zhuǎn)換為onnx格式，并通過算子融合與內(nèi)核重構(gòu)算法對各算子進(jìn)行兼容性校驗，若算子校驗未通過，采用張量運算近似逼近算法進(jìn)行替換，并利用子圖分割機(jī)制優(yōu)化算子執(zhí)行順序；

7、步驟s4、基于sdnn的稀疏性優(yōu)化策略，對轉(zhuǎn)換后的onnx格式模型進(jìn)行剪枝和低比特精度量化，將onnx格式模型編譯為sdnn推理模型；并通過異構(gòu)計算加速框架將sdnn格式模型部署至配電融合終端，所述異構(gòu)計算加速框架通過分層緩存機(jī)制優(yōu)化內(nèi)存訪問；

8、步驟s5、在配電融合終端邊緣設(shè)備上部署編譯優(yōu)化后的sdnn推理模型，通過自適應(yīng)幀采樣、噪聲抑制與動態(tài)范圍壓縮預(yù)處理機(jī)制對實時視頻流進(jìn)行逐幀處理，并利用統(tǒng)計閾值與異常檢測算法實時判斷視頻中目標(biāo)行為，若判定為異常，發(fā)送預(yù)警信號，否則，持續(xù)處理后續(xù)視頻幀；

9、步驟s6、通過基于強化學(xué)習(xí)優(yōu)化的自適應(yīng)反饋機(jī)制對sdnn推理模型的實時性能進(jìn)行監(jiān)測；若檢測到推理精度下降或響應(yīng)延遲超標(biāo)，通過增量學(xué)習(xí)和自適應(yīng)超參數(shù)調(diào)整機(jī)制對模型進(jìn)行再訓(xùn)練和更新。

10、優(yōu)選的，所述步驟s1的工作方法為：首先通過時域梯度聯(lián)合檢測算法計算連續(xù)視頻幀間像素運動矢量場，結(jié)合幀間結(jié)構(gòu)相似性指數(shù)，構(gòu)建基于動態(tài)能量熵的關(guān)鍵幀篩選模型：當(dāng)相鄰幀間光流突變區(qū)域占比超出預(yù)設(shè)閾值時，通過關(guān)鍵幀截取機(jī)制捕捉設(shè)備包括但不限于機(jī)械振動、電弧閃爍的瞬態(tài)特征；基于捕捉到的瞬態(tài)特征，采用局部特征描述方法，在關(guān)鍵幀中構(gòu)建尺度空間時引入高斯差分金字塔的八叉樹分割策略，將圖像劃分為層級化網(wǎng)格單元，并對各單元內(nèi)特征點進(jìn)行方向直方圖聚類，生成具有空間拓?fù)浼s束的多維特征向量；接著，通過半監(jiān)督對抗式圖像分割網(wǎng)絡(luò)執(zhí)行目標(biāo)區(qū)域提?。蛔詈?，基于配電設(shè)備運行參數(shù)建立動態(tài)分層類別，所述配電設(shè)備運行參數(shù)包括但不限于負(fù)載率、溫升率，并在每層內(nèi)通過拉丁超立方抽樣選取樣本，以輸出電網(wǎng)樣本庫。

11、優(yōu)選的，所述步驟s2的工作方法為：首先通過采用卷積神經(jīng)網(wǎng)絡(luò)初始化模型參數(shù)，采用遷移學(xué)習(xí)策略從步驟s1輸出的電網(wǎng)樣本庫中提取通用特征；接著，通過使用梯度下降優(yōu)化算法對模型參數(shù)進(jìn)行迭代更新，在每個訓(xùn)練周期內(nèi)計算交叉熵或均方誤差損失函數(shù)，并利用反向傳播機(jī)制調(diào)整權(quán)重；同時，通過數(shù)據(jù)增強機(jī)制在輸入數(shù)據(jù)處理過程中應(yīng)用包括但不限于旋轉(zhuǎn)、縮放、亮度調(diào)節(jié)、噪聲注入操作；接著，通過交叉驗證方法將樣本庫分割為多個子集，采用k折交叉驗證對模型進(jìn)行訓(xùn)練與驗證；最后，采用網(wǎng)格搜索方法在預(yù)設(shè)的超參數(shù)空間內(nèi)，調(diào)整學(xué)習(xí)率、批量大小、正則化系數(shù)及卷積層數(shù)參數(shù)，并評估每組參數(shù)組合下的驗證集表現(xiàn)，選取驗證誤差最小化配置。

12、優(yōu)選的，所述步驟s3的工作方法為：首先通過異構(gòu)計算圖中間表示轉(zhuǎn)換機(jī)制，將基礎(chǔ)模型轉(zhuǎn)換為onnx格式時嵌入動態(tài)算子映射表，接著利用圖結(jié)構(gòu)解析算法提取模型計算流圖，并通過拓?fù)渑判蜃R別批歸一化層與卷積層相鄰節(jié)點，若檢測到未對齊的內(nèi)存訪問模式，通過跨層算子融合策略將卷積、批歸一化和激活函數(shù)序列合并為單一復(fù)合算子，并重構(gòu)內(nèi)核內(nèi)存排布方式以匹配硬件的向量寄存器位寬；隨后，采用張量語義兼容性校驗算法驗證算子兼容性，所述張量語義兼容性校驗算法基于onnx算子協(xié)議定義約束條件，通過符號執(zhí)行模擬各算子的輸入輸出張量維度及數(shù)據(jù)類型，若檢測到動態(tài)形狀張量，通過多項式展開對非支持算子進(jìn)行數(shù)值等效替代；最后，利用深度優(yōu)先搜索遍歷計算圖構(gòu)建數(shù)據(jù)依賴鏈，當(dāng)檢測到并行分支中存在共享權(quán)重張量時，通過子圖分割策略將計算圖拆分為多個獨立執(zhí)行的子圖模塊，并通過硬件資源分配器為每個子圖分配專屬的緩存區(qū)域。

13、優(yōu)選的，所述基于sdnn的稀疏性優(yōu)化策略首先通過梯度敏感度分析算法計算各卷積核權(quán)重的l1范數(shù)與梯度乘積，若評分低于預(yù)設(shè)閾值，通過結(jié)構(gòu)化剪枝機(jī)制，按通道粒度移除冗余卷積核，并通過殘差連接補償信息損失；接著，采用混合精度量化機(jī)制執(zhí)行低比特轉(zhuǎn)換：所述混合精度量化機(jī)制利用kl散度分析各層激活值分布特性，對高動態(tài)范圍層分配8比特量化位寬，對平滑響應(yīng)層降維至4比特，并通過逐層校準(zhǔn)算法生成動態(tài)縮放因子；隨后，通過指令集映射表將卷積算子拆解為硬件支持的向量乘加指令序列，當(dāng)檢測到張量維度與寄存器位寬不匹配時，通過數(shù)據(jù)重排策略將輸入特征圖按硬件緩存行大小分塊對齊，并插入轉(zhuǎn)置指令消除內(nèi)存訪問碎片。

14、優(yōu)選的，所述分層緩存協(xié)同機(jī)制在異構(gòu)加速框架中構(gòu)建三級緩存結(jié)構(gòu)，包括d1緩存、d2緩存和d3緩存；所述d1緩存用于存儲權(quán)重張量的高頻訪問塊，所述d2緩存用于預(yù)存下一推理周期的輸入特征圖，所述d3緩存用于保留中間計算結(jié)果以供多模型復(fù)用；當(dāng)內(nèi)存訪問請求到達(dá)時，若檢測到目標(biāo)數(shù)據(jù)存在于所述d2緩存且命中率低于85％，通過緩存替換算法基于時空局部性原理保留跨層共享數(shù)據(jù)塊。

15、優(yōu)選的，所述步驟s5的工作方法為：基于邊緣設(shè)備采集的原始視頻流，首先采用自適應(yīng)幀采樣機(jī)制，根據(jù)幀間運動幅度及波形分布計算關(guān)鍵幀指數(shù)；采樣后，利用維納濾波對關(guān)鍵幀進(jìn)行缺失處理；另外，通過動態(tài)范圍壓縮對像素值分配進(jìn)行非線性映射；經(jīng)刪除后的逐幀圖像輸入至sdnn推理模型，通過卡方檢驗方法對行為目標(biāo)特征進(jìn)行實時評估；檢測過程中，基于先驗統(tǒng)計模型與歷史特征分布進(jìn)行對比分析，若偏差超出預(yù)設(shè)閾值，采用mqtt協(xié)議發(fā)送異常信號。

16、優(yōu)選的，所述基于強化學(xué)習(xí)優(yōu)化的自適應(yīng)反饋機(jī)制通過滑動窗口統(tǒng)計推理精度標(biāo)準(zhǔn)差與平均響應(yīng)延遲，當(dāng)精度連續(xù)3個窗口下降超過2％或延遲超出預(yù)設(shè)閾值時，通過強化學(xué)習(xí)驅(qū)動的決策引擎構(gòu)建狀態(tài)空間，包括精度偏差、延遲等級、硬件資源占用率；并通過雙深度q網(wǎng)絡(luò)計算模型更新、參數(shù)調(diào)整和資源重分配的最優(yōu)動作。

17、優(yōu)選的，所述步驟s6在模型觸發(fā)再訓(xùn)練和更新時，首先通過增量式對抗訓(xùn)練方法從實時視頻流中提取置信度低于0.6的幀，與生成對抗網(wǎng)絡(luò)合成的邊緣案例，共同構(gòu)成增量數(shù)據(jù)集；并通過彈性權(quán)重固化算法更新全連接層參數(shù)；同時，基于歷史調(diào)優(yōu)記錄構(gòu)建高斯過程回歸模型，預(yù)測學(xué)習(xí)率的最優(yōu)組合，若驗證損失連續(xù)5次迭代未下降，則發(fā)早停機(jī)制并回滾至最優(yōu)參數(shù)快照；最后，在模型推理線程外建立并行計算沙箱，待增量訓(xùn)練完成后對比新舊模型輸出相似度，若達(dá)標(biāo)則通過原子寫操作替換內(nèi)存中的模型權(quán)重。

18、基于以上技術(shù)方案，本發(fā)明的積極有益效果為：

19、1、通過步驟s1的時域關(guān)鍵幀提取與分層抽樣機(jī)制，有效篩選出具有高信息密度的關(guān)鍵幀數(shù)據(jù)，結(jié)合步驟s5的自適應(yīng)幀采樣技術(shù)動態(tài)調(diào)整視頻采集頻率，大幅減少冗余視頻數(shù)據(jù)的傳輸量；這一技術(shù)鏈條直接解決現(xiàn)有方案因全量視頻傳輸導(dǎo)致的帶寬壓力，使得在有限網(wǎng)絡(luò)資源下仍能實現(xiàn)多路視頻流的穩(wěn)定傳輸；同時，步驟s4的模型剪枝與低比特量化進(jìn)一步壓縮模型體積，降低模型更新時的網(wǎng)絡(luò)負(fù)載。

20、2、步驟s3的算子融合與內(nèi)核重構(gòu)優(yōu)化了模型計算效率，結(jié)合步驟s4的分層緩存機(jī)制優(yōu)化內(nèi)存訪問模式，顯著縮短單幀推理耗時；另外，步驟s5的異常檢測算法通過時序特征融合與動態(tài)閾值判斷，可在短時間內(nèi)完成故障判定，相較于傳統(tǒng)云端回傳方案，顯著縮短系統(tǒng)響應(yīng)延遲，滿足電網(wǎng)關(guān)鍵設(shè)備對瞬態(tài)事件的實時監(jiān)測需求。

21、3、步驟s2的遷移學(xué)習(xí)策略結(jié)合步驟s4的異構(gòu)計算加速框架，充分利用終端硬件的專用計算單元(如npu)，顯著提升算力資源利用率；步驟s6的強化學(xué)習(xí)反饋機(jī)制通過動態(tài)資源分配與熱插拔模型更新，實現(xiàn)計算任務(wù)與硬件能力的自適應(yīng)匹配，使得終端設(shè)備能夠并行處理多類ai任務(wù)，突破傳統(tǒng)方案對云端算力的過度依賴。

22、4、步驟s1的半自動圖像分割與語義標(biāo)注生成高質(zhì)量樣本庫，結(jié)合步驟s2的多模態(tài)數(shù)據(jù)增強技術(shù)，提升模型對光照變化、噪聲干擾等復(fù)雜場景的適應(yīng)能力，另外步驟s5的動態(tài)范圍壓縮與噪聲抑制算法有效改善輸入視頻質(zhì)量，使得模型在電磁干擾、惡劣天氣等條件下仍能保持穩(wěn)定檢測精度。