本發(fā)明涉及移動機械臂焊接,特別是一種大尺度空間焊縫移動機械臂自動跟蹤系統(tǒng)及方法。
背景技術(shù):
1、隨著現(xiàn)代工業(yè)規(guī)模逐漸擴大,對艦船艙體、航天航空設(shè)備、橋梁建筑、球罐(儲罐)等大型復雜構(gòu)件的焊接需求日益增多,且這類大型構(gòu)件的焊接工作往往需要在施工現(xiàn)場進行。
2、傳統(tǒng)的焊接機械臂,其基座被固定安裝在特定位置上,臂展空間有限、靈活性不足,只適用于批量化生產(chǎn)的流水線工作場景;移動焊接小車則需要在人工預先鋪設(shè)好的軌道或者龍門架上移動,其移動方向和移動距離均受到制約,難以實現(xiàn)在不同空間位置對各種復雜形式的焊縫進行焊接作業(yè),且部署費用昂貴。而由移動底盤和多自由度機械臂組合而成的移動焊接機械臂,結(jié)合了兩者的優(yōu)點,能夠根據(jù)不同的焊接場景進行自主移動、變換作業(yè)位置,焊接運動中焊槍姿態(tài)調(diào)整靈活,非常適用于大型復雜構(gòu)件的焊接作業(yè)。因此,利用移動焊接機械臂實現(xiàn)智能化、自動化焊接已經(jīng)成為焊接領(lǐng)域的研究熱點和發(fā)展趨勢。
3、現(xiàn)在技術(shù)存在的問題及缺陷為:大型復雜構(gòu)件的曲率不規(guī)則變化、焊縫長度長且焊接姿態(tài)多變,移動底盤定位精度不足,在移動過程中不可避免存在抖動、打滑等情況,嚴重影響了移動焊接機械臂的焊縫提取與跟蹤精度。專利cn108941848a公開了一種平面自主移動焊接機器人焊縫初始檢測定位系統(tǒng),使用單目視覺傳感器采集焊縫圖像,實現(xiàn)對帶有不規(guī)則流水孔的船艙底部格子型構(gòu)件直角焊縫的焊接作業(yè);專利cn119589235a公開了一種永磁吸附式自動越障爬壁焊接機器人,通過調(diào)節(jié)移動小車與十字滑塊機構(gòu)協(xié)調(diào)運動實現(xiàn)焊縫跟蹤,僅適用于高空直線焊接,且無法實現(xiàn)焊接過程中焊槍姿態(tài)自主調(diào)整;專利cn114769962a公開了一種基于視覺傳感的移動焊接機器人的焊縫識別跟蹤系統(tǒng),使用攝像機拍攝多幀焊縫光學圖像,基于圖像處理算法拼接形成焊縫數(shù)字圖像數(shù)據(jù),提取目標軌跡點獲得焊縫軌跡數(shù)據(jù),對環(huán)境光敏感、焊縫提取精度有限;專利cn116423114a公開了一種移動焊接機器人車臂協(xié)同跟蹤方法,通過航速航向-底盤坐標系模型和車體運動狀態(tài)估計模型構(gòu)建航速角速度-tcp位移模型,部署移動焊接操作臂協(xié)調(diào)控制架構(gòu),但忽略車體在轉(zhuǎn)向過程中會產(chǎn)生滑移的情況,缺乏對實際場景約束的考量。
技術(shù)實現(xiàn)思路
1、有鑒于此,本發(fā)明的目的在于提供一種大尺度空間焊縫移動機械臂自動跟蹤系統(tǒng)及方法,該系統(tǒng)使用三自由度移動底盤和六自由度機械臂組合成移動機械臂,擴大焊接范圍;通過雙目結(jié)構(gòu)光相機采集焊件點云數(shù)據(jù),圖像精度高且受環(huán)境光干擾弱;采用移動機械臂多站位分段式焊縫跟蹤策略,避免焊縫跟蹤過程因移動底盤打滑、抖動等因素導致的跟蹤精度不高的問題。適用于多類型未知大尺度對接焊件,解決了大尺度空間焊縫連續(xù)跟蹤的技術(shù)難題。
2、為實現(xiàn)上述目的,本發(fā)明采用如下技術(shù)方案:一種大尺度空間焊縫移動機械臂自動跟蹤系統(tǒng),包括移動機械臂、視覺傳感器、焊槍、計算機以及大尺度待跟蹤焊件;所述移動機械臂包括三自由度移動底盤和六自由度機械臂;所述視覺傳感器為雙目結(jié)構(gòu)光相機;所述視覺傳感器和焊槍安裝于所述六自由度機械臂末端;所述視覺傳感器在不同視角拍攝大尺度待跟蹤焊件的表面生成至少三幀3d點云數(shù)據(jù),并將點云數(shù)據(jù)傳輸給計算機;所述計算機通過算法配準和拼接所述點云數(shù)據(jù),識別并提取3d點云中的焊縫特征點,獲得所述焊縫特征點的空間軌跡,依據(jù)所述空間軌跡分別規(guī)劃所述六自由度機械臂的末端移動軌跡與三自由度移動底盤的移動路徑,并轉(zhuǎn)換為運動指令;所述計算機將所述運動指令發(fā)送給所述移動機械臂,所述六自由度機械臂帶動焊槍先沿所述末端移動軌跡完成對所述焊縫特征點的空間軌跡的精確跟蹤,所述三自由度移動底盤再沿所述移動路徑跟蹤移動,通過所述六自由度機械臂和三自由度移動底盤的交替軌跡跟蹤,實現(xiàn)大尺度空間焊縫的移動跟蹤。
3、在一較佳的實施例中,所述大尺度待跟蹤焊件為帶有對稱v型、x型、u型坡口的平面焊件或不規(guī)則曲面焊件,焊縫為空間直線、斜線或不規(guī)則曲線。
4、本發(fā)明還提供了一種大尺度空間焊縫移動機械臂自動跟蹤方法,所述方法采用多站位分段式焊縫跟蹤策略,基于權(quán)利要求1或2所述的大尺度空間焊縫移動機械臂自動跟蹤系統(tǒng)實現(xiàn),包括如下步驟:
5、步驟s1、控制移動機械臂運動至初始站位;
6、步驟s2、保持三自由度移動底盤靜止,控制六自由度機械臂搭載視覺傳感器在預設(shè)的多個位姿拍攝大尺度待跟蹤焊件,生成至少三幀原始點云圖像;
7、步驟s3、對每幀原始點云圖像進行點云預處理;
8、步驟s4、對預處理過后的至少三幀點云圖像采用點云配準與拼接技術(shù)進行融合,獲取當前站位下對應(yīng)的焊件局部三維點云模型;
9、步驟s5、在焊件局部三維點云模型中,分割出坡口區(qū)域點云集;
10、步驟s6、提取坡口區(qū)域點云集的邊緣點,并基于此獲得焊縫特征點集;
11、步驟s7、擬合焊縫特征點集生成連續(xù)焊縫軌跡,對連續(xù)焊縫軌跡插值取點生成焊接路徑點序列,規(guī)劃焊槍在各焊接路徑點的位姿矩陣,將位姿矩陣序列轉(zhuǎn)換為運動指令并驅(qū)動六自由度機械臂帶動焊槍完成對連續(xù)焊縫軌跡的精確跟蹤;
12、步驟s8、基于所述連續(xù)焊縫軌跡,結(jié)合六自由度機械臂可操作度約束,規(guī)劃三自由度移動底盤的移動路徑,驅(qū)動移動機械臂大致沿移動路徑從該站位移動到下一站位;
13、步驟s9、重復執(zhí)行上述步驟s2-s8,通過多站位切換作業(yè)實現(xiàn)對大尺度空間焊縫的連續(xù)跟蹤,當檢測到焊縫終點即焊縫特征點集為空時終止控制流程。
14、在一較佳的實施例中,所述步驟s3包括:對獲取的單幀原始點云圖像進行處理,通過kd-tree空間索引結(jié)構(gòu)建立離散點云數(shù)據(jù)間的拓撲關(guān)系;使用改進體素濾波方法降低點云密度,計算每個體素柵格內(nèi)與重心點歐式距離最近的點替代重心點;然后采用統(tǒng)計濾波算法剔除點云離群噪聲點。
15、在一較佳的實施例中,所述步驟s4中,對至少三幀點云圖像配準、拼接的具體實現(xiàn)過程為:
16、重復執(zhí)行預設(shè)的點云圖像配準、拼接步驟,直至完成所有幀點云圖像的拼接,獲得當前站位下對應(yīng)的焊件局部三維點云模型;
17、所述預設(shè)的點云圖像配準、拼接步驟包括:
18、步驟s4-1、將六自由度機械臂搭載視覺傳感器在相鄰兩個位姿拍攝大尺度待跟蹤焊件生成的兩幀點云圖像,通過手眼標定矩陣etc和單幀點云圖像采集時對應(yīng)的六自由度機械臂末端位姿矩陣bte,將點云坐標統(tǒng)一至六自由度機械臂基坐標系下,分別表示為第一幀點云pi集和第二幀點云集pj,實現(xiàn)點云的粗拼接,實現(xiàn)公式為:bp=bteetccp,式中,bp表示六自由度機械臂基坐標系下的點云數(shù)據(jù),cp表示視覺傳感器坐標系下的預處理過的點云數(shù)據(jù);其中,第一幀點云集pi和第二幀點云集pj存在部分重疊區(qū)域;
19、步驟s4-2、選擇點云數(shù)量最多的第一幀點云集pi作為目標點云,第二幀點云集pj作為源點云,基于八叉樹空間索引結(jié)構(gòu),利用歐式距離約束提取出第一幀點云集pi和第二幀點云集pj的第一重疊區(qū)域點云集qi和第二重疊區(qū)域點云集qj;
20、步驟s4-3、對第一重疊區(qū)域點云集qi中的每個點pi進行半徑搜索獲取其鄰域點集,求解點pi與其鄰域點集構(gòu)成的加權(quán)協(xié)方差矩陣的特征值其中加權(quán)協(xié)方差矩陣為:式中,t表示對矩陣進行轉(zhuǎn)置,k表示鄰域點數(shù)量,distij代表點pi與其第j個鄰域點pij之間的歐式距離,若特征值滿足條件:則點pi定義為iss特征點,將點pi放入第一iss特征點集si中;以同樣的方法篩選出第二重疊區(qū)域點云集qj中的iss特征點,并放入第二iss特征點集sj中;
21、步驟s4-4、對第一iss特征點集si和第二iss特征點集sj,使用點對面的最近點迭代算法icp進行配準,獲取兩片點云的剛體轉(zhuǎn)換矩陣;
22、步驟s4-5、將所述剛體變換矩陣作用于第二幀點云集pj進行線性變換,得到在第一幀點云集pi坐標系下的點云,將兩片點云合并為oi,實現(xiàn)點云精拼接;
23、在完成所有幀點云圖像的拼接,獲得當前站位下對應(yīng)的焊件局部三維點云模型后,使用所述改進體素濾波方法,降低重疊區(qū)域冗余點云密度。
24、在一較佳的實施例中,所述步驟s5的具體實現(xiàn)步驟為:
25、步驟s5-1、針對焊件局部三維點云模型,采用基于歐式距離的加權(quán)主成分分析法計算焊件點云法向量,基于kd-tree對每個點pm進行k近鄰搜索獲取其鄰域點集,求解點pm的k鄰域點集構(gòu)成的協(xié)方差矩陣的最小特征值對應(yīng)的特征向量,此特征向量即為點pm的單位法向量協(xié)方差矩陣公式為:式中,k表示鄰域點數(shù)量,distmn代表點pm與其第n個鄰域點pmn之間的歐式距離,ε表示一個趨近于0的數(shù),p表示點pm與其鄰域點集的幾何質(zhì)心;以視覺傳感器在六自由度機械臂基坐標系下的空間位置pview作為基準視點,對點云法向量進行重定向,保證點云法向量統(tǒng)一指向相機方向,方法為:
26、步驟s5-2、基于點云法向量信息構(gòu)造表面變化特征描述子svfd,基于kd-tree對每個點pm進行半徑搜索獲得其鄰域點集,遍歷pm的鄰域點集,計算點pm與每個鄰域點pmn的法向量夾角值θmn及其算術(shù)平均值計算公式為:使用方差表征點pm的局部svfd,計算公式為:依據(jù)點pm與其所有鄰域點pmn的局部svfd,構(gòu)建起點pm的全局svfd即表面變化特征描述子svfd,計算公式為:其中,σmn表示鄰域點pmn的局部svfd,表示點pm所有鄰域點局部svfd的算術(shù)平均值。
27、步驟s5-3、設(shè)置合適的篩選閾值,將表面變化特征描述子svfd大于篩選閾值的點篩選出來構(gòu)建成新的點云集合,使用歐式聚類算法對該點云集合進行聚類分割,并對聚類結(jié)果進行排序,選擇點云數(shù)量最多的類別作為坡口區(qū)域點云集合。
28、在一較佳的實施例中,所述步驟s6的具體實現(xiàn)步驟為:
29、步驟s6-1、遍歷坡口區(qū)域點云集合,基于kd-tree對每個點pu進行半徑搜索獲得其鄰域點集,計算點pu與其所有鄰域點在擬合切平面上投影構(gòu)成的向量夾角的大小獲得點pu的夾角集合,取夾角集合中的最大值αmax,若αmax大于設(shè)定的角度閾值β,則判定點pu為邊緣點,放入坡口區(qū)域邊緣點集合中;
30、步驟s6-2、遍歷坡口區(qū)域邊緣點集合,使用主成分分析法計算每個點pu的局部切向量對于點pu,在坡口區(qū)域邊緣點集合中尋找滿足條件的點pv,并將其放入對應(yīng)點候選點集中,再從候選點集中,選擇與點pu歐式距離最近的點作為兩側(cè)邊緣對應(yīng)點pu′,篩選條件為:式中,w為坡口寬度值,δθ為角度閾值;
31、步驟s6-3、計算點pu與其對應(yīng)點pu′的幾何中心wu′與法向量均值計算公式為:式中為點pu的法向量,為對應(yīng)點pu′的法向量,根據(jù)已知的坡口深度d,按照計算出坡底特征點即焊縫特征點,放入焊縫特征點集合中。
32、在一較佳的實施例中,所述步驟s7中,使用非均勻有理b樣條算法nurbs擬合焊縫特征點獲取連續(xù)焊縫軌跡,基于等弧長原則對連續(xù)焊縫軌跡進行插補獲取焊接路徑點序列。
33、在一較佳的實施例中,所述步驟s8中,分析六自由度機械臂的可操作度,并基于蒙特卡洛法繪制tcp可操作度分布空間,在可操作度分布空間內(nèi)設(shè)置靈巧工作半徑,作為所述三自由度移動底盤與大尺度待跟蹤焊件的跟蹤半徑,基于所述跟蹤半徑對所述焊縫軌跡作等距偏置,獲取三自由度移動底盤移動路徑。
34、與現(xiàn)有技術(shù)相比,本發(fā)明具有以下有益效果:
35、1、本發(fā)明提出一種大尺度空間焊縫移動機械臂自動跟蹤系統(tǒng),具備一定的通用性,適用于多類型未知大尺度對接焊件,包括但不限于帶有對稱v型、x型、u型坡口的平面焊件或不規(guī)則曲面焊件,焊縫為空間直線、斜線或不規(guī)則曲線,拓展了移動焊接機械臂的應(yīng)用場景,提高大型復雜構(gòu)件的焊接智能化、精細化水平。
36、2、本發(fā)明提供的移動機械臂多站位分段式焊縫跟蹤策略,在六自由度機械臂執(zhí)行焊縫軌跡跟蹤任務(wù)時,三自由度移動底盤保持靜止不動,能夠有效避免焊縫跟蹤過程因移動底盤打滑、抖動等因素導致的跟蹤精度不高的問題。
37、3、本發(fā)明提供的點云圖像配準、拼接技術(shù),通過提取兩幀點云圖像重疊區(qū)域點云的iss特征點集,基于iss特征點集使用最近點迭代(icp)配準算法,能夠有效提高高密度點云集配準的效率與準確性;移動機械臂在單個站位內(nèi)通過位姿變換獲取至少三幀圖像,得到大視場的焊件三維成像,有效解決了雙目結(jié)構(gòu)光相機在面對大尺度焊件點云采集時視場范圍有限的問題,提高焊縫跟蹤效率。
38、4、本發(fā)明提供的焊縫特征點識別、提取方法,通過表面變化特征描述子svfd與歐式聚類算法分割焊件坡口區(qū)域點云集,基于投影向量夾角判定的方法提取坡口點云邊緣點,再基于兩側(cè)邊緣對應(yīng)點位置與其法向量信息獲取焊縫特征點,能極大程度提高對接焊件的焊縫特征點提取精度與效率。