本技術涉及人工智能,特別是涉及一種機器人控制方法、裝置、計算機設備、存儲介質和計算機程序產品。
背景技術:
1、隨著計算機視覺與人工智能技術的飛速發(fā)展,機器人在工業(yè)制造、倉儲物流、醫(yī)療輔助等領域的應用日益廣泛。計算機視覺作為機器人感知環(huán)境的重要手段,已從傳統(tǒng)的圖像處理擴展到深度學習驅動的目標檢測、圖像分割、三維重建等方向,使得機器人具備了更強的環(huán)境理解和操作能力。然而,在實際應用中,機器人存在操作目標難以準確識別、空間定位精度不高、控制反饋不夠實時等問題,尤其在動態(tài)或復雜場景下,傳統(tǒng)控制方法難以滿足高效、高精度的自動化需求。
2、相關技術中,機器人依賴預設的路徑或固定的流程控制來完成任務,這種方式缺乏靈活性和實時適應能力,一旦環(huán)境發(fā)生變化,例如目標偏移、遮擋或光照變化,系統(tǒng)無法及時準確調整,致使機器人控制系統(tǒng)存在動態(tài)場景下控制準確性不足的問題。
技術實現(xiàn)思路
1、基于此,有必要針對上述技術問題,提供一種能夠提高動態(tài)場景下機器人控制準確性的機器人控制方法、裝置、計算機設備、計算機可讀存儲介質和計算機程序產品。
2、第一方面,本技術提供了一種機器人控制方法,包括:
3、獲取目標左目圖像和目標右目圖像;所述目標左目圖像和所述目標右目圖像所對應的圖像采集時刻相同;
4、對所述目標左目圖像進行特征提取,得到左目特征圖,并對所述目標右目圖像進行特征提取,得到右目特征圖;
5、根據(jù)所述左目特征圖和所述右目特征圖,確定目標操作位置的操作位空間坐標;
6、獲取機器人的第一當前位置,并根據(jù)所述操作位空間坐標和所述第一當前位置控制所述機器人移動至所述目標操作位置。
7、在其中一個實施例中,所述根據(jù)所述左目特征圖和所述右目特征圖,確定目標操作位置的操作位空間坐標,包括:
8、將所述左目特征圖和所述右目特征圖輸入視差引導交叉注意力模型,得到第一視差特征圖;
9、根據(jù)所述第一視差特征圖對所述左目特征圖和所述右目特征圖進行特征融合,得到融合特征圖;
10、從所述融合特征圖中提取所述目標操作位置對應的檢測框信息;
11、根據(jù)所述檢測框信息,確定目標操作位置的操作位空間坐標。
12、在其中一個實施例中,所述左目特征圖包括第一層次左目特征圖和第二層次左目特征圖,所述右目特征圖包括第一層次右目特征圖和第二層次右目特征圖,所述將所述左目特征圖和所述右目特征圖輸入視差引導交叉注意力模型,得到第一視差特征圖,包括:
13、將所述第一層次左目特征圖和所述第一層次右目特征圖輸入視差引導交叉注意力模型,得到第一視差特征圖;
14、所述根據(jù)所述第一視差特征圖對所述左目特征圖和所述右目特征圖進行特征融合,得到融合特征圖,包括:
15、采用預設的第一投影矩陣,對所述第二層次左目特征圖中的特征向量進行線性變換,得到查詢向量;
16、對所述第二層次右目特征圖與所述第一視差特征圖進行特征拼接,得到拼接向量;
17、采用預設的第二投影矩陣對所述拼接向量進行線性變換,得到鍵向量;
18、根據(jù)所述查詢向量和所述鍵向量,得到融合特征圖。
19、在其中一個實施例中,所述檢測框信息包括目標區(qū)域信息和中心像素坐標;所述根據(jù)所述檢測框信息,確定目標操作位置的操作位空間坐標,包括:
20、根據(jù)所述目標區(qū)域信息提取所述目標左目圖像中的第一特征點集合;
21、根據(jù)所述第一特征點集合,提取所述目標右目圖像中的第二特征點集合;
22、根據(jù)所述第一特征點集合和所述第二特征點集合生成第二視差特征圖;
23、根據(jù)所述中心像素坐標和所述第二特征視差圖,確定目標操作位置的操作位空間坐標。
24、在其中一個實施例中,所述根據(jù)所述中心像素坐標和所述第二特征視差圖,確定目標操作位置的操作位空間坐標,包括:
25、獲取圖像采集設備的設備標定數(shù)據(jù);
26、根據(jù)所述中心像素坐標,提取所述第一視差特征圖中對應的視差值;
27、根據(jù)所述視差值和所述設備標定數(shù)據(jù),確定初始深度值;
28、根據(jù)所述第二特征視差圖、所述設備標定數(shù)據(jù)和所述初始深度值,計算目標深度值;
29、根據(jù)所述目標深度值和所述中心像素坐標,確定目標操作位置的操作位空間坐標。
30、在其中一個實施例中,所述機器人包括至少一個執(zhí)行器;所述根據(jù)所述操作位空間坐標和所述第一當前位置控制所述機器人移動至所述目標操作位置之后,還包括:
31、獲取目標執(zhí)行器的第二當前位置;
32、根據(jù)所述操作位空間坐標和所述第二當前位置控制所述目標執(zhí)行器移動至所述目標操作位置。
33、第二方面,本技術還提供了一種機器人控制裝置,包括:
34、數(shù)據(jù)獲取模塊,用于獲取目標左目圖像和目標右目圖像;所述目標左目圖像和所述目標右目圖像所對應的圖像采集時刻相同;
35、特征提取模塊,用于對所述目標左目圖像進行特征提取,得到左目特征圖,并對所述目標右目圖像進行特征提取,得到右目特征圖;
36、特征融合模塊,用于根據(jù)所述左目特征圖和所述右目特征圖,確定目標操作位置的操作位空間坐標;
37、自動控制模塊,用于獲取機器人的第一當前位置,并根據(jù)所述操作位空間坐標和所述第一當前位置控制所述機器人移動至所述目標操作位置。
38、第三方面,本技術還提供了一種計算機設備,包括存儲器和處理器,所述存儲器存儲有計算機程序,所述處理器執(zhí)行所述計算機程序時實現(xiàn)以下步驟:
39、獲取目標左目圖像和目標右目圖像;所述目標左目圖像和所述目標右目圖像所對應的圖像采集時刻相同;
40、對所述目標左目圖像進行特征提取,得到左目特征圖,并對所述目標右目圖像進行特征提取,得到右目特征圖;
41、根據(jù)所述左目特征圖和所述右目特征圖,確定目標操作位置的操作位空間坐標;
42、獲取機器人的第一當前位置,并根據(jù)所述操作位空間坐標和所述第一當前位置控制所述機器人移動至所述目標操作位置。
43、第四方面,本技術還提供了一種計算機可讀存儲介質,其上存儲有計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)以下步驟:
44、獲取目標左目圖像和目標右目圖像;所述目標左目圖像和所述目標右目圖像所對應的圖像采集時刻相同;
45、對所述目標左目圖像進行特征提取,得到左目特征圖,并對所述目標右目圖像進行特征提取,得到右目特征圖;
46、根據(jù)所述左目特征圖和所述右目特征圖,確定目標操作位置的操作位空間坐標;
47、獲取機器人的第一當前位置,并根據(jù)所述操作位空間坐標和所述第一當前位置控制所述機器人移動至所述目標操作位置。
48、第五方面,本技術還提供了一種計算機程序產品,包括計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)以下步驟:
49、獲取目標左目圖像和目標右目圖像;所述目標左目圖像和所述目標右目圖像所對應的圖像采集時刻相同;
50、對所述目標左目圖像進行特征提取,得到左目特征圖,并對所述目標右目圖像進行特征提取,得到右目特征圖;
51、根據(jù)所述左目特征圖和所述右目特征圖,確定目標操作位置的操作位空間坐標;
52、獲取機器人的第一當前位置,并根據(jù)所述操作位空間坐標和所述第一當前位置控制所述機器人移動至所述目標操作位置。
53、上述機器人控制方法、裝置、計算機設備、存儲介質和計算機程序產品,通過獲取圖像采集時刻相同的目標左目圖像和目標右目圖像,避免因時間差引起的圖像錯位問題,使得視差信息具有物理一致性,再對目標左目圖像進行特征提取,得到左目特征圖,并對目標右目圖像進行特征提取,得到右目特征圖,根據(jù)左目特征圖和右目特征圖,確定目標操作位置的操作位空間坐標,相較于依賴單目圖像估深或固定路徑規(guī)劃的方式,通過左目特征圖和右目特征圖實現(xiàn)了對目標空間位置的真實還原,能夠準確推導出操作目標相對于機器人本體的空間位置關系。隨后,通過獲取機器人的第一當前位置,并根據(jù)操作位空間坐標和第一當前位置控制機器人移動至目標操作位置,使得機器人在不依賴人工標定或預設路徑的情況下即可基于視覺信息實現(xiàn)高精度控制,提升了機器人對操作對象空間位置識別的準確性,從而具備較強的環(huán)境適應能力,提高了動態(tài)場景下機器人控制準確性。