具身智能機器人機器人及夾爪硬件配置環(huán)境安裝與運行_第1頁
具身智能機器人機器人及夾爪硬件配置環(huán)境安裝與運行_第2頁
具身智能機器人機器人及夾爪硬件配置環(huán)境安裝與運行_第3頁
具身智能機器人機器人及夾爪硬件配置環(huán)境安裝與運行_第4頁
具身智能機器人機器人及夾爪硬件配置環(huán)境安裝與運行_第5頁
已閱讀5頁,還剩22頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

具身智能機器人機器人及夾爪硬件配置、環(huán)境安裝與運行1主要內(nèi)容23UMI硬件配置UMI軟件環(huán)境部署全流程DiffusionPolicy網(wǎng)絡(luò)訓(xùn)練1UMI硬件配置UMI硬件配置4UMI1.協(xié)作機器人2.夾爪3.視覺相機4.上位機協(xié)作機器人5UR5協(xié)作機器人末端執(zhí)行器6大寰二指夾爪PGI-140-80完整組合億佰特工業(yè)級RS485/232轉(zhuǎn)以太網(wǎng)串口服務(wù)器模塊視覺相機7Goprohero9魚眼鏡頭擴展接口電池及充電器完整組合MicroHDMI轉(zhuǎn)HDMI轉(zhuǎn)接線綠巨能HDMI視頻采集卡microsd卡上位機8推理(部署使用)訓(xùn)練1.只需可以安裝環(huán)境并運行eval_real.py,無其它硬性要求;2.USB接口:連接相機;3.RJ45網(wǎng)口:連接機器人。1.顯存要求至少24G;2.增加配置只是增加訓(xùn)練速度,對效果無影響;3.可租用云服務(wù)器。3DconnexionSpaceMouseWireless無線3D鼠標(biāo)2UMI軟件環(huán)境部署全流程1.機器人配置10使用

UR5

示教器獲取機器人IP地址:打開eval_robots_config.yaml配置文件,更新robot_ip;設(shè)置負(fù)載參數(shù),在UR5示教器上,進(jìn)入Installation

>Payload

菜單;設(shè)置質(zhì)量(mass)為1.81kg設(shè)置重心(centerofgravity,CoG)為(2,-6,37)mm,分別對應(yīng)X、Y和Z軸的坐標(biāo)評估腳本(evalscript)將自動設(shè)置TCP(工具中心點),因此無需手動設(shè)置。TCP標(biāo)定11TCP,又叫工具中心點。機器人出廠設(shè)定的TCP在J6軸法蘭正中心;tcp校準(zhǔn)其實就是通過多次測量計算出工具頂點相對于工具法蘭盤的位置;TCP的設(shè)置方法有三種:1

三點法2

六點法3

直接輸入法2.夾爪配置12獲取夾爪IP地址:打開eval_robots_config.yaml配置文件,更新gripper_ip;更改wsg_binary_driver和wsg_controller。3.相機配置13安裝GoProLabs

硬件;

解壓拷貝至microSD卡插入相機即可3.相機配置14設(shè)置日期和時間(推薦使用App);掃描QR碼。相機內(nèi)參標(biāo)定15相機內(nèi)參(IntrinsicParameters):內(nèi)參是描述相機內(nèi)部屬性的參數(shù),包括焦距、主點(光學(xué)中心)坐標(biāo)、畸變系數(shù)等。內(nèi)參通常在相機標(biāo)定時確定,因為它們通常對于特定相機型號是固定的,不隨時間變化。相機外參(ExtrinsicParameters):外參是描述相機在世界坐標(biāo)系中的位置和姿態(tài)的參數(shù),通常包括旋轉(zhuǎn)矩陣和平移向量。外參在不同的相機位置或拍攝時刻可能會發(fā)生變化。

針孔相機投影模型相機內(nèi)參標(biāo)定16使用OpenImuCameraCalibrator(openicc)標(biāo)定相機內(nèi)參得到gopro_intrinsics_2_7k.json拉取dockerimagedockerpullchicheng/openicc:latest運行dockercontainer,將標(biāo)定數(shù)據(jù)集拷貝至相同文件夾sudodockerrun-it--rm-v/home/yejiangchen/Downloads/GoPro9:/datasetchicheng/openicc:latest運行標(biāo)定程序cd/OpenImuCameraCalibratorpython3python/run_gopro_calibration.py--path_to_build/OpenImuCameraCalibrator/build/applications/--image_downsample_factor=2--camera_model=FISHEYE--checker_size_m=0.0246--path_calib_dataset/dataset/dataset3/相機內(nèi)參標(biāo)定—數(shù)據(jù)采集17將標(biāo)定板.pdf打印到A4紙上,貼在堅硬物體上(如墻面),測量黑色方塊的尺寸(以米為單位)(如0.021m);錄制3個視頻:1.首先是校準(zhǔn)相機,緩慢地繞著板子移動,不希望運動模糊或滾動快門影響結(jié)果,錄制約20-30秒;2.將GoPro放在地板或桌子上,然后按下錄制按鈕,將其放置在那里10-20秒,不要觸碰它,此視頻將用于估計當(dāng)前的IMU偏差;3.最后錄制一段視頻。再次錄制標(biāo)定板,確保光照條件良好;運動所有3個軸->3個平移和3個旋轉(zhuǎn);移動快,但不要太快(運動模糊);確保標(biāo)定板大部分可見;創(chuàng)建以下文件夾結(jié)構(gòu):UMI實現(xiàn)方法:演示接口設(shè)計及策略接口設(shè)計

182.演示接口設(shè)計利用收集到的演示數(shù)據(jù),可以訓(xùn)練一個視覺運動策略,該策略接收一系列同步觀測(RGB圖像、6個自由度的末端執(zhí)行器姿態(tài)和抓手寬度),并產(chǎn)生一系列動作(末端執(zhí)行器姿態(tài)和抓手寬度)。PD1:Inference-timeLatencyMatching(推理時的延遲匹配)關(guān)于如何處理不同硬件設(shè)備之間的延遲差異,以確保輸入數(shù)據(jù)的同步性。PD1.1:ObservationLatencyMatching(觀察延遲匹配)PD1.2:ActionLatencyMatching(動作延遲匹配)UMI實現(xiàn)方法:演示接口設(shè)計及策略接口設(shè)計

192.演示接口設(shè)計利用收集到的演示數(shù)據(jù),可以訓(xùn)練一個視覺運動策略,該策略接收一系列同步觀測(RGB圖像、6個自由度的末端執(zhí)行器姿態(tài)和抓手寬度),并產(chǎn)生一系列動作(末端執(zhí)行器姿態(tài)和抓手寬度)PD2:RelativeEnd-EffectorPose(相對末端執(zhí)行器位置)關(guān)于如何表示和處理末端執(zhí)行器(EE)的位置和動作,以提高策略的魯棒性和跨硬件平臺的通用性。PD2.1RelativeEETrajectoryasActionRepresentation(相對末端執(zhí)行器軌跡作為動作表示)PD2.2RelativeEETrajectoryasProprioception(相對末端執(zhí)行器軌跡作為本體感知)PD2.3RelativeInter-gripperProprioception(相對夾具間的本體感知)UMI框架中使用的不同動作表示方法的對比,包括相對軌跡(Relativetrajectory)、增量動作(Deltaaction)、以及絕對動作(Absoluteaction)。3DiffusionPolicy網(wǎng)絡(luò)訓(xùn)練多卡訓(xùn)練

21Accelerate是為PyTorch用戶設(shè)計的庫,旨在簡化分布式訓(xùn)練和混合精度訓(xùn)練過程。accelerateconfigcd~/.cache/huggingface/accelerategeditdefault_config.yamlacceleratelaunchtrain.py--config-name=train_diffusion_unet_timm_umi_workspacetask.dataset_path=example_demo_session/dataset.zarr.zipAutoDL大模型訓(xùn)練方案

22AutoDL平臺Pycharm使用教程AutoDL平臺4進(jìn)階提升相機內(nèi)參標(biāo)定

步驟(自制docker版)24使用OpenImuCameraCalibrator(openicc)標(biāo)定相機內(nèi)參得到gopro_intrinsics_2_7k.json運行環(huán)境:4.5.0<=OpenCV<4.7.0,Ubuntu18.04、20.04和22.041.4.5.0以上的OpenCV版本中包含contrib模塊,滿足Aruco碼檢測需求;2.在4.7.0及以上的OpenCV版本中,對ArUco的代碼做調(diào)整,刪去create函數(shù)。會出現(xiàn)如下報錯:‘create’isnotamemberof‘cv::aruco::DetectorParameters’相機內(nèi)參標(biāo)定

步驟(自制docker版)251.下載安裝OpenCV4.5.4,流程按照之前課程中介紹依次安裝Eigen3、Pangolin、Boost、OpenCV;2.安裝ceres2.1;gitclone/ceres-solver/ceres-solvergitcheckout2.1.0mkdir-pbuild&&cdbuild&&cmake..-DBUILD_EXAMPLES=OFF-DCMAKE_BUILD_TYPE=Releasesudomake-jinstall3.安裝TheiaSfMfork.gitclone/urbste/pyTheiaSfMcdpyTheiaSfM&&gitcheckout69c3d37&&mkdir-pbuild&&cdbuildcmake..&&make-jsudomakeinstall相機內(nèi)參標(biāo)定

步驟(自制docker版)264.安裝OpenImuCameraCalibrator;gitclone/urbste/OpenImuCameraCalibratormkdir-pbuild&&cdbuild&&cmake..make-j5.創(chuàng)建python>3.5的環(huán)境并安裝依賴;condacreate-nenv_namepython=x.xpipinstall

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論