具身智能機器人機器人及夾爪硬件配置環(huán)境安裝與運行

具身智能機器人機器人及夾爪硬件配置、環(huán)境安裝與運行1主要內(nèi)容23UMI硬件配置UMI軟件環(huán)境部署全流程DiffusionPolicy網(wǎng)絡(luò)訓(xùn)練1UMI硬件配置UMI硬件配置4UMI1.協(xié)作機器人2.夾爪3.視覺相機4.上位機協(xié)作機器人5UR5協(xié)作機器人末端執(zhí)行器6大寰二指夾爪PGI-140-80完整組合億佰特工業(yè)級RS485/232轉(zhuǎn)以太網(wǎng)串口服務(wù)器模塊視覺相機7Goprohero9魚眼鏡頭擴展接口電池及充電器完整組合MicroHDMI轉(zhuǎn)HDMI轉(zhuǎn)接線綠巨能HDMI視頻采集卡microsd卡上位機8推理（部署使用）訓(xùn)練1.只需可以安裝環(huán)境并運行eval_real.py，無其它硬性要求；2.USB接口：連接相機；3.RJ45網(wǎng)口：連接機器人。1.顯存要求至少24G；2.增加配置只是增加訓(xùn)練速度，對效果無影響；3.可租用云服務(wù)器。3DconnexionSpaceMouseWireless無線3D鼠標(biāo)2UMI軟件環(huán)境部署全流程1.機器人配置10使用

UR5

示教器獲取機器人IP地址：打開eval_robots_config.yaml配置文件，更新robot_ip；設(shè)置負(fù)載參數(shù)，在UR5示教器上，進(jìn)入Installation

>Payload

菜單；設(shè)置質(zhì)量（mass）為1.81kg設(shè)置重心（centerofgravity,CoG）為(2,-6,37)mm，分別對應(yīng)X、Y和Z軸的坐標(biāo)評估腳本（evalscript）將自動設(shè)置TCP（工具中心點），因此無需手動設(shè)置。TCP標(biāo)定11TCP，又叫工具中心點。機器人出廠設(shè)定的TCP在J6軸法蘭正中心;tcp校準(zhǔn)其實就是通過多次測量計算出工具頂點相對于工具法蘭盤的位置;TCP的設(shè)置方法有三種：1

三點法2

六點法3

直接輸入法2.夾爪配置12獲取夾爪IP地址：打開eval_robots_config.yaml配置文件，更新gripper_ip；更改wsg_binary_driver和wsg_controller。3.相機配置13安裝GoProLabs

硬件；

解壓拷貝至microSD卡插入相機即可3.相機配置14設(shè)置日期和時間（推薦使用App）；掃描QR碼。相機內(nèi)參標(biāo)定15相機內(nèi)參（IntrinsicParameters）：內(nèi)參是描述相機內(nèi)部屬性的參數(shù)，包括焦距、主點（光學(xué)中心）坐標(biāo)、畸變系數(shù)等。內(nèi)參通常在相機標(biāo)定時確定，因為它們通常對于特定相機型號是固定的，不隨時間變化。相機外參（ExtrinsicParameters）：外參是描述相機在世界坐標(biāo)系中的位置和姿態(tài)的參數(shù)，通常包括旋轉(zhuǎn)矩陣和平移向量。外參在不同的相機位置或拍攝時刻可能會發(fā)生變化。

針孔相機投影模型相機內(nèi)參標(biāo)定16使用OpenImuCameraCalibrator（openicc）標(biāo)定相機內(nèi)參得到gopro_intrinsics_2_7k.json拉取dockerimagedockerpullchicheng/openicc:latest運行dockercontainer，將標(biāo)定數(shù)據(jù)集拷貝至相同文件夾sudodockerrun-it--rm-v/home/yejiangchen/Downloads/GoPro9:/datasetchicheng/openicc:latest運行標(biāo)定程序cd/OpenImuCameraCalibratorpython3python/run_gopro_calibration.py--path_to_build/OpenImuCameraCalibrator/build/applications/--image_downsample_factor=2--camera_model=FISHEYE--checker_size_m=0.0246--path_calib_dataset/dataset/dataset3/相機內(nèi)參標(biāo)定—數(shù)據(jù)采集17將標(biāo)定板.pdf打印到A4紙上，貼在堅硬物體上（如墻面），測量黑色方塊的尺寸（以米為單位）（如0.021m）；錄制3個視頻：1.首先是校準(zhǔn)相機，緩慢地繞著板子移動，不希望運動模糊或滾動快門影響結(jié)果，錄制約20-30秒；2.將GoPro放在地板或桌子上，然后按下錄制按鈕，將其放置在那里10-20秒，不要觸碰它，此視頻將用于估計當(dāng)前的IMU偏差；3.最后錄制一段視頻。再次錄制標(biāo)定板，確保光照條件良好；運動所有3個軸->3個平移和3個旋轉(zhuǎn)；移動快，但不要太快（運動模糊）；確保標(biāo)定板大部分可見；創(chuàng)建以下文件夾結(jié)構(gòu)：UMI實現(xiàn)方法：演示接口設(shè)計及策略接口設(shè)計

182.演示接口設(shè)計利用收集到的演示數(shù)據(jù)，可以訓(xùn)練一個視覺運動策略，該策略接收一系列同步觀測(RGB圖像、6個自由度的末端執(zhí)行器姿態(tài)和抓手寬度)，并產(chǎn)生一系列動作(末端執(zhí)行器姿態(tài)和抓手寬度)。PD1:Inference-timeLatencyMatching（推理時的延遲匹配）關(guān)于如何處理不同硬件設(shè)備之間的延遲差異，以確保輸入數(shù)據(jù)的同步性。PD1.1:ObservationLatencyMatching（觀察延遲匹配）PD1.2:ActionLatencyMatching（動作延遲匹配）UMI實現(xiàn)方法：演示接口設(shè)計及策略接口設(shè)計

192.演示接口設(shè)計利用收集到的演示數(shù)據(jù)，可以訓(xùn)練一個視覺運動策略，該策略接收一系列同步觀測(RGB圖像、6個自由度的末端執(zhí)行器姿態(tài)和抓手寬度)，并產(chǎn)生一系列動作(末端執(zhí)行器姿態(tài)和抓手寬度)PD2:RelativeEnd-EffectorPose（相對末端執(zhí)行器位置）關(guān)于如何表示和處理末端執(zhí)行器（EE）的位置和動作，以提高策略的魯棒性和跨硬件平臺的通用性。PD2.1RelativeEETrajectoryasActionRepresentation（相對末端執(zhí)行器軌跡作為動作表示）PD2.2RelativeEETrajectoryasProprioception（相對末端執(zhí)行器軌跡作為本體感知）PD2.3RelativeInter-gripperProprioception（相對夾具間的本體感知）UMI框架中使用的不同動作表示方法的對比，包括相對軌跡（Relativetrajectory）、增量動作（Deltaaction）、以及絕對動作（Absoluteaction）。3DiffusionPolicy網(wǎng)絡(luò)訓(xùn)練多卡訓(xùn)練

21Accelerate是為PyTorch用戶設(shè)計的庫，旨在簡化分布式訓(xùn)練和混合精度訓(xùn)練過程。accelerateconfigcd~/.cache/huggingface/accelerategeditdefault_config.yamlacceleratelaunchtrain.py--config-name=train_diffusion_unet_timm_umi_workspacetask.dataset_path=example_demo_session/dataset.zarr.zipAutoDL大模型訓(xùn)練方案

22AutoDL平臺Pycharm使用教程AutoDL平臺4進(jìn)階提升相機內(nèi)參標(biāo)定

步驟(自制docker版)24使用OpenImuCameraCalibrator（openicc）標(biāo)定相機內(nèi)參得到gopro_intrinsics_2_7k.json運行環(huán)境：4.5.0<=OpenCV<4.7.0，Ubuntu18.04、20.04和22.041.4.5.0以上的OpenCV版本中包含contrib模塊，滿足Aruco碼檢測需求；2.在4.7.0及以上的OpenCV版本中，對ArUco的代碼做調(diào)整，刪去create函數(shù)。會出現(xiàn)如下報錯：‘create’isnotamemberof‘cv::aruco::DetectorParameters’相機內(nèi)參標(biāo)定

步驟(自制docker版)251.下載安裝OpenCV4.5.4，流程按照之前課程中介紹依次安裝Eigen3、Pangolin、Boost、OpenCV；2.安裝ceres2.1；gitclone/ceres-solver/ceres-solvergitcheckout2.1.0mkdir-pbuild&&cdbuild&&cmake..-DBUILD_EXAMPLES=OFF-DCMAKE_BUILD_TYPE=Releasesudomake-jinstall3.安裝TheiaSfMfork.gitclone/urbste/pyTheiaSfMcdpyTheiaSfM&&gitcheckout69c3d37&&mkdir-pbuild&&cdbuildcmake..&&make-jsudomakeinstall相機內(nèi)參標(biāo)定

步驟(自制docker版)264.安裝OpenImuCameraCalibrator；gitclone/urbste/OpenImuCameraCalibratormkdir-pbuild&&cdbuild&&cmake..make-j5.創(chuàng)建python>3.5的環(huán)境并安裝依賴；condacreate-nenv_namepython=x.xpipinstall