快速上手

您当前位置: 首页 > DOFBOT AI视觉机械臂(Jetson nano版) > 快速上手

快速上手

 

1. 连接前准备

检查确认舵机连接线、电源供电线安装无误后,打开扩展板的电源开关,等待机械臂系统启动大约需要1分钟;系统启动后会有三声蜂鸣声表示机械臂已正常启动。

2. 首次打开【YahboomRobot】APP时,需要选择对应的产品,在首页左边栏选择【套件】→【Dofbot】。

                                              image.png

3. 根据提示选择网络连接方式,可以选择【有线连接】和【无线连接】,如果选择【有线连接】,可以直接跳到第7步。我们选择【无线连接】。

image.png

4. 长按扩展板上的K1按键,待蜂鸣器响一声后松开,并且可以观察到扩展板上的WIFI指示灯呈现闪烁状态,表示机械臂已经进入配网模式。

image.png

5. 当点击【下一步】会出现一个对话框,是APP需要用到位置权限,点击【始终允许】或者【仅使用期间允许】进入下一步。

image.png

6. 如果当前WiFi名称显示不出或者显示不对,请【点击刷新】,如果当前未连接WiFi,请点击中间的【去连接】按钮,让手机先连接WiFi网络,然后在【密码】栏填入当前手机连接的WiFi的密码,点击【配网】按钮进入下一步。

image.png

7. 此时APP会自动生成一张记录WiFi信息的二维码图片,并将此二维码放到摄像头正前方约20cm处。等待机械臂发起三声鸣笛则表示联网完成,可以点击【确定】进入下一步。

image.png

8. 点击【搜索设备】,搜索到设备会弹出一个对话框,直接点击【连接】即可。

image.png

9. 如果长时间没有搜索到设备,请检查机械臂联网状态,也可以尝试使用IP连接。‘IP’:输入机械臂的IP地址,‘Port’:6000,‘Video’:6500。

image.png

10.机械臂校准引导:在使用机械臂前,机械臂的中位非常重要,中位的偏差直接会影响到后面所有玩法的准确性。

按下【归中】按键,判断机械臂是否处于垂直向上,左右归中,机械爪抓紧状态,如果正常,请点击【跳过】按键,如果不正常则点击【开始校准】。

image.png

点击【开始校准】后,会进入校准机械臂的状态,仔细检查机械臂是否直立,左右归中是否正常,机械爪要用手按压到抓紧状态,调节完成后点击【确认校准】,当所有数字的指示环由蓝色变成绿色则表示设置成功,点击【下一步】。

image.png

11.颜色校准引导:请把红色积木块拿到摄像头视野方框的位置且识别框能完全覆盖该颜色块,拿开手,等待图像中实时显示该颜色的HSV值稳定后,显示OK,点击【颜色校准】完成对该颜色的校准,然后依次把绿色、蓝色、黄色积木块按照刚刚的方法校验一遍,最后点击【完成】结束整个引导。

image.png


 

 

机械臂APP功能介绍

Dofbot机械臂的APP主界面总共分为八个模块,每一个模块都对应不同的功能。

一、遥控

 image.png

在主界面点击【遥控】图标,会出现以下界面。

image.png

左边是摄像头显示的画面,由上方显示一台机械臂并写有1~6号数字,代表机械臂的六个舵机,当显示为红色则表示选中的是当前ID号的舵机,然后可以拖动下方的滑动杆或者按左右两边的按钮来调节舵机的位置。

【获取角度】:每次点击后,APP会读取当前舵机的角度,然后更新到上方的滑动杆中。

【归中】:机械臂竖直立起。

【急停】:第一次点击会让机械臂关闭扭矩,舵机不再接收控制命令,并且没有保持当前位置的功能,可以用手掰动所有舵机的位置。第二次点击会让机械臂打开扭矩,所有舵机保持当前的位置,并且可以接收控制命令。

 

二、动作组

image.png

在主界面点击【动作组】图标,会出现以下界面。

image.png

动作组共有两个玩法,第一个是左边的自定义动作组,第二个是右边的固定动作组,中间的动作组的预览画面、运行动作组和停止动作组,点击【运行】可以运行当前的动作组,点击【急停】机械臂会停止运行动作组。

【自定义工作组】:可以自己让机械臂学习执行动作组。点击【学习模式】,会弹出一个对话框,同时机械臂扩展板上的RGB灯呈现蓝色呼吸灯:

image.png

点击【记录第X次动作】按钮,机械臂会把当前的姿态记录为一个动作组,同时机械臂扩展板上的RGB灯呼吸灯会变颜色,表示已经记录完成本次动作,当记录了多组动作后想要退出则点击【完成学习】,同时扩展板上呼吸灯会熄灭。

如果出现红色呼吸灯,则表示学习出错或者记录的动作组已经满了(最多存储20组动作),请点击【完成学习】按钮退出。

【固定动作组】:点击不同数字按钮,从预览窗口知道对应动作组的功能,点击【运行】时,运行固定的机械臂动作组功能。

 

三、手势互动

image.png

在主界面点击【手势互动】图标,会出现以下界面。

image.png

手势互动包含两个玩法,第一个是手势识别动作,第二个是手势识别堆叠;选择对应功能后,点击【玩法开关】的滑块开始玩法,功能预览窗口会显示当前可识别的手势;再次点击【玩法开关】的滑块可以关闭功能。

【手势识别动作】:可识别多种手势并执行对应的动作。

【手势识别堆叠】:识别手势1234,分别夹取黄色、红色、绿色、蓝色积木块并按照顺序堆叠起来。识别到拳头把所有积木块推倒,并重置识别数据。

 

四、颜色互动

image.png

在主界面点击【颜色互动】图标,会出现以下界面。

image.png

颜色互动总共包含三个玩法,第一个是你放我抓,第二个是颜色抓取,第三个是引蛇出洞;选择对应的功能后,点击玩法开发的滑块打开功能,再次点击关闭功能。

【你放我抓】:将方块放置到摄像头识别的区域内,机械臂会自动分辨出当前的颜色,并且抓取积木块放到对应颜色的区域内。

【颜色抓取】:将积木块放到摄像头,机械臂识别出积木块颜色后,把积木块从对应的颜色区域抓取到中间的区域。

【引蛇出洞】:选择下方的颜色后再打开玩法开关,把选择的颜色的积木块放到机械臂的摄像头前,机械臂会模仿蛇的动作,把‘蛇’引到最长时,张开爪子夹取积木块放下。当拿的积木块与选择的颜色不同或者无限靠近它时,‘蛇’会出现害怕得发抖的动作。颜色切换时,先关闭玩法开关才有效。

 

五、追踪玩法

image.png

在主界面点击【追踪玩法】图标,会出现以下界面。

image.png

追踪玩法总共包含三个玩法,第一个是颜色追踪,第二个是取色追踪,第三个是人脸追踪,点击【玩法开关】的滑块打开功能,再次点击关闭功能。

【颜色追踪】:选择颜色,打开玩法开关,然后把对应颜色的积木块放到摄像头前,移动积木块,机械臂会跟着积木块移动。

【取色追踪】:点击‘取色追踪’按钮后,摄像头界面会显示一个方框,把要追踪的颜色填充到方框中,待准确取色后,点击【玩法开关】的滑块,系统完全检测出来该颜色的轮廓,机械臂就会跟着移动。

【人脸追踪】:机械臂会检测当前摄像头画面是否有人脸,如果有则标记并跟随人脸移动。

 

六、垃圾分拣

image.png

在主界面点击【垃圾分拣】图标,会出现以下界面。

image.png

点击【玩法开关】的滑块,系统自动加载模型,待图像中红色提示【Model-Loading…】消失后,将贴有垃圾图片的方块正放在相机视野中。垃圾分拣功能能够识别出当前积木块上贴的垃圾的类型,摄像头采集到图片中的信息,在APP上显示垃圾的类型,持续识别10次后将垃圾按照垃圾类型分拣到地图中对应的垃圾位置。

 

七、开发者玩法(Beta)

image.png

在主界面点击【开发者玩法(Beta)】图标,会出现以下界面。

image.png

   调节【上下左右】按钮移动机械臂,使的方框完全出现在视野中,滑动【标定阈值】的滑动条调节边框检测阈值,直到方框四边完全检测出来,如上图所示。点击【确定标定】即可,进入【分拣玩法】界面,如下图所示。

image.png 

【颜色分拣】玩法:点击【1】、【2】、【3】、【4】方框可更换颜色(黑色即不选)。

点击【颜色分拣】按钮,打开颜色识别通道,待识别正确后,点击【玩法开关】的滑块按照颜色选择的顺序进行分拣抓取。

【垃圾分拣】玩法:点击【垃圾分拣】按钮,加载模型,请耐心等待,图像中红色提示【Model-Loading…】消失后,将贴有垃圾图片的方块正放在相机视野中,系统自动识别,点击【玩法开关】的滑块分拣抓取。

八、机械臂设置

image.png

在主界面点击【机械臂设置】图标,会出现以下界面。

image.png

机械臂设置总共包含三个功能,第一个是舵机校准,第二个是颜色校准,第三个是恢复默认配置。

【舵机校准】:功能与配置引导里的一样。

【颜色校准】:颜色校准分两个功能,第一个是【入门级校准】,功能与引导配置里的一样,第二个是【颜色专业校准】。

image.png

【颜色入门校准】说明:请查看11.颜色校准引导。

颜色专业校准说明:先把四种颜色的积木块同时放到视野中,选择需要校准的颜色,然后可以滑动【显示切换】按钮查看黑白图,通过HSV滑块进行调节直到检测不到干扰颜色,点击【颜色校准】完成对该颜色的校准,同样方式依次校准其他颜色。验证结果,随意更换积木块位置,在彩色图下能够准确无误的识别出积木块,点击【完成】结束整个指引。详细介绍请查看课程【AI视觉课程】—》【颜色校准】。

image.png

image.png

【恢复默认配置】:清除APP的配置信息,需要重新引导配置机械臂才可以再次使用。