机械臂全功能控制板,支持STM32核心板直插,支持驱动串口总线舵机与PWM舵机,具有串口、手柄、I2C控制接口,支持USB一键下载,提供机械臂控制通讯协议,方便二次开发。
AI语音大模型模块是连接用户语音输入与智能模型决策的核心枢纽,能够对语音进行清晰的拾取,具有远场拾音、回声消除、语音播报、环境降噪等功能。
机械臂机身搭配5个15KG总线舵机,夹爪搭配1个6KG总线舵机,支持回读舵机位置、状态等信息,内置金属齿轮,耐磨耐用,高精度进口电位器,有效使用延长寿命,板载防反接接口,可进行级联控制。
机械臂搭载的USB摄像头拥有30万像素、110度视场角、480p分辨率、30fps帧率,可以提供高质量的图像采集和灵活的焦距控制。
DOFBOT实时接入通义千问大模型平台,宛如配备"超级大脑”,不仅能理解文本指令,还能灵活应答。
DOFBOT搭载AI大模型语音模块和扬声器,支持语音与文字实时互转,接入通义千问后,能“听“会“说”,实现智能交互体验。
DOFBOT搭载深度相机,能够理解和分析图像内容,精准识别物体,并输出文本和语音反馈。
借助AI多模态大模型的视觉分析能力,DOFBOT可对视频中的场景、物体及时序进行动态解析。
基于大模型的语义理解能力,DOFBOT能够解析用户的语音指令,并执行对应的动作,实现自然流畅的语音控制。
基于视觉大模型环境理解能力,DOFBOT可以识别画面内的目标物品,并获取其位置参数,根据指令实时调整机身姿态,将其夹取到指定位置。
将大模型与3D深度视觉相结合,机械臂能够识别并定位三维空间内的任意物体,并根据用户的指令,实现三维空间中的物品分拣。
借助多模态大模型的逻辑推理能力,DOFBOT能记录场景中物体的初始位置,即使用户打乱布局,也能通过机械臂将其复位。
通过将大模型与KCF目标追踪算法相结合,DOFBOT可以追踪视野范围内的任意物品,并实时追踪锁定目标物品。
通过将大模型与YOLOV11算法相结合,DOFBOT能够识别画面中带有垃圾图案的木块,并根据用户的语音指令,执行垃圾分拣任务。
通过扩展RAG知识库,DOFBOT可解析用户意图与场景信息,理解用户的潜在需求,自主进行任务规划与动态响应。
除了标准颜色外,还可提取自定义颜色进行机械臂颜色识别追踪,实现眼随手动。
将木块放置到地图识别区域内,机械臂会自动分辨当前的颜色并将木块夹到地图(标配)对应颜色区域。
将木块放到摄像头前,机械臂识别到木块颜色后将对应颜色区域的木块夹到中间区域。
选择dofbot喜好颜色,它将会前后跟随目标颜色,你进我退,你退我进。
通过加载垃圾分类模型,可识别木块上的垃圾分类,机械臂将“垃圾”分拣到地图对应的分类区域。
机械臂将地图上的木块夹取到中间位置进行堆叠。
Dofbot可识别多种手势并执行相应动作进行互动。
识别数字手势,堆叠对应层数,最后在“拳头”手势下推倒已堆叠的木块。
检测当前画面是否有人脸,识别到人脸后进行标记并跟随移动。
除了手机APP和电脑控制外,还标配USB游戏手柄,体验多自由度与多键位的结合乐趣。
上位机除了FPV摄像头视频画面外,还新增了机械臂3D仿真模型,3D模型与实体同步转动,让机械臂控制理论与实践相结台。
亚博智能配备精心研发的配套课程资料,提供基础理论知识与实操案例教程,内容由浅入深,方便用户快速上手学习。
原创中英文视频教程,资深ROS工程师手把手带您玩转DOFBOT 机械臂。
程序代码开源,让技术更自由,让创新更简单。