边缘智能强力驱动，机器人天团花式整活赋能千行百业

发布时间：2024-12-12 18:57

AI驱动的机器人在服务行业提供服务 #生活知识# #科技生活# #人工智能应用#

边缘智能技术快速迭代，并与行业深度融合。它正重塑产业格局，催生新产品、新体验，带动终端需求增长。为促进边缘智能技术的进步与发展，拓展开发者的思路与能力，挖掘边缘智能应用的创新与潜能，高通技术公司联合阿加犀智能科技主办了“2024高通边缘智能创新应用大赛”。大赛共甄选出 36 个卓越项目，以下为智能机器人赛道中高校开发者的优秀项目分享。

⚪智能机械手掌控系统

⚪基于大型语言模型与语音交互的全端侧聊天机器人

随着科技的飞速发展，机器人技术已成为推动社会进步的重要力量。在工业自动化、医疗健康、家庭服务等多个领域，机器人的应用正逐渐深入人们的日常生活，展现出巨大的潜力和价值。

全球对于智能机器人的需求日益增长，这不仅催生了产业界的激烈竞争，也为学术界提供了广阔的研究空间。在这样的大背景下，高校作为科技创新的摇篮，正利用其学术优势和研究资源，积极投身于机器人技术的研究与应用开发中。

在本次大赛中，高校的开发者们凭借深厚的学术积累和创新精神，将理论研究转化为实际应用，打造出了一系列令人瞩目的机器人作品。这些作品不仅在技术上实现了突破，更在实际应用中展现出了强大的潜力，为机器人技术的发展注入了新的活力。

⚪智能机械手掌控系统

近年来，随着人工智能技术的迅猛发展，人类生活得到了极大的便利。但一些高危和高风险的工作仍需要人员长时间在其中工作，这对工作者的身体健康和安全构成了严峻挑战。

为解决这些问题，参赛团队通过深度整合高通QCS6490平台边缘智能物联网开发板+阿加犀边缘智能工具链的软硬一体化能力，快速打造了一款智能化、高性能且易于管理的智能机械手掌控系统。

先进视觉算法与多元技术助力智能操控系统升级

具体来说，该项目接入高分辨率摄像头，采用了YOLO 目标检测算法和先进的视觉处理算法Mediapipe，实现用户手部动作位置、姿态和运动轨迹的高精度实时捕捉和分析处理。

同时设计和优化了实时反馈控制系统，通过串口通信将处理后的数据转化为控制指令发送给机械手，使其能够快速响应并实现精准动作控制，确保在各种复杂场景下的高精度执行。

除了通过视觉识别实现控制以外，参赛团队还通过HTML、CSS、JavaScript 和 Bootstrap 等技术制作了动态网页，使用 Python 中的 Flask 框架控制服务器的网页请求，并通过串口通信将请求发送到机械手，从而使使用者实现进一步的精确控制。

开发者项目界面

此外，关于扩展智能机械操控系统的应用范畴，参赛团队并不仅仅着眼于手掌部分的精准识别与控制，而是致力于实现整个机械臂的完整集成。该系统将全面覆盖从手掌、手腕、到肘部，直至肩部的连贯控制，形成一个高度协调的操作链。通过集成更多先进的传感器和复杂的控制算法，能够赋予机械臂执行更加细腻和复杂动作的能力，包括但不限于抓取重型物品、进行精密装配以及操作复杂的工具。

智能机械手绘制多域应用场景蓝图

为减少距离所带来的困扰，参赛团队还引入了远程控制和实时数据传输技术。通过智能机械手掌控系统，操作人员可以在远程环境中实时控制机械手，避免了直接接触高危环境和有害物质的风险。这种远程操控的能力显著提升了系统在危险环境中的应用价值，同时也具备广阔的市场潜力和重要的社会效益，例如赋能智能机械手在医疗手术、工业生产和服务机器人领域等发挥关键作用。

2024年高通边缘智能创新应用大赛已圆满结束，但其搭建的交流平台为参赛者架起了一座促进项目商业化落地的桥梁。参赛团队将继续基于阿加犀技术和高通平台深化智能机械手掌控系统的研发。例如在系统中引入了语音控制功能，甚至结合边缘端语言大模型应用，让用户通过简单的语音命令操控机械手臂，实现多样化的操作需求。

融合语音控制的设计，能够极大提升操作的效率和灵活性，让机械臂的使用变得更加直观和用户友好，从而拓宽其适用范围，使其能够轻松适应各种复杂和多变的工业应用场景，进而在工业自动化和智能化领域实现重要价值。

⚪基于大型语言模型与语音交互的全端侧聊天机器人

近年来，智能语音聊天机器人（以下简称“聊天机器人”）行业呈现出井喷式发展态势。据市场研究报告预测，未来几年全球智能语音聊天机器人市场将保持高速增长态势，预计从2023年的约200亿美元市场规模，到2027年将增长至超过500亿美元，年均复合增长率超过25%。

但聊天机器人在处理自然、复杂的语言交互时，仍存在理解偏差和生成不自然回复的问题，特别是在多轮对话中，保持上下文连贯性和准确捕捉用户意图成为一大难题。此外，聊天机器人的智能化、个性化服务、数据隐私与安全风险，以及研发和维护的技术、成本门槛也是巨大的挑战。

端侧大模型赋能，多技术融合创新实践

在此背景下，参赛团队打造了一款端侧智能聊天机器人，集自动语音识别、大型语言模型与文本到语音转换技术于一体，能够在无网络环境下实现流畅语音交互——将用户的语音输入识别转换为文本，并通过大型语言模型生成相应的对话内容，最后通过文本到语音转换技术再将生成的文本回复转换为自然流畅的语音输出。

开发者打造的端侧LLM聊天机器人外形呆萌

参赛团队利用自研的语音唤醒和自定义语音活动检测技术，结合微调的Whisper模型和Qwen系列大语言模型，通过阿加犀边缘智能工具链技术对模型进行优化部署，并充分发挥高通QCS8550平台边缘智能物联网开发板的性能，大幅提升了模型的推理速度，实现了模型在高通平台上的高效运行，确保其在边缘侧与用户进行流畅的语音互动。