AI玩具多模态监管系统

本系统利用端-管-云-端的分层架构，构建了从感知、对话至决策的完整闭环，主要包含五个核心板块：

本模块作为系统的核心管控中心，统筹设备的全流程管理与指令分发。

主要功能

设备注册、身份验证及状态监测

OTA固件更新策略管控

全局参数配置管理（含MQTT、UDP、模型参数等）

数据交互机制

向终端设备发送：

固件版本、NTP时间、MQTT Broker地址、UDP音频服务器地址

接收并永久保存：

用户设置、对话记录、设备日志

运行于终端设备上，负责实时处理音视频的采集、传输与播放。

主要功能

麦克风音频采集与编码

利用UDP/WebSocket将音频流推送至音频服务端

接收服务端返回的语音流并执行实时播放

技术特点

低延迟音频传输

支持网络断开重连及缓冲管理

作为系统的工具调度中心，提供统一的工具发现及调用机制。

主要功能

维护动态Tool List（工具清单）

提供工具的订阅与发布功能

为音频服务器提供标准化的工具调用接口

应用价值

解耦模型能力与外部系统

支持后续灵活扩展新技能（如支付、IoT控制、业务系统对接等）

系统语音理解与生成的核心，连接ASR、LLM和TTS全流程。

主要功能

ASR（语音识别）：将音频流转换为文本

LLM（大语言模型）：语义理解与意图识别

TTS（语音合成）：将回复文本转换为语音流

协同处理逻辑

从设备管理后台获取用户个性化配置

向MCP服务器请求可用Tool List并执行调用

将完整对话记录异步写入设备管理后台

技术特点

流式处理，降低端到端延迟

支持多模型热切换

面向用户的移动端交互界面，实现设备绑定与智能体管理。

主要功能

蓝牙配网与设备绑定

AI角色选择及参数配置

记忆体（Memory）与智能体（Agent）管理

数据流向

用户配置、角色设定等信息统一同步至设备管理后台

通过后台间接控制音频服务器的行为表现