# ESP-AirPuff

**Repository Path**: esp-friends/esp-airpuff

## Basic Information

- **Project Name**: ESP-AirPuff
- **Description**: ESP-AirPuff 泡芙1号 是一款基于 ESP32-P4 和 ESP32-C5 的智能飞行玩具（飞艇）控制系统，集成了 AI 语音交互、视觉感知、姿态控制和实时图传等先进功能。该主控板专为小型飞艇、无人机等飞行器设计，通过小智语音助手、手机 APP 等多种交互方式，实现智能化的飞行控制和实时监控。
- **Primary Language**: C/C++
- **License**: Apache-2.0
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 12
- **Forks**: 3
- **Created**: 2026-02-26
- **Last Updated**: 2026-05-12

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

<h1 style="text-align:center;font-weight:bold">ESP-AirPuff 泡芙一号：基于 ESP32-P4 的空中大模型 AI 智能体</h1>

<div style="text-align:center">
<a href="https://www.bilibili.com/video/BV1DMcEzXEGG/?share_source=copy_web&vd_source=819d03f30389b111c508986ee27e0332" target="_blank">B 站视频</a> | 
<a target="_blank">源码仓库(整理中)</a> | 
<a href="https://oshwhub.com/esp-college/esp-airship" target="_blank">硬件开源地址</a>
</div>

## **项目简介**

**ESP-AirPuff（泡芙一号）** 是一款交互式 AI 视觉大模型空中智能体，基于 ESP32-P4/C5 打造。她能理解自然语言意图，完成 **视觉识别、高度控制、飞行模式切换** 等操作，并预留了丰富接口便于扩展。

![主图.png](./docs/pic/b135c30468c0472980711fd7602d9a63.png)
**硬件能力概览：**
- 采用 **WTDKP4C5-S1 双核模组**：发挥 ESP32-P4 的高性能计算与 ESP32-C5 的双频 Wi-Fi 6 连接优势
- 板载 1080P **MIPI 摄像头**
- 集成传感器：**气压计、六轴 IMU、磁力计**
- 执行与扩展：**4 路电机驱动**（支持正反转）、**2路舵机接口**（用于摄像头云台控制）
- 供电：**1S 动力锂电池供电**，板载充电管理，兼顾续航与维护便利

**软件与控制能力概览：**
- 基于 **ESP-Brookesia AI** 框架，集成 AI 语音交互与视觉识别
- 支持通过 MCP 控制飞行姿态与位置
- 融合多传感器数据提升抗扰能力，飞行状态更稳定
- 支持网页控制与实时高清图传
- 具备 **悬浮高度与旋转角度闭环控制**，让飞行稳定可控、可预期

## **应用场景**

### **室内陪伴与自然交互**
在家庭、展厅、办公空间中，ESP-AirPuff 以低速悬浮的方式陪伴用户，通过语音与视觉进行自然交互。
- **悬浮式存在**：不占桌面、不依赖固定支架，不受家具布局限制
- **节能静音飞行**：适合长时间室内运行，尽量不打扰生活与工作
- **飞行更柔和**：悬停更稳、动作更轻缓，更贴合“陪伴”语境

![AI陪伴.gif](./docs/pic/6ff4f34005db441b83f16b7334bfc0a9.gif)

### **机位拍摄与互动影像**
- **关键词**：天空视角 / 灵活机位 / 实时互动
- **场景描述**：用于直播、创作、活动记录等场景，ESP-AirPuff 作为可对话、可调度的空中机位参与拍摄，提供天空视角，机位更灵活
- **价值亮点**：
  - **真正的“天空视角”**：不受三脚架、轨道、吊装限制
  - **语音控制机位**：例如“升高一点”“保持跟随”“切换巡航拍摄”
  - **可互动的拍摄对象**：不只是记录画面，更能与人产生互动
  - **预览与控制**：支持手机或网页端实时预览与控制

![远程视频预览.gif](./docs/pic/71d69bfc55c74f73baa6c89e4f109440.gif)

### **娱乐与氛围营造**
- **场景描述**：在派对、展览、舞台、节日活动中，ESP-AirPuff 可搭载泡泡机、灯光矩阵等模块，成为动态氛围核心
- **核心优势**：
  - **飞行 + 灯光的立体演绎**：比地面灯光更有层次感
  - **模块化负载设计**：泡泡、光效、装饰可快速更换
  - **AI 行为驱动表演**：根据音乐、声音或人群互动做出反应

![气氛营造.gif](./docs/pic/23eee73bf3324ef6a7b7732b7c867d50.gif)

### **商业区广告与智能导航**
- **场景描述**：在商场、展馆、商业综合体中，ESP-AirPuff 主动与人交互，完成引路、讲解、广告展示等任务，提供新奇的体验
- **核心优势**：
  - **会“找人说话”的广告载体**：主动吸引注意力，而非被动展示
  - **空中引路更直观**：比地面指示牌更符合人的视线
  - **AI 对话式服务**：例如“洗手间在哪？”“某品牌怎么走？”

![春节模式.gif](./docs/pic/9c8300a8bf01429bad3a105f0fdcb470.gif)

## **版本历史**
1. **v1.0**
    - 2026/02/14 首次开源版本（祝小伙伴们新年快乐！🎇）

## **功能展示**

ESP-AirPuff 作为一款智能飞行类 AI 智能体，集成了多种先进功能，为用户提供丰富的交互体验和飞行乐趣。

### **AI 大模型视觉语音交互**

通过接入 **云端大模型**，用户可以通过语音指令控制飞艇的上升、下降等基本动作，实现真正的“声控飞行”。硬件支持多麦克风远场语音识别，图像采集与反馈。

**功能特性：**
- **语音识别**：支持语音指令识别，响应速度快，识别准确率高
- **上升下降控制**：通过语音指令"上升"、"下降"等，直接控制飞艇高度
- **飞行模式切换**：支持语音切换不同的飞行模式，如悬停模式、巡航模式等
- **状态查询**：可通过语音查询飞艇当前状态，如电量、高度、位置等

![AI对话_compressed.gif](./docs/pic/2c5b4fa9fa294c0eb6883fceb405b0cd.gif)

### **定高与旋转角度闭环控制**

**功能特性：**
- **气压计定高**：融合气压计与加速度计获得准确的高度估计，进行闭环控制，修正浮力变化的影响
- **旋转角度控制**：通过陀螺仪角速度闭环准确控制旋转角度。

![飞控演示.gif](./docs/pic/024868e3873a4842bc6dfaa2f768b9ef.gif)

### **摄像头实时图传与控制**

板载 **MIPI 摄像头** 支持 **H.264 编码**的实时视频传输，为用户提供第一人称视角的飞行体验。

**技术特点：**
- **H.264 硬件编码**：利用 ESP32-P4 的硬件编码能力，实现高效的视频压缩，降低带宽占用
- **低延迟传输**：优化的传输协议和编码参数，实现低延迟的视频流传输
- **多分辨率支持**：支持多种分辨率输出，可根据网络情况自动调整
- **云台控制**：通过舵机接口控制摄像头云台，实现上下转动，扩大视野范围
- **本地存储**：支持将视频流保存到 **SD 卡** 或 **eMMC**，实现飞行录像功能

**应用场景：**
- **航拍探索**：从空中视角探索和拍摄，记录精彩瞬间
- **实时监控**：实时查看飞艇周围环境，用于安全监控和巡检
- **第一人称飞行**：体验第一人称视角的飞行乐趣，增强沉浸感
- **教学演示**：用于飞行教学和演示，直观展示飞行过程


![飞艇视角.gif](./docs/pic/243876b4d98c481cb02ad6355f6b574c.gif)

## **硬件介绍**

### **主控模块**

- **WTDKP4C5-S1 模组**：内部集成 **ESP32-P4** 和 **ESP32-C5** 双芯片，其中
  - **ESP32-P4**：高性能双核主控，负责图像处理、编码、控制算法等核心功能
  - **ESP32-C5**：双频 Wi-Fi 6 连接芯片，负责无线通信和数据传输

### **音频系统**

- **ES8311 音频编解码器**：提供高质量的音频输出能力
- **ES7210 音频 ADC**：用于外部声音采样与音频回采，为回声消除和声源定位提供硬件支持
- **NS4150B**：音频功放
- **2014B 扬声器**：用于音频播放
- **2 x 模拟麦克风**：用于语音输入和声源定位

### **视频系统**

- **SC2336 MIPI 摄像头**：最大支持 1080P 图像采集，用于实时图传和视觉识别

### **传感器系统**

- **BMP581 气压计**：用于高度测量和气压监测
- **BMI270 六轴 IMU**：用于姿态检测和运动感知
- **BMM350 磁力计**（可选）：用于航向角测量和地磁校准

### **输出接口**

- **4 x 空心杯电机驱动**：每路支持正反转控制，用于驱动飞艇的推进器
  - **前方推进器**：2 个空心杯电机 + 螺旋桨，用于前进、后退、左右偏转控制
  - **中央推进器**：1 个空心杯电机 + 螺旋桨，用于上升、下降控制
  - **备用**：额外一路驱动备用
- **2 x 舵机接口**：
  - **接口 1**：用于控制摄像头云台，实现摄像头角度调整
  - **接口 2**：预留用于二次开发

### **通信接口**

- **高速 USB 接口**：用于数据传输、固件升级和调试
- **预留 IO 口**：用于扩展其他外设和功能

### **存储系统**

- **SD 卡槽**：eMMC 接口，支持高速 SD 卡，用于存储音频、飞行数据和视频录像

### **电源管理**

- **动力锂电池供电**：使用 250 mAh 动力锂电池，使用空中对接接口，便于更换。
- **TP4057**：用于电池充电。

## **<span id="do-it">复刻教程</span>**
在装配前请准备以下材料及部件：
| **序号**   | **描述** |
| --- | --- |
| **1** | 氦气飞艇（推荐尺寸 1.6 m） |
| **2** | ESP-AirAgent 主控板 PCB |
| **3** | 3 x 空心杯电机 + 螺旋桨 |
| **4** | 舵机（用于摄像头云台） |
| **5** | 250 mAh 动力锂电池 |
| **6** | 飞艇下方挂载结构件（用于固定主控板） |
| **7** | 足够长的电机连接线 |
| **8** | SD 卡 |
| **9** | 2014B 扬声器 |
| **10** | SC2336 MIPI 摄像头 |
| **11** | 相关连接线和接口 |
| **12** | 摄像头结构件 |
| **13** | 前端结构件 |
| **14** | 螺丝若干 |

<img src="./docs/pic/0b6d336982b64e95ba31bb8eaf95f6f7.jpg" alt="装配图" style="width:100%;max-width:600px" />

**装配步骤：**
1. **飞艇充气**
2. **主控板安装**
   - 将空心杯电机和桨叶安装到结构件对应位置中
   - 将摄像头穿近安装孔，有金手指的一面朝向安装舵机的方向
   - 将主控板 PCB 固定到挂载结构件上，有 ESP32-P4 的一面朝向安装舵机的方向
   - 如需录制视频或者播放音乐，请安装 SD 卡
   - 将摄像头连接到 ESP32-P4 的连接器上
   - 将舵机放到结构件上，并使用螺丝固定，连接舵机结构
   - 将摄像头结构件固定到舵机上，然后将摄像头贴到摄像头结构件上
   - 连接麦克风与扬声器，并固定在合适位置
   
   <img src="./docs/pic/29a593dca1ea44fc8101b252e0ea113e.png" alt="主板安装完成.png" style="width:100%;max-width:600px" />

3. **电机安装与连接**
   - 将空心杯电机和桨叶安装到前端结构件中
   - 使用连接线连接空心杯电机和主板，从前到后分别为 1、2、3 号电机
   - 将前端结构件贴到舵机前端
   - 为主板上电
   
   <img src="./docs/pic/b06c8b5573c84f8f897b0c8af1e4f905.png" alt="前端电机安装.png" style="width:100%;max-width:600px" />

4. **功能测试和校准**
   - 进行传感器测试
   - 测试电机正反转功能
   - 测试摄像头图传功能
   - 测试语音控制和手机控制功能
   - 进行飞行测试和参数调整
   
   <img src="./docs/pic/564747d452e74e0d9d986e7b0d9f6763.gif" alt="舵机移动.gif" style="width:100%;max-width:600px" />

5. **本体组装**
   - 将前端结构件贴到前端表面，注意前进后退的电机朝向前方，控制偏航的电机扇叶朝右方
   - 将组装好的主控板挂载到飞艇下方，确保安装主控板后重心平衡，不影响飞艇飞行稳定性
   - 添加适当的配重使得飞艇保持受到的浮力与重力接近恰好平衡，飞艇略微缓慢下沉的状态
   - 安装尾翼
   
   <img src="./docs/pic/f46fdb4b66ea44518ff2a040c1592c8f.png" alt="安装尾翼.png" style="width:100%;max-width:600px" />
 
6. **线缆整理**
   - 整理电机连接线，确保线缆长度足够且不影响飞艇飞行
   - 固定线缆，避免在飞行过程中缠绕或拉扯
   - 检查所有连接是否牢固
   - 起飞
   
   <img src="./docs/pic/71c29d25c9be4fcb9dfc67d726d09d40.gif" alt="狗看飞艇.gif" style="width:100%;max-width:600px" />

## **TODO Lists**
- [ ] 优化 ISP 获得更加的音视频效果。
- [ ] AI 对话功能
- [ ] 增加人脸识别相关功能
- [ ] 图传帧率优化
- [ ] 基座充电功能
    
## **3D 模型版本**
- [v1.0.0](https://makerworld.com/zh/models/2395347-esp-airpuff-puff-no-1-esp32-p4-ai-vision-large-mod#profileId-2624803)

## 主要物品购买链接：

 参见硬件开源链接。

**如果你在复刻之后发现有问题，欢迎评论指正！！！**