1. 项目概述在仿生机器人领域四足机器人的水下推进一直是个极具挑战性的课题。传统螺旋桨推进方式虽然稳定但在机动性和隐蔽性方面存在明显不足。相比之下仿生推进系统通过模拟水生生物的游动方式能够实现更高的推进效率和更好的机动性。然而这种推进方式也带来了新的问题 - 在产生推力的同时会产生不稳定的升力和侧向力严重影响机器人的运动稳定性。我们团队针对这个问题开发了一套基于安全强化学习Safe RL的解决方案。这个方案的核心在于将四足机器人的游泳控制建模为一个带约束的优化问题在最大化向前推力的同时最小化不稳定的升力波动。通过引入创新的ACPPO-PID算法框架我们成功实现了在真实硬件环境中的高效学习和稳定控制。2. 核心问题与技术挑战2.1 仿生推进的力学特性仿生水下推进器如拍动的鳍、波动鳍和蹼状桨通过非对称形态和非定常相互作用产生推力。这些推进器能够产生较大的瞬时推力实现高推进效率并具备出色的机动性。然而这种推进方式也伴随着明显的副作用升力波动在产生推力的同时会产生垂直方向的力波动俯仰振荡导致机器人头部上下摆动侧向力在峰值推力时产生的横向干扰力这些干扰力不仅增加了能量消耗还严重影响了机器人的稳定性。特别是在六自由度(6-DoF)流体耦合作用下这些不稳定的力会被进一步放大。2.2 传统方法的局限性传统解决方案主要采用预定义步态配合固定参数的方法。这种方法虽然能够抑制部分不稳定效应但存在两个根本性缺陷无法充分利用非定常流体动力学的非线性特性不能充分发挥机器人本体的动力学优势此外传统的强化学习方法虽然能够自主发现控制策略但在平衡最大化推力和最小化不稳定力这两个目标时往往会导致策略收敛效率低下和训练过程不稳定。3. 技术方案设计3.1 整体框架我们提出的解决方案包含三个关键阶段模仿学习初始化通过预定义的周期性运动生成初始策略安全强化学习微调在牵引水箱中进行实时硬件训练策略迁移部署将优化后的策略应用到四足机器人自由游泳中3.2 约束优化问题建模我们将四足游泳控制建模为一个带约束的马尔可夫决策过程(CMDP)包含以下要素状态空间(S)关节相位、角速度、传感器测量值等动作空间(A)单控制步长内的关节角度变化奖励函数(R)与向前推力分量成正比成本函数(C)半个运动周期内的升力非抵消量优化目标可以表示为max J(π) E[∑γ^t R(s_t,a_t,s_{t1})] s.t. J_C(π) E[∑γ^t C(s_t,a_t,s_{t1})] ≤ d3.3 ACPPO-PID算法创新我们在标准CPPO-PID算法基础上进行了三项关键改进PID调节的拉格朗日乘子动态调整约束权重λ_{k1} [λ_k K_P g_k K_I ∑g_i K_D (g_k - g_{k-1})]_条件非对称剪裁在安全情况下扩大探索范围ϵ^_t ϵ_hi if (A^r_t 0 ∧ A^c_t ≤ 0 ∧ ep ≥ ep_warm) else ϵ周期级几何聚合提高更新稳定性˜ρ_p exp[1/|H| ∑_{t∈p} min(ι_t, clip(ι_t, -ϵ_p, ϵ_p)·sign(A^λ_t))]4. 硬件实现与实验4.1 实验平台搭建我们开发了两套互补的实验系统单腿牵引平台用于在受控流场中学习物理约束2自由度髋关节屈伸HFE膝关节屈伸KFE六维力/力矩传感器测量瞬时三维力分量牵引速度恒定在0.15m/s四足水下机器人用于验证步态泛化能力尺寸480mm × 250mm × 88mm四组独立单腿执行器模块化浮力单元4.2 对角线协调策略基于四腿的几何对称性我们采用对角线协调策略将四条腿分为两组对角线对{P1,P4}和{P2,P3}每组执行相同的记录周期但相位差为半个周期这种安排使得力的峰值和谷值在时间上重叠平滑了净力曲线4.3 训练流程模仿学习预训练使用拉丁超立方采样生成5000正弦轨迹选择推力高、升力低的子集作为示范集采用Transformer架构处理观察序列安全RL微调控制频率20Hz每训练回合收集约360个控制步超参数α0.2ep_warm10策略迁移记录一个完整周期的关节轨迹作为步态基元应用到所有四条腿对角线对之间设置半周期相位差5. 实验结果与分析5.1 单腿牵引性能我们在400个训练回合内比较了多种算法算法回合奖励平均成本CPPO-PID39.58±3.930.249±0.021PPO-Penalty43.46±3.910.314±0.021PPO (无成本)48.58±5.150.391±0.039ACPPO-PID (ours)45.19±3.830.235±0.019BF (参数化)26.31±1.020.332±0.008ACPPO-PID在保持较低成本的同时获得了接近无约束PPO的奖励水平显著优于其他约束算法。5.2 四足自由游泳性能在4.0m×1.5m水箱中进行自由游泳测试主要发现位移性能ACPPO-PID比CPPO-PID提升约7%比无约束PPO提升8-9%比BF搜索提升超过19-20%力分析平均推力0.93 (比CPPO-PID高27%比BF高86%)平均升力比PPO低20.4%比BF低61.9%升力方差比PPO低55.9%比BF低49.2%5.3 步态模式分析通过对比ACPPO-PID和无约束PPO的肢体运动模式我们发现预划水阶段ACPPO-PID调整小腿保持速度方向平行于小腿方向PPO固定小腿和臀部之间的小角度划水阶段ACPPO-PID直接向后驱动臀部PPO先向前倾斜再向后这种差异导致PPO虽然能产生更大推力但引入了显著的额外升力影响了整体稳定性。6. 工程实现细节6.1 硬件配置要点在实际部署中有几个关键硬件配置需要注意传感器滤波使用卡尔曼滤波器处理力/力矩传感器信号降采样至20Hz以匹配控制器频率机械限位每个关节最大摆动幅度限制在20°四连杆机构确保运动范围可控浮力配置通过模块化浮力单元精确调整重心和浮心确保X_B(浮心)位置稳定6.2 软件实现技巧频率估计def estimate_dominant_freq(Fz_sequence): # 移除低于0.1Hz的漂移 Fz_filtered bandpass_filter(Fz_sequence, 0.1, 5) # DFT分析 freqs np.fft.fftfreq(len(Fz_filtered), 1/20) fft_vals np.abs(np.fft.fft(Fz_filtered)) # 找到主导频率 dominant_idx np.argmax(fft_vals[(freqs 0.1) (freqs 5)]) return freqs[dominant_idx]实时控制循环控制周期严格保持50ms(20Hz)采用优先级线程确保时序精度传感器数据采用双缓冲机制避免阻塞7. 常见问题与解决方案在实际部署过程中我们遇到了几个典型问题训练初期策略不稳定现象机器人肢体剧烈摆动导致传感器饱和解决方案严格限制初始探索范围逐步放宽模拟到现实的差距现象仿真中表现良好的策略在真实硬件上失效解决方案采用模仿学习初始化在线微调的两阶段策略传感器噪声干扰现象力/力矩测量值波动大解决方案改进机械隔离自适应卡尔曼滤波策略局部最优现象策略收敛到次优的周期性运动解决方案引入周期级探索激励项8. 扩展应用与未来方向这项技术的应用不仅限于四足水下机器人还可以扩展到其他仿生推进系统波动鳍推进扑翼推进喷射推进复杂流体环境波浪条件下的表面游泳湍流环境中的稳定控制多机器人协同群体游泳协调水下编队控制未来工作的重点将放在在线适应机制的引入领域随机化技术的应用开放水域环境下的鲁棒性提升在实际项目中我们发现将学习到的策略可视化对理解机器人行为非常有帮助。通过绘制力-时间曲线和关节角度变化图可以直观地分析不同策略的优劣。这种可视化分析往往能发现数值指标无法反映的细微问题。