参考课程https://www.bilibili.com/video/BV1PE411W7QM/?spm_id_from333.1387.favlist.content.clickvd_source8f8a7bd7765d52551c498d7eaed8acd5一、迭代学习控制1、迭代学习控制的基本思想总结人类学习的方法即通过多次的训练从经验中学会某种技能。在执行重复运动的非线性机器人系统的控制中是相当成功的2、迭代学习控制的特点1对被控对象的模型要求非常宽松甚至可以没有模型。2可克服周期性的系统扰动有良好的鲁棒性。3结构简单学习的信息只须利用线性反馈控制量。4学习算法的收敛条件非常简单只要求系统具有有界的不确定性。二、遗传学习控制1、遗传学习控制的基本思想遗传算法genetic algorithm是人工智能的重要分支它是通过机器来模仿生物界自然选择机制的一种方法2、遗传算法的工作原理1遗传算法模拟了生物进化现象它把搜索空间欲求解问题的解空间映射为遗传空间即把每一个可能的解编码为一个向量称为一个染色体一个染色体对应一组控制参数或控制方案向量的每一个元素称为基因所有染色体组成群体并按预定的目标函数对每个染色体进行评价根据其结果给出一个适应度自身自适应能力强弱的值。2算法开始时先随机地产生一些染色体欲求解问题的候选解计算其适应度根据适应度对诸染色体进行选择、交换、变异等遗传操作剔除适应度低性能不佳的染色体留下适应度高性能优良的染色体从而得到新的群体由于新群体的成员是上一代群体的优秀者继承了上一代的优良性态因而明显优于上一代。3GA就这样反复迭代向着更优解的方向进化直至满足某种预定的优化指标。3、简单遗传算法的三个基本运算1选择运算选择运算又称为繁殖、再生或复制运算用于模拟生物界去劣存优的自然选择现象它从旧种群中选择出适应性强的某些染色体放入匹配集为染色体交换和变异运算产生新种群做准备适应度越高的染色体被选择的可能性越大其遗传基因在下一代群体中的分布越广其子孙在下一代出现的数量就越多有多种选择方法应用较普遍的是适应度比例法适应度比例法又称轮转法它把种群中所有染色体适应度的总和看作一个轮子的圆周而每个染色体按其适应度在总和中所占的比占据轮子的一个扇区每次染色体的选择可看作轮子的一次随机转动它转到哪个扇区停下来哪个扇区对应的染色体就被选中某一染色体被选中的概率选择概率为2交换运算交换运算模拟生物进化过程中的繁殖现象通过随机的两个染色体的交换组合来产生新的优良品种而两个染色体则来源于选择运算中得到的交换集随机选一个“交叉点”把两个染色体在交叉点后面的部分互相交换得到两个新的“子代染色体”它们同时继承了父母双方的基因有可能诞生出更优的新方案比如从匹配集中取出的一对染色体为A11010110B01011001随机产生的一点交换位置是5交换染色体A、B中染色体右边的部分——110和001得到两个下一代子孙染色体数字串A11010001B010111103变异运算模拟生物在自然的遗传环境中由于各种偶然因素引起的基因突变它以很小的概率随机地改变遗传基因表示染色体的符号串的某一位的值若只有选择和交换而没有变异操作则无法在初始基因组合以外的空间进行搜索使进化过程在早期就陷入局部解而终止进化过程4、遗传算法应用举例设有函数求其在区间[0,31]的最大值考虑整数即可首先确定适当的编码把问题的可能解表示为染色体数字串因为只有一个决策变量x其取值范围为[031]则可使用5位无符号二进制数组成染色体数字串即可表达变量x以及问题的解答方案选择初始种群通过随机的方法产生由4个染色体数字串组成初始种群计算适应度值及选择概率选择进入交换集的染色体然后交换染色体按照概率确定本轮是否变异可见一次运算后适应度值的最大值、平均值都有提升以此循环就能够找到更优性能的群体当达到终止条件后停止进化算法结束5、遗传算法的改进1选择方法的改进①精英选择法②确定性选择方法③置换式余数随机选择法④非置换式余数随机选择法⑤排序法2交换方法的改进如果仅采用单点交换那么有可能导致染色体中原本性能优良的组块被分割或者丢弃对此可以改进为多点交换6、遗传学习控制相对于传统优化方法的特点1遗传算法只对参数集的编码进行操作而不是参数集本身。2遗传算法的搜索始于解的一个种群而不是单个解因而可以有效地防止搜索过程收敛于局部最优解。3遗传算法只使用适值函数而不使用导数和其它附属信息从而对问题的依赖性小。4遗传算法采用概率的而不是确定的状态转移规则即具有随机操作算子。