2024年10月23日下午,计算机学院在教1-110举办“基于杂交育种启发的智能优化算法在机器学习应用中的初探“的学术讲座。本次学术讲座由湖北工业大学计算机学院院长、大数据与人工智能产业学院执行院长叶志伟教授主讲,院长助理叶丽萍主持,院长黄传河和全体教师以及部分学生参与本次讲座。
机器学习是人工智能的核心领域之一,当前机器学习的发展已成为新一轮人工智能热潮的主要推动力,受到业界的高度关注。机器学习算法受模型和参数的影响,因此建立理想机器学习模型面临各种问题。机器学习训练过程中经常涉及的优化问题,往往具有不可导、不连续、大量局部极值、多目标等性质,对优化方法提出了挑战。
叶教授及其团队研究了一种新型智能优化算法——杂交水稻优化算法,该算法具有优化能力强、收敛速度快等优点,为机器学习模型高效优化提供新的思路。本次讲座叶教授从杂交育种概述、杂交育种算法设计思路、杂交育种算法在经典问题中的应用、杂交育种算法在机器学习中的应用、未来与展望五个方面展开。
一、杂交育种概述
叶教授首先提出生物学中的杂种优势(heterosis)理论,杂种优势是自然界的普遍现象,即杂交产生的后代在抗逆性、繁殖力、生长势等方面优于纯种亲本的现象,其主要特征表现在杂交亲本间的遗传差异越大,杂交优势越明显,杂种亲本越纯,后代杂种优势越明显。然后提出中国杂交水稻中,“三系法”杂交水稻面积占全国杂交水稻面积80%,近年来两系法杂交水稻上升势头较猛,目前“二系法”杂交水稻推广面积约占全国杂交水稻总面积的20%左右,已成为我国水稻生产中不可或缺的类型。
二、杂交育种算法设计
叶教授从自然进化角度谈到了杂交育种算法,主要是遗传算法(Genetic Algorithm, GA),是一种基于生物界自然选择和遗传机制构建的随机搜索算法,由美国的 Holland 教授提出。遗传算法通过0-1组成基因片段并形成染色体。叶教授详细讲解了遗传算法,首先建立模型,对自然界的概念进行逻辑抽象包括种群(Population)、个体(Individual)、染色体(Chromos)、适应度(Fitness)函数。在种群的基础上提出了遗传操作,标准的遗传操作应该包括选择、交叉、变异。最后,提出遗传算法的不足在于当前的遗传算法只是简单地模拟了生物的进化,对生物进化机理作了很大简化,而生物的进化是一个非常复杂的过程。在此基础上,提出了“三系法”杂交育种算法和“二系法”杂交育种算法。“三系法”杂交育种算法的数学模型是将水稻种群划分为三组:保持系(M)、恢复系(R)、不育系(S)。具体算法表述为将水稻种子个体的适应度函数值利用贪心策略按照从优到差排列,依次划分为保持系、恢复系、不育系,然后随机从不育系和维持系中选择个体进行杂交,当达到最大自交次数时,恢复系个体进行重置操作。“二系法”杂交育种算法是水稻种群划分成两组:不育系(A)、恢复系(B),以恢复系(B)为基础,基于贪心算法更新不育系(A)。
三、杂交育种算法在经典问题中的应用
叶教授提到了杂交育种算法在基准测试函数—CEC2015测试函数应用,具有收敛速度较快、搜索能力强、寻优结果佳的特点。在工程设计问题上如焊接梁问题、压力容器设计问题的应用,通过12种常见算法求得的最优解情况,杂交育种算法应用非常稳定。在背包问题中的应用采用二进制蚁群算法和杂交育种算法组成混合模型,也优于其他算法,具有收敛过程稳定,收敛速度快等优势。
四、杂交育种算法在机器学习中的应用
在人工智能、机器人、无人机、无人驾驶、元宇宙等新技术高速发展的工业4.0时代,信息物联系统复杂度成倍增加。高维数据在许多领域的扩散给数据挖掘带来了前所未有的挑战。首先,拥有数千个特征的高维数据让假设空间变得巨大,容易出现过度拟合数据的问题。其次,绝大多数机器学习算法都涉及到超参数配置,合理的超参数配置对模型性能的发挥起着重要的作用。叶教授在此基础上,提出了一种基于引力搜索机制的杂交育种优化算法GSHBO。该算法的核心机制在于将万有引力搜索算法中引力搜索机制引入到杂交育种优化算法中,使得杂交育种优化算法中最大自交次数不再固定不变,而是随着迭代次数的增加而动态变化。然后设计了一种基于遗传搜索机制的杂交育种优化算法GHBO,标准遗传算法凭借自适应概率搜索技术展现出强大的全局搜索能力和极强的灵活性,GHBO将这种自适应概率搜索机制引入到杂交育种优化算法中,实现了基于引力搜索机制的杂交育种优化算法的胶囊网络结构超参数优化方法 GSHBOCapsNet)和基于遗传搜索机制的杂交育种优化算法的胶囊网络超参数优化方法(GHBOCapsNet)。上述方法将胶囊网络中待优化的超参数编码为GSHBO和GHBO中种群个体的各个分量,种群个体再根据GSHBO和GHBO的进化规则完成进化,再将种群个体解码成胶囊网络的各个超参数,进而确定网络结构。优化后的网络模型在MINIST手写数字数据集和CIFAR-10数据集上进行训练和测试,其识别的正确率的最大最小值均超过其他优化算法。
五、未来研究与展望
未来,杂交育种算法算子还需进一步完善,同时可引入基于“三系法”水稻育种机制的协同进化算法,在应用拓展上可加入基于Spark的并行杂交水稻育种优化计算框架的特征选择方法、基于GPU加速的并行杂交水稻育种优化计算框架的特征选择方法和进一步丰富实验并将HBO用于其他网络的结构搜索。
叶教授的研究让师生深刻感受到科学研究既要追求知识与真理,也要服务经济社会发展和广大人民群众。讲座最后,叶教授就杂交育种算法的实现问题和师生展开了热烈的互动。