电子科技大学研究生《机器学习》精品课程 第12讲超参数优化与自动学习 Hyperparameters Optimization AutoML 郝家胜(Jiasheng Hao) Ph.D.,Associate Professor Email:hao@uestc.edu.cn School of Automation Engineering,Center for Robotics University of Electronic Science and Technology of China,Chengdu 611731 Awg.2015第一稿;Dec.2021第四稿
电子科技大学研究生《机器学习》精品课程 Email: hao@uestc.edu.cn School of Automation Engineering, Center for Robotics University of Electronic Science and Technology of China, Chengdu 611731 郝家胜 (Jiasheng Hao) Ph.D., Associate Professor Aug. 2015 第一稿;Dec. 2021第四稿 第12讲 超参数优化与自动学习 Hyperparameters Optimization & AutoML
问题:机器学习算法的超参数 hyperparameters BP网络的隐藏层数量、神经元个数? 随机森林的决策树数量,属性个数? 特征选择的最优组合? Kmeans的k? Grid search(网格搜索)、Random search(随机 搜索) 调参师机器化?
BP 网络的隐藏层数量、神经元个数? 随机森林的决策树数量,属性个数? 特征选择的最优组合? Kmeans的 k ? 问题:机器学习算法的超参数 hyperparameters 调参师机器化? Grid search(网格搜索)、Random search(随机 搜索)
机器学习模型超参数:复杂函数最优值问题 f(x,y)=xsin(4πx)-ysin(4πy+π)+1 x,y∈[-1,2] f10闪 6 如何求解? Grid Search Random Search 0 0 Important parameter mportant parameter
机器学习模型超参数:复杂函数最优值问题 如何求解?
内容提要 遗传算法 粒子群算法 贝叶斯优化 10 0 -200 0 200 0 200 -200 前两种不是特别适合复杂模型超参数调优场景:初始样本多,效率低
内容提要 4 遗传算法 粒子群算法 贝叶斯优化 前两种不是特别适合复杂模型超参数调优场景:初始样本多,效率低
遗传算法 Genetic Algorithms,GA 5
5 遗传算法 Genetic Algorithms, GA