【立德树人优博论坛 第35期】张佳铭:鲁棒自适应机器学习方法及应用

时间:2022-09-05浏览:67

【编者按】20207月,习近平总书记对研究生教育工作作出重要指示,他强调,研究生教育在培养创新人才、提高创新能力、服务经济社会发展、推进国家治理体系和治理能力现代化方面具有重要作用。为深入学习贯彻习近平总书记关于研究生教育工作的重要指示精神,全面落实全国研究生教育会议精神,我校充分认识研究生教育的重要意义,积极践行立德树人根本任务,扎实推进研究生教育的高质量发展。

我校每年评选出数十篇校级优秀博士学位论文,凸显研究生培养质量,涌现出一批德才兼备的高层次人才。在此,本栏目聚焦中南大博士研究生产生的对解决国家及地方经济建设、社会发展重大现实问题具有较大理论价值、社会价值的原创性成果,充分发挥朋辈榜样力量,激励在校研究生继承学术传统、增强创新能力、提高科研水平,加快培养高层次拔尖创新人才。

 

张佳铭:鲁棒自适应机器学习方法及应用

【作者简介】张佳铭,曾就读于中南财经政法大学统计与数学学院金融统计、保险精算与风险管理专业,20216月获得经济学博士学位,指导教师为李占风教授。2020-2021学年中南财经政法大学优秀博士学位论文获得者。

【论文简介】近年来,伴随着计算机技术的兴起,大数据和云计算逐渐走进人们的视野,海量的数据和我们的生活变得息息相关。当数据存在异质性且受到复杂的噪声干扰,样本量很大甚至以流式数据的方式呈现时,传统的数据分析方法和统计模型面临着诸多挑战。一方面模型需要进行修正以适应复杂的数据结构,另一方面无法一次性导入内存的数据迫使算法必须依据少量多次获取的样本进行学习。在这一背景下,设计出满足实时更新需求的自适应学习算法以弥补已有方法的不足,成为当今获得广泛关注和应用的热点问题。本文以最优反馈控制的角度为在线学习方法构建了一个全新的理论框架,在这一框架下,分类、回归和深度学习等在线学习的常见任务都可以获得更为稳定的学习效果,并且具有巨大的拓展潜力和研究前景。另外,本文提出的深度样本选择网络模型不仅能够更为细致的量化微观计量经济问题,而且也为利用人工智能技术来发展改进社会科学的实证方法提供了新的工具与思路。

将最优控制方法融入到机器学习的研究中,创新性的建立了一个基于最优反馈控制在线学习框架,并在该框架下提出了一系列用于解决线性和非线性的分类与回归问题的鲁棒自适应学习算法。进一步地,该算法被拓展到时下热门的深度学习领域,应用于图像识别和文本分类。此外,论文还将改进的深度学习算法与传统微观计量模型相结合,实现了全新视角下样本选择问题的研究。

本文的创新点为:第一,提出一个完整的基于二次型最优控制的在线学习框架,在该框架下预测误差得到指数收敛,并且解决了控制算法计算复杂度较高、难以应用到高维场景的缺陷。第二,在深度学习中兼顾收敛速度和计算精度的优化算法寥寥无几,本文将二次型最优控制的在线学习框架应用到深度学习中,保留了控制算法具有的鲁棒性、收敛速度快、预测精度高等特点,为将来深度学习优化算法的设计提供了灵感。第三,本文利用深度神经网络中的一些特殊结构和技巧构建了两种不同的深度样本选择网络,充分利用了神经网络在微观计量建模中的特有优势。一方面,网络不需要对随机扰动项的分布做出任何假定,这极大的保证了模型的灵活性和泛化能力;另一方面,网络没有对参数化结构做很强的限制,因而在从大样本、非线性性数据提取信息上有着更好的效果。第四,已有研究尚未将机器学习和经济学理念很好结合,本文结合样本选择问题的经济学理念和计量模型的可解释性来构建新的模型,避免了生硬的套用机器学习方法。这种创新的尝试也为机器学习等数据科学方法与计量经济学、经济统计学的融合发展提供了全新的思路。

 

研途心语

回首三年的点点滴滴,心中感慨颇多:有对母校培育之恩的感谢,更有对导师和师弟师妹们的不舍。读博士期间有试验失败时的焦虑和痛苦,有论文被拒时的挫败和灰心,更有新研究思路出现时的激动和高兴,以及论文发表后的开心和兴奋。总之,博士阶段学习过程中我认为坚持是很重要的,一定要坚信付出总有回报。

在博士论文完成过程中,我得到了老师、同窗和家人们的无私帮助与支持。读博期间在老师的精心指导下,我的学术能力和综合素质有了很大的提高。老师的言传身教为我树立了榜样——成为一个治学严谨、勤勤恳恳、乐观豁达、聪明大度、拥有有趣的灵魂的青年科研工作者。我的同窗好友和师兄弟姐妹们在学习和科研上给予我很多指导和帮助,在我情绪低落时安慰我、鼓励我,感谢这段彼此鞭策、一起奋斗的美好时光,我将永远怀念。我的父母一直以来对我的理解、鼓励和支持,对于我的任性和敏感,他们给予了我极大的包容,尽可能尊重了我的选择,是我坚强的后盾和前进的动力。

毕业只是一个新的起点,新的征途即将开始,我将带着美好的收获继续前行,努力做一个对祖国、对社会、对家庭有担当、有贡献的人。