数学科学学院2022年学术活动系列报告十七

  2022年5月18日上午11:00,受聊城大学数学科学学院邀请,华南理工大学陈俊龙教授做了题为《动态结构的神经网络:构建叠层宽度神经网络成深度模型》的学术报告,并对当前的研究热点进行了深入指导。本次学术交流活动以腾讯会议的形式举行,学院部分教师、研究生和数据科学与大数据专业大三学生参与了本次学术活动。

                      

  深层的神经网络结构能够使网络具有强大的学习能力,然而大多数深度网络的训练方式也是基于反向传播的梯度下降法或随机梯度下降法,往往存在着训练消耗时间长、容易陷入局部最优解等问题。宽度学习系统 (Broad Learning Systems, BLS) 是一种浅层的具有增量学习能力的神经网络,具有快速、高效的优点,然而其浅层结构也限制了网络的特征表达能力。为了解决上述问题,本汇报提出了一种具有动态结构的神经网络:由构建叠层宽度神经网络成的深度模型。该模型保留了宽度学习系统高效、快速的优点,同时通过残差连接将多个宽度学习系统模块叠加起来,增加网络的深度,提高网络的学习能力。叠层宽度神经网络(Stacked BLS)的“动态”体现在宽度和深度两个方面。宽度方向的增量学习体现在宽度学习系统模块内部的神经元:在每一个宽度学习系统模块内部,当新增加特征节点、增强节点或输入数据时,只需要学习新增加部分的权重即可;深度方向的增量学习体现在宽度学习系统模块之间:在宽度学习系统模块之,当叠加新的宽度学习系统模块时,下层模块的参数可以固定不变,只需要计算新叠加的宽度学习系统模块的网络参数即可。这两种增量学习的方式使得模型的计算量较少,网络复杂性较低,使用过程中可以很方便的增加网络的宽度和深度,并实现快速、高效的训练,能够针对不同任务进行适应性的调整,提高模型的泛化能力。叠层宽度神经网络在多个数据集上展现了优越性,在多个图像数据库的测试,均优于现有的很多图像分类方法,同时相较于深度神经网络方法,动态结构的神经网络大幅减少了网络计算时所需要的参数数量。

  报告结束后,同学们纷纷表示受益匪浅,要以陈教授为榜样,刻苦钻研,为国家大数据发展贡献自己的力量。

  陈俊龙(C. L. Philip Chen),华南理工大学计算机科学与工程学院院长、讲座教授、清华大学海外杰出访问教授、中国自动化学会副理事长、科睿维安全球高被引科学家(工程及计算机双学科)、美国工学技术教育认证会评审委员及我国计算机科学与技术的教育指导委员会成员。曾任IEEE Transactions on Cybernetics (2020-2021)、IEEE Trans. on Systems、Man, and Cybernetics: Systems (2014-2019)顶级期刊主编、IEEE SMC 学会国际总主席(2012-2013),现任《中国科学》、《自动化学报》,IEEE Trans. on Fuzzy Systems, 和 IEEE Trans. on AI 的副编。曾获2次IEEE Transactions on Neural Networks and Learning Systems年度期刊最佳年度论文奖,在2018 年获IEEE系统科学控制论最高学术维纳奖 (Norbert Wiener Award),获2021 IEEE Joseph Wohl 终身成就奖,及获2021吴文俊人工智能杰出贡献奖。科研方向为智能系统与控制、计算智能等;科研支持包括科技部重点研发项目(首席)、国家基金委重点项目在人工智能方向的科研、以及多项广东省、广州市、澳门科技基金委的资助;科研成果包括3次澳门自然科学奖、广东省科学技术一等奖等。曾任澳门大学讲座教授及科技学院院长、澳门大学工程学科及计算机工程获国际《华盛顿协议》、《首尔协议认证》,是他对澳门工程教育的至高贡献。

数学科学学院 聊城大学西校区11号教学楼
办公电话:8238817 邮箱:math@lcu.edu.cn
Copyright © 2022 math.lcu.edu.cn , All Rights Reserved.