杨强教授莅临我院开设讲座:从深度学习到迁移学习

2017-11-15   

DSC_3688

    11月15日上午,来自香港科技大学的杨强教授莅临我院开设讲座,报告题目为“从深度学习到迁移学习”。杨教授为香港科技大学计算机科学与工程系系主任及新明工程学讲席教授,他是国际人工智能大会(IJCAI) 理事长、AAAI执行委员会委员、 IEEE Fellow、AAAS Fellow、IAPR Fellow和ACM杰出科学家,曾经是华为诺亚方舟实验室主任(2012-2014)。杨教授此次开设讲座吸引众多师生慕名而来,讲座开场前夕,308会议室已经座无虚席。上午10点,杨强教授进入会议室,讲座准时开始。

DSC_3691

在当前深度学习和强化学习深受追捧的时代,杨老师给我们带来了一种新的机器学习思维:迁移学习(Transfer Learning)。我们知道在深度学习和强化学习的过程中,往往需要海量的数据做支撑,这样一来这些方法在许多无法获取大量数据的领域就无法开展。而迁移学习的提出就是为了解决小样本下的机器学习问题,这种方法的核心就是在于找出前后两种数据类型中的不变量。对于这类不变量的寻找方法,主要可以从基于距离,基于特征,基于参数模型和基于相关关系这四个角度来考虑。尤其在多层深度学习的模型中,研究发现高层网络之间往往有着较高的相似度,可以作为我们需要寻找的不变量。

DSC_3674

之后杨老师通过几个具体的工作给我们介绍了如何将转移学习这一方法应用到实际的工程中去。首先介绍了如何自动地去识别两个不同平台的文本信息之间的不变量,利用Memory Network 以实现组内区分度大,组间区分度为目标进行分类选择,从而找到两组文本之间的不变量,进而使用迁移学习来对新的文本进行分析。这一方法得到的效果要比人工的更好,且与DANN等深度学习方法不相上下,但是这是一种白箱的方法,能让使用者更加容易理解。之后杨老师又给大家介绍了如何通过学习对话数据来进行个性化推荐。研究发现学习后的机器在对话中可以有效缩短对话的长度,并且完整的记录用户特征行为,有效地提高了对话效率。

DSC_3680

讲座的末尾杨老师总结了机器学习的核心思想在于从数据中进行学习,迁移学习的核心理念在于从已经学习好的模型之中剥离出和目标任务的共通之处,当深度学习中加入迁移学习时,就要更加注重对特征的分解,对学习层的分解,同时要通过多任务学习来完成特征和距离的迁移。

微信图片_20171116100941
DSC_3742

杨老师的讲座深入浅出、引发了在座师生的积极讨论,讲座结束后,师生们积极地和杨老师进行互动交流,在模型控制,数据输入等问题上进行了深入的探讨。最后,本次讲座在师生们的掌声中圆满结束。

文:王宁

图:刘资颖