论文,回应陈阳教授的期待。
“我还没开始建模,所以进度这方面,其实还是零,但大致的想法是有了。”苏飞如实说道。
“说来听听?”
王正对苏飞的奇思妙想很感兴趣,之前苏飞在科大讯飞的项目上的提议他也有听说,这个学生每一次都不会让他失望。
“陈阳教授提示我可以用迁移学习去完善脑竞上提出的gan特征融合,而gan特征融合有一个缺点,是模型过大,我想做的第一步就是在迁移学习的同时简化模型。
“gan特征融合本身是有数个信息源的,而且做下游任务的时候是以脑电信息为主,这种以一种信息为主其他信息为辅的融合方式,和今年的一篇很知名的迁移学习论文非常相近。”苏飞说道:“知识蒸馏。”
王正教授听到这几个字,微微点头。
的确,知识蒸馏可以把大网络的成果提取到小网络,也就是说可以把gan特征融合这个大模型固化成一个小模型。
但这个想法顶多算新奇,要是一个普通的本科生或研究生提出,他倒是还比较满意,但提出这点的人是苏飞,这点创意可就不够了。
王正静静地看着苏飞,他知道这小子绝对还有其他想法。
“仅仅如此,效果不一定会改善太多,引入知识蒸馏的目的是简化模型。”苏飞继续侃侃而谈:“我翻阅近年的论文发现,近年特征融合的论文多是集中于共有特征的提取,gan特征融合也是如此,但我觉得一味地提取共有特征会导致各信息源失去它们的特有信息。”
王正和赵文兵眼神一亮,这个观点倒是有意思。
“我想要在每个信息源上设置两种信号提取器,一种是共有特征提取器,这个提取器提取完信息后输入到特征融合结构,而另一种提取器提取特有特征,让两种提取器尽量正交就行。”
苏飞一口气把他的想法说完,
“这想法,倒的确不错,比较新颖。”王正教授先给了个评价,随即提出了一个关键的问题:“那你怎么保证正交呢?需要设置一个新的损失函数吧?”
“的确如此。”苏飞点点头。
“那就需要相关数学理论支撑,否则,损失函数设置不好,你这个想法从根上就动摇了。”王正略微思考后说道:“你的数学知识我是见过的,理论知识相当扎实,不过这种有点像应用数学的领域,能行么?”
那这不就是问题所在么?我要是应用数学也杠杠的,也不会到现在还没开始实验呐。
苏飞在心中默默吐槽。
王正看到苏飞这副样子就知道,果然关键在这啊。
“要不要到数学院拨个人给你?”
“谁?”
“陆涛。”
王正教授的话让苏飞一静,陆涛作为数学系的领袖,手里的本事确实不是盖的,脑竞的时候,他也是除了姜大
请收藏:https://m.lawen.cc
(温馨提示:请关闭畅读或阅读模式,否则内容无法正常显示)