← 研究方向DEEPSHARE / RESEARCH

基于视觉的情感计算模型

图像/视频表情识别 多模态情感识别 域自适应学习

课题简介

情感计算(Affective Computing)是近几年热门的研究方向,基于视觉的面部表情识别方法近些年在各大顶会(NeurIPS、CVPR、ICCV、AAAI、IJCAI、ACM MM等)和顶刊(IEEE TPAMI、IEEE TIP、IJCV、IEEE TMM、IEEE TAFFC、IEEE TCSVT、PR等)都得到了广泛关注。面部表情是人类表达其内心情感一个重要的表达方式,其能够直观的揭露个体的真实情绪状态。表情识别在人际交流中扮演着至关重要的角色,它是人类表达内心情感状态的一个重要的活动,在日常交流互动中,人们大都主要通过面部表情的观察,来了解和发现对方的情感,感知其内在心理状态。因此,使机器能够像人一样识别人类的情感,能够更好的促进机器人与人类的互动,使其实现真正意义上的智能。基于此,近些年来自动人脸表情识别技术得到了研究人员的关注,其被广泛应用于人机交互、计算机视觉、自动驾驶,游戏娱乐以及医疗和心理健康领域中。

本课题会带领同学们,探索基于视觉的情感识别方法,学习其目前热门的研究方向,包括真实世界静态图像、动态视频、多模态情感识别,钻研其中多个热门研究问题,讲解Grpah Learning、Transforemr、MLP-like、CLIP相关模型架构与视觉情感计算任务相结合的可能性。

导师介绍

【学校/研究方向】
985高校计算机科学博士博三在读,主要研究方向为人脸表情识别、视频情感识别、域自适应学习。
工作经历/实习经历:主要从事情感计算方向研究、包括人脸表情识别,视频情感识别等模型的设计、熟悉掌握CNN、Transformer架构、模型在gpu平台的量化,部署。
【科研论文/审稿人】 在计算机视觉和人工智能国际会议/期刊发表论文14篇,一作发表论文6篇,顶刊顶会6篇,包括NeurIPS/IEEE TMM/IEEE TAFFC/IEEE TCSVT/IEEE JBHI/ICASSP。并担任ACM MM/IEEE TCSVT/IEEE TCDS等审稿人。
【指导经验】指导学生在ICASSP会议发表论文1篇

陈宇老师 · 985高校计算机科学博士 ↗

可选创新点

(1)基于真实世界In-the-wild静态图像情感识别
(2)域自适应下的跨域情感识别
(3)基于真实世界In-the-wild 动态视频情感识别
(4)结合视觉语言大模型的多模态情感分类

课程亮点

(1)在课程学习中会针对研究方向进行多角度的分析和探讨,发现其中存在的问题与挑战,能够产出多个大大小小的Idea。在课程里也会以已经发表的论文切入分析没做好以及还没做的事情,将这些事情转化为技术构成,最终产出论文。
(2)在课程的引导下会基于相关研究方向和其他子方向的方法,进行迁移整合,探索从其他方向论文中发现可行的方案迁移到自己的任务。
(3)课程力求避开繁琐的数学公式和过于空洞的原理,结合近两年顶会顶刊结合现实问题的角度,利用故事驱动模型。
(4)私人群定期答疑,结合案例、文字、语音条等形式,偶尔也会利用额外的线上meeting,用较短时间,较高效率解决同学们的疑问。

科研咨询 LET'S TALK RESEARCH

聊聊你的科研计划

微信扫码,与我们沟通研究方向和目标。

请使用微信扫描科研咨询二维码查看二维码原图 ↗
放大图片打开原图 ↗