课题简介
基于Attention的跨模态检索与描述方法研究是人工智能领域的重要方向之一，旨在结合计算机视觉、自然语言处理和深度学习技术，开发能够高效关联视觉与语言模态的智能系统。跨模态检索与描述任务的核心在于实现不同模态信息间的语义对齐与相互理解，使系统能够在视觉模态和语言模态之间建立精确的映射关系。例如，用户输入一段描述性语言（如“黄昏时分海边的一只白色帆船”），系统需要能够在图像数据库中找到与描述语义一致的目标图像；或者用户给定一张图像，系统需生成自然流畅的文字描述以表达该图像的核心内容。这一方向的研究涉及多个关键环节：
（1）模态特征提取与编码：系统需要从图像中提取视觉特征并从文本中提取语言特征，同时通过深度神经网络实现语义级别的跨模态信息表示。Attention机制在这一阶段尤为关键，它可以对输入数据进行权重分配，聚焦于图像中的显著区域或文本中的重要词汇。
（2）跨模态对齐与建模：通过Attention机制，系统能够捕捉视觉模态和语言模态间的细粒度语义对应关系。常见的方法包括利用多头自注意力机制或交互注意力机制，将视觉和语言信息投射到共享的特征空间中，以实现高效对齐。
（3）检索与描述生成：对于检索任务，系统需要在共享特征空间中计算相似度，并返回与用户输入最匹配的结果；对于描述任务，系统需要通过解码器生成自然语言文本，体现视觉内容的语义信息。
基于Attention的跨模态检索与描述研究在实际应用中具有广泛的意义。例如，在数字媒体管理中，它可以实现图片的智能搜索与分类；在辅助技术中，它能够帮助视障用户通过语言描述理解视觉内容；在教育领域，它为知识图谱构建和内容标注提供了技术支持。此外，这一领域的研究还促进了对人类认知过程的模拟与理解，为构建更自然的智能人机交互系统奠定了理论基础。在这一研究方向中，如何设计更高效的Attention机制以提高系统的跨模态理解能力是核心难点之一。视觉模态与语言模态的信息分布和特性差异较大，因此需要通过精细化建模解决对齐误差问题。此外，Attention机制在捕捉长距离依赖与细粒度关系时的计算复杂度也是当前研究的重要挑战。
本课程基于attention机制，从跨媒体内容检索和描述出发，思考如何利用或改进现有attention机制，并融合到基于文本的图像、视频检索任务，或者基于图像或视频的跨模态文本生成任务，落脚实际问题，凝练创新idea，发表高水平论文。
导师介绍
【学校/研究方向】国内知名高校计算机博士，博士期间研究方向为多模态学习，主要聚焦图像/视频/视觉变化语义描述（Image/video/change captioning），跨模态检索（Text-based video/moment retrieval）以及多模态机器翻译（Multi-modal machine translation）。
【科研论文/审稿人】Google Scholar引用次数550+。在计算机视觉，自然语言处理和人工智能国际顶级会议/期刊发表论文14篇（其中第一作者10篇，共一1篇），包括TPAMI, TIP, TMM, PR, ICCV, ACL, ACM MM, EMNLP等。并担任TIP/TCSVT/TETCI/ Artificial Intelligence Review, AAAI/ACL/ACM MM/EMNLP等国际期刊/会议审稿人。
【指导经验】指导学生在TMM,TCSVT,TOMM，ACM MM,ICME会议发表论文两篇，投稿三篇。
可选创新点
1、编码过程，基于attention的多模态融合 SCI1-2区 （TMM, PR, TOMM等） CCF A/B类会议 （CVPR, MM, ICME等）
2、解码阶段，基于attention的跨模态对齐 SCI1-2区 （TMM, PR, TOMM等） CCF A/B类会议 （CVPR, MM, ICME等）
3、基于大语言模型的prompt设计 SCI1-2区 （TMM, PR, TOMM等） CCF A/B类会议 （CVPR, MM, ICME等）
课程亮点
（1）围绕当下主流的研究热点如跨模态检索和描述生成部署和探究idea，在课程里也是主要以已经发表的论文切入分析没做好以及还没做的事情，将这些事情转化为技术构成，最终产出论文；
（2）相关的训练代码和模块的构造代码及讲解，改造思路分享；
（3）私人群有问必答；
（4）投稿后，持续跟进并帮助rebuttal以及返修；