课题简介
人工智能（AI）技术的快速迭代，为图像与语言的跨模态理解带来了前所未有的机遇和挑战。作为计算机视觉与自然语言处理的交叉领域，多模态视觉-语言研究正迅速成为学术界与产业界的重点方向之一。其优势在于：交叉研究不仅能够提升创新性和论文新颖度，还能降低对单一领域算法背景的依赖，从而显著提高科研工作的可操作性以及成果发表的成功率。无论是计算机科学研究者，还是具有工程、信息、甚至文理科背景的同学，都能在这一方向找到适合自身的研究切入点。
相比传统的单模态研究，视觉-语言多模态模型（VLM）充分利用大规模公开数据库（如 MSCOCO、Flickr30k、XLRS-Bench、RS5M 等），结合深度学习与预训练大模型进行跨模态表征与对齐，有效降低实验门槛并快速形成高水平论文的核心内容。本课程聚焦于视觉与语言大模型的研究与应用，系统讲解从数据预处理、多模态建模、实验优化，到结果可视化与论文撰写的完整科研流程，帮助学员快速实现从研究构想到论文发表的目标。
课程内容围绕视觉-语言模型展开，分为以下两大部分：
（1）跨模态对齐与视觉问答
针对超大图像与自然语言的结合，我们将重点讲解如何通过 多尺度切分、场景先验与全局-局部融合，实现复杂场景下的高效问答与指令理解。这类方法不仅易于实现，还能结合公开大模型进行创新，快速形成论文成果。
（2）多模态检索与指代定位
随着跨模态应用的广泛兴起，如何在图像与文本之间实现精准检索与定位成为研究热点。本部分将结合顶会热点技术，包括 跨模态检索、视觉指代定位、注意力机制与Transformer架构，讲解如何构建鲁棒的多模态理解系统，并进一步扩展到前沿方向，如 视觉语言大模型（VLM）的轻量化优化与应用场景拓展。
导师介绍
【资历与方向】
985博士，擅长计算机视觉与多模态图像处理，主要研究视觉大模型LVM、多模态目标检测，姿态估计，图像分割，变化检测，3D点云等多个前沿领域，已有三年辅导学员发表SCI论文的经历，擅长因材施教，以结果为导向，为学员论文发表的道路保驾护航。
【科研论文/审稿人】
作为第一作者或共同一作发表中科院一区论文六篇，发表SCI论文十余篇，Google学术引用量超400；长期担任遥感顶刊IEEE TGRS审稿人。
【指导经验】
辅导十余名学生发表SCI论文。
【指导特点】
擅长因材施教，以结果为导向，为学员保驾护航不走弯路。
可选创新点
1、基于高分辨率图像的视觉问答 目标区位，1-2区 ICML，ICCV，NIPS，TIP
2、基于图像视觉的语言描述指代定位 目标区位，1-2区 ACMMM，TMM，TCSVT
3、语言提示词引导的图像定位 目标区位，2-3区Sensors，Scientific reports
4、基于视觉-语言联合的跨模态检索 目标区位，1-2区 ACMMM，PR，IJCAI，TMM
5、基于视觉-语言的跨模态知识判别 目标区位，3-4区 Scientific reports，mathematics
课程亮点
1.系统讲解当下多模态视觉-语言模型的通用范式，涵盖视觉问答、跨模态检索、视觉指代定位等核心任务，以及主流架构的解析与改进思路；
2.在学术竞争日益激烈的环境下，如何高效产出一篇具有创新点和可发表性的论文，结合真实案例进行拆解与指导；
3.学习故事驱动式的论文写作与模型设计方法：如何从已有工作中提炼思路、进行结构融合，进而构建属于自己的研究故事与模型模块；
4.掌握跨领域迁移的研究技巧，学会借鉴其他领域的想法并改造为本领域可用的创新点，提升研究的新颖性与多样性；
5.提供相关的训练代码与模块实现，结合案例讲解改造思路；课程群内持续答疑，遇到难题可根据需求组织小型 meeting 讨论与指导。