课题简介
多模态知识图谱与大语言模型的结合是当下通用人工智能领域研究的重点，一方面，多模态知识图谱包含了大量富语义的结构化知识，可以为大语言模型提供准确可靠的背景知识用于增强文本生成质量、减少大语言模型的幻觉；另一方面，大语言模型凭借其强大的文本理解和生成能力，可以完成多模态知识图谱的推理和补全等任务。多模态知识图谱和大语言模型二者相辅相成，与之相关的研究将是未来的热门方向。
本课题会带领同学们，探索多模态知识图谱的定义、推理以及在各种下游场景中的应用，同时还会讲解大语言模型相关的基础知识以及结合大语言模型的知识图谱推理与下游应用。
课程中我们边学边做边写，在学习理论知识的同时配备代码讲解和实战演练。同学们通过学习本课程将会有以下收获：
(1) 多模态知识图谱与大语言模型相关知识
(2) 冲击顶会/SCI期刊的研究方向和建议
(3) 细致的idea和baseline代码框架指导
(4) 实验设计和论文写作指导
导师介绍
【学校/研究方向】
985高校计算机研究生毕业，主要研究方向为多模态大模型、知识图谱、视频检索与推荐。某大厂Lab研究员，校招头部计划，主要从事多模态大模型的研究和落地。
【科研论文/审稿人】
在人工智能顶级国际会议发表论文30+篇(其中第一作者10+篇)，包括CVPR/AAAI/MM/SIGIR/WWW/ICLR。并担任CVPR/ICCV/ECCV, ACL/EMNLP/MM等审稿人。
可选创新点
1、基于R1训练范式下的推理模型训练、多轮工具调用与混合推理 目标区位 SCI1-2区 AAAI，ICCV，ICML，TIP
2、基于R1训练范式下的知识图谱多跳推理，证据链增强知识问答 目标区位 SCI1-2区
AAAI，ICCV，ICML，TMM
3、基于GraphRAG的多模态知识图谱增强，与推理能力研究 目标区位 SCI1-2区 ACMMM，TMM，TCSVT
4、基于Multi-Agent的多模态知识图谱自动构建与矫正 目标区位 SCI1-2区 KBS，PR，NN、ESWA
课程亮点
1. 提供非常多实用的Idea，并提供总体研究路线的规划，提供对应的参考文献，同学们在此基础上研读相关文献并自己尝试编写代码完成实验和写作就可以产出相关领域的论文；
2. 提供大量相关领域的经典baseline模型和代码，供同学们在此基础上进行修改和拓展，快速入门科研；
3. 课程力求避开繁琐的数学公式和过于空洞的原理，结合近两年顶会顶刊结合现实问题的角度，用更好的“故事”驱动模型的设计和科研的推进；
4. 课中安排充足的答疑环节，提前帮同学解答选题问题和解答疑问，阐述授课风格；线上课程主要利用论文发掘故事和模型设计，帮助同学规划好论文框架，讲好论文故事；
5. 课后私人群有问必答，结合案例、文字、语音条等形式，偶尔也会利用额外的线上meeting，用较短时间，较高效率解决同学们的疑问。