课题简介
伴随“文生图/视频 图生图/视频”等生成式技术跃迁，扩散模型正把自然语言与视觉 3D 音视频深度打通，改写内容生产与数据合成范式：从影视与广告创意，到教育与文旅，再到遥感 交通仿真 医学影像与工业设计，AIGC 的应用边界持续扩张。面向真实业务，我们同时关注可控与不可控生成：以文字直接生成高质量图像/视频（不可控），或通过姿态/深度/边缘/分割图等条件实现精准控形（可控），将“想法→画面/三维”的距离降到最低。
本课程围绕“通用生成框架+多场景实战+科研规范”系统展开：从扩散模型原理与变体（DDPM/Latent Diffusion 视频扩散 Text-to-3D/SDS）到可控生成（ControlNet/T2I-Adapter） 个性化与轻量化（LoRA/DreamBooth/蒸馏/LCM 实时加速） 多模态协同（视觉–语言模型 Agent 工作流），带你在人体/人脸编辑 医学数据增广 遥感卫星（SAR/多光谱） 交通与城市 3D 点云重建/分割/检测等场景完成可复现的项目落地。课程将从方法与实验两端结合可解释性与一致性视角，着力提升模型在真实环境中的鲁棒性，帮助同学明确兴趣方向 形成研究选题，并产出具有可复现性的研究与应用成果。
导师介绍
【资历和方向】
世界TOP10高校，资深算法研究员，担任工信部项目评审专家，兼任某500强央企区域首席AI算法培训专家。作为一线导师，亲自动手写代码，带领团队开源了多个在GitHub上拥有1K+星的项目。研究方向包括AIGC图像/视频生成与编辑（包括对抗生成网络GAN、变分自动编码器VAE、扩散模型Diffusion Model）、开放世界目标检测/分割（包括医学、遥感、SAR图像等）、以及大模型安全、多模态定位检索（包括行人/车辆重识别、图文语音互搜）等领域。
【科研论文/审稿人】
在国内外期刊会议上发表了超过50篇论文，包括TPAMI、TIP、ICML、CVPR、NeurIPS、ACM MM、AAAI、ICLR等顶刊顶会，同时担任CVPR、ECCV、ICCV、ICLR、NIPS、TIP、TMAPI、TNNLS等多个期刊和会议的TPC/审稿人。有丰富的学术期刊和会议资源。
【指导经验和成果】
Taylor老师是深度之眼的明星导师，与深度之眼合作已有5年之久。他具有丰富的1V1科研论文指导和竞赛指导经验，同时深耕于深度之眼科研小班，包括AIGC生成式、目标检测、语义分割、遥感图像、多模态大模型的理解与安全等领域的学术论文以及落地应用。
学员们的文章投稿至各类方向，包括不限于大模型、CV、AIGC、医学、农学、遥感和计算机等方向成功辅导深度之眼的学生发表了超过200篇论文，涵盖了ICLR、TIP、ICML、CVPR、ICCV、TGRS、ECCV、TIP、ICME、TMM、PRCV、ICIP、ICTAI、CIBM、TMI等顶级期刊和会议。
曾指导学生获得省级优秀硕士学位论文，并帮助学生在国际、国家、省部级竞赛中获得了超过60项TOP名次，包括带领学员拿下Kaggle第一名和iFLYTEK第一名等。
此外，他还提供写作模板、学术避坑指南、辅助代码指导、润色/重写服务，以及会议期刊推荐等服务。
【教学特点】
Taylor老师有丰富多样化的教学经验，教学严谨，对待科学问题，不放过每一个细节，经常彻夜给学员重写润色手稿。虽然科研上要求严格，但是对于认真想学的同学都会有非常大的收获。
对于不同基础的同学有成熟的指导体系，同时擅长将不同任务与视觉任务进行结合，讲授除了课程任务之外的技术，匹配不同方向上的同学课题。Taylor老师的写作套路永远是让学员眼前一亮。
可选创新点
上述场景下生成式模型如何结合分类、检测和分割
上述场景下图像/视频创建、编辑和谐化
上述场景下扩散模型实现主体驱动生成
上述场景下可控布局到图像的一致性重构
上述场景下结合大语言(LLM)模型/图神经网络的探索
上述场景下结合多模态(MLLM)大模型的探索
上述场景下结合代理（Agent）模型的探索
上述场景下结合强化学习(RL)模型的探索
上述场景下结合路由混合专家(MOE)模型的探索
课程亮点
技术方法包括：Vae、UNet、DDPM、DDIM、Latent Diffusion、Stable Diffusion、DALLE系列、Imagen、Lora、ControlNet、Adapter、大语言(LLM)模型、多模态(MLLM)大模型、代理（Agent）模型、强化学习(RL)模型、路由混合专家(MOE)模型等。