课题简介
随着深度学习技术的广泛应用，其“黑箱”特性引发了广泛关注。《新一代人工智能发展规划》中强调建立具备可解释性的模型是发展通用人工智能的重要途径。在医疗诊断、金融决策、自动驾驶等关键领域，模型的可解释性不仅影响用户的信任度，还与公平性、安全性和法规合规性密切相关。因此，如何构建 “可解释的深度学习模型” 成为人工智能研究的核心问题之一。近年来，以 SHAP、Grad-CAM 等方法为代表的可解释性技术取得了一定进展，但面对更复杂的大模型及其在实际场景中的应用，可解释性仍然面临诸多挑战。特别是在大语言模型（LLM）与多模态 AI 崛起的背景下，可解释性需求进一步升级——如何让 AI 决策更加透明可信，如何在安全性、公平性和可控性之间取得平衡，成为学术界和工业界共同关注的重要议题。
随着深度学习模型的复杂性不断提升，以及行业对人工智能系统透明度和可信性的需求日益增强，当前的可解释性技术在多个方面面临着重大挑战。特别是在多模态学习、大模型以及行业应用落地等领域，可解释性技术仍存在诸多技术瓶颈，亟需更深入的研究与创新。以下是当前可解释性研究领域的三个核心挑战：
a. 多模态深度模型的可解释性
之前可解释性深度学习研究都聚焦于单模态中，而当前的深度学习系统越来越多地采用多模态学习，融合文本、图像、音频、视频甚至传感器数据，以提高模型的理解能力和泛化能力。随着多模态系统的复杂度提升，如何解释其内部知识以及决策过程也变得更加棘手。
b. 大规模深度模型的可解释性
近年来，深度学习模型的参数量呈现指数级增长，从 BERT（3.4 亿参数）到 GPT-4（数万亿参数），甚至未来的 AGI（通用人工智能）模型，其复杂性远超传统可解释性方法的处理能力。对于这些大模型而言，传统的基于特征重要性、代理模型 等方法很难提供精准的解释，而其内部的非线性推理过程往往具有极高的维度，难以追踪和理解。Transformer 结构的层级注意力机制虽然在 NLP 和 CV 任务中取得巨大成功，但其计算方式难以直接映射到人类可理解的规则或逻辑。例如，GPT-4 的推理决策到底是依赖于训练语料的模式匹配，还是形成了更高级的推理能力？这在现有的可解释性框架下仍然难以界定。
c. 可解释方法的行业应用
在不同的高风险行业（如医疗、金融、法律、自动驾驶等），AI透明度和决策可控性成为监管合规的关键因素。虽然学术界的可解释性方法不断创新，但其在实际落地应用时仍然面临多重挑战，例如：深度学习模型已被广泛应用于医学影像分析、疾病预测等任务。然而，医生往往难以直接信任 AI 预测结果，除非能够提供符合医学逻辑的可解释性依据（例如 AI 预测肺癌时是否关注了正确的病灶区域）。银行和金融机构依赖 AI进行信用评分和反欺诈检测。但黑箱决策可能导致合规性问题，例如 AI 拒绝贷款申请时，用户是否有权获得合理的解释？如何保证AI决策不带有潜在的偏见？自动驾驶：自动驾驶系统需要在复杂的环境中做出实时决策。例如，当 AI 决定紧急刹车时，如何向监管机构或用户提供透明的决策过程说明？
综上，本课程旨在帮助学生系统梳理深度学习可解释性技术的发展脉络，深入理解其核心概念、经典方法及行业应用。通过课程学习，学生将掌握主流的可解释性技术，并具备在实际项目中应用这些方法来分析、优化深度模型的能力。此外，课程还将指导学生开展前沿研究，探索可解释性在不同场景中的创新应用，并完成高质量的学术论文撰写与投稿，为未来的学术研究或行业实践奠定坚实基础。
导师介绍
【学校/研究方向/工作经历】国内top大学博士毕业，深入研究深度学习可解释性。现任某大厂算法研究员，主要从事大模型垂类应用。指导学生从产生idea到算法落地到paper形成的全生命周期过程。
【科研论文/审稿人】在中科院一区TOP，IEEE Trans系列以及CCF A类会议发表文章10篇（其中第一作者3篇，通讯作者1篇），包括ICCV，CVPR，ACM MM、AAAI和IEEE TPAMI、TCSVT等。同时，担任IEEE TKDE、TIP、TNNLS、CVPR、ICCV、ECCV、MM等国际期刊和相关顶会审稿人。
【指导经验】指导学生中稿CCF-A类中文期刊2篇、CCF-A类会议2篇。
可选创新点
1、基于概念瓶颈模型的视觉-语言多模态模型 CCF-A/B/C SCI二区以上期刊 CVPR/ECCV/AAAI/BMVC TIP/TKDD/TCSVT
2、利用层级相关分数传播解释大规模深度模型 CCF-A/B/C SCI二区以上期刊 ECCV /ACML/ACCV TKDD/PR
3、构建医疗影像上的可解释概念模型 CCF-A/B/C SCI二区以上期刊 CVPR/MICCAI/ACML TMI/MIA/TIP
课程亮点
1. 能根据学生的不同领域给出针对性的 idea。
2. 可以提供一些质量好的 baseline。
3. 老师有耐心，教学经验丰富。
4. 课前和同学进行预先沟通，提前帮同学解答选题问题和解答疑问。
5. 线上私人群留言回复，结合案例、文字、语音条等形式，也会利用额外的线上meeting，在短时间内以高效率解决同学们的疑问。