课题简介
在大语言模型迅速发展的背景下，进行大语言模型相关课题的研究显得尤为重要。在大语言模型的众多研究课题分支中，微调与对齐技术无疑处于核心地位。首先，经过充分预训练的大模型只有经过微调与对齐技术后，才能转化为一个强大的助手模型，具备良好交互能力，指令遵循能力和安全性。然后，微调对齐技术是大语言模型，特别是开源大语言模型，在适配于各个领域/场景时不可或缺的技术。最后，微调对齐技术是大语言模型不断提升推理和任务解决能力的过程中必不可少的技术。
本研究课题聚焦于大语言模型微调与对齐技术，并考察它们在大模型应用的多个方面，如医疗和金融等领域的应用潜力。通过引入创新的优化策略，我们力求增强大语言模型，特别是轻量级大语言模型，的思考与推理水平。
导师介绍
【学校/研究方向】985高校计算机博士，博士期间研究NLP方向和序列建模方向，具体为大模型微调技术，大模型对齐技术，大模型agent，多模态大模型，时间序列基础模型。
在互联网大厂从事算法专家岗位，主要负责前沿算法的快速落地，模型在业务中的表现的调优。
Google scholar引用累计800+。Github star累计超过1700+。发表的一作/通讯论文获得社区的认可，如数据集文章被huggingface的使用，成为RLHF领域的标杆。
【科研论文/审稿人】
目前已经发表了论文50余篇，其中CCFA类会议与期刊18篇，包括ICML，NeurIPS，ACL，WWW，EMNLP，NAACL，COLING，DASFAA，ICASSP等等，且长期担任这些顶级会议与期刊的审稿人。
【指导经验】
指导了众多学弟学妹在ACL，EMNLP，WWW，NAACL等顶级会议上发表文章，共计10篇。指导众多学员发表顶会文章/SCI文章，共计18篇。
可选创新点
（1）大模型的微调对齐数据构建.（ACL, EMNLP, AAAI 等顶会;JMLR，TASLP，NN等顶级期刊）
（2）大模型优化的参数/模块选择.（ACL, EMNLP, AAAI 等顶会;JMLR，TASLP，NN等顶级期刊）
（3）微调与对齐的优化目标.（ACL, EMNLP, AAAI 等顶会;JMLR，TASLP，NN等顶级期刊）
课程亮点
（1）课程导师对大语言模型，多模态模型和时间序列都有非常深入的研究，能够站在研究最前沿和多个研究方向交叉的角度，分析问题，提出领先的创新课题。
（2）非常多实用的Idea，现在其实单看模型差距很小，但这些技术却源源不断的中论文，核心因素便是故事的构成驱动模型和方法的设计。在课程里也是主要以已经发表的论文切入分析没做好以及还没做的事情，将这些事情转化为技术构成，最终产出论文。
（3）在课程的引导下会基于相关研究方向和其他子方向的baseline组成一个有故事的pipeline也是课程的主要特色。
（4）课程力求避开繁琐的数学公式和过于空洞的原理，结合近两年顶会顶刊结合现实问题的角度，利用故事驱动模型。
（5）课前一次详细meeting，提前帮同学解答选题问题和解答疑问，阐述授课风格；线上课程主要利用论文发掘故事和模型设计，帮助同学规划好论文框架，讲好论文故事。
（6）私人群有问必答，结合案例、文字、语音条等形式，偶尔也会利用额外的线上meeting，用较短时间，较高效率解决同学们的疑问。