课题简介
在当今快速发展的数据时代，时间序列分析已成为各行各业预测和决策的关键技术。传统的时间序列分析方法虽然在一些领域取得了显著成效，但在处理复杂的非线性和高维度数据时却面临挑战。随着人工智能和大模型技术的迅猛发展，基座模型（Foundation Models）作为一种新兴的范式，展示了其强大的泛化能力和自适应性。通过结合大模型的强大表征能力和深度学习的灵活性，基座模型在时间序列分析中的应用前景广阔，能够有效提升预测精度和鲁棒性。
本课题旨在探讨如何在时间序列分析领域构建和应用基座模型，研究其在金融市场、气候预测、智能制造等多个领域的潜在应用。通过引入人工智能和大模型技术，探索基座模型在处理复杂时间序列数据时的优势和挑战，进而推动时间序列分析技术的革新，提升各领域的预测和决策能力。研究的成果不仅有助于提升学术界对基座模型的理解，还将为工业界提供新的解决方案和实践指导。
本课程分为两个部分：
第一部分，以Transformer模型为基础模型架构，主要探讨：(a)时间序列领域如何构建具有普适性的预训练基座模型，这一部分的方法可能是从零开始预训练，也可能是以其他领域的基座模型作为起点进行特殊的预训练。(b)时间序列领域的下游任务适配，探讨如何基于基座模型，快速的以及低成本的在下游任务上适配一个高性能的专有模型。
第二部分，跳出Transformer模型基础模型架构的限制，探讨：(a)现有Transformer模型如何进行改进，优化下游任务性能；(b)关注一些有潜力的新型模型架构，如xLSTM，State Space Model, KAN等，探索这些新型架构是否可以作为时间序列的基础模型架构。
本课程的方法论适用于追寻时间序列模型大一统，适应于各种时序任务，包括预测，分类，异常检测等等。
导师介绍
【学校/研究方向】
985高校计算机博士，博士期间研究NLP方向和序列建模方向，具体为大模型微调技术，大模型对齐技术，大模型agent，多模态大模型，时间序列基础模型。
在互联网大厂从事算法专家岗位，主要负责前沿算法的快速落地，模型在业务中的表现的调优。
Google scholar引用累计800+。Github star累计超过1700+。发表的一作/通讯论文获得社区的认可，如数据集文章被huggingface的使用，成为RLHF领域的标杆。
【科研论文/审稿人】
目前已经发表了论文50余篇，其中CCFA类会议与期刊18篇，包括ICML，NeurIPS，ACL，WWW，EMNLP，NAACL，COLING，DASFAA，ICASSP等等，且长期担任这些顶级会议与期刊的审稿人。
【指导经验】
指导了众多学弟学妹在ACL，EMNLP，WWW，NAACL等顶级会议上发表文章，共计10篇。指导众多学员发表顶会文章/SCI文章，共计18篇。
可选创新点
（1）更有效的将大模型应用到时序任务（KDD,AAAI,ICDE等顶会;TNNLS,PR,NN等一区transcation期刊）
（2）时间序列的预训练模型的构建：预训练方法和词元器改进（KDD,AAAI,ICDE等顶会;TNNLS,PR,NN等一区transcation期刊）
（3）时间序列任务的预训练+微调范式（KDD,AAAI,ICDE等顶会;TNNLS,PR,NN等一区transcation期刊）
（4）新型网络架构应用于时间序列任务：新型网络架构微调（KDD,AAAI,ICDE等顶会;TNNLS,PR,NN等一区transcation期刊）
课程亮点
（1）课程导师对大语言模型，多模态模型和时间序列都有非常深入的研究，发表过50多篇包括ICML,ACL,WWW, EMNLP,DASFAA,CIKM等的顶会顶刊论文，能够站在研究最前沿和多个研究方向交叉的角度，分析问题，提出领先的创新课题。
（2）非常多实用的Idea，现在其实单看模型差距很小，但这些技术却源源不断的中论文，核心因素便是故事的构成驱动模型的设计。在课程里也是主要以已经发表的论文切入分析没做好以及还没做的事情，将这些事情转化为技术构成，最终产出论文。
（3）在课程的引导下会基于相关研究方向和其他子方向的baseline组成一个有故事的pipeline也是课程的主要特色。
（4）课程力求避开繁琐的数学公式和过于空洞的原理，结合近两年顶会顶刊结合现实问题的角度，利用故事驱动模型。
（5）课前一次详细meeting，提前帮同学解答选题问题和解答疑问，阐述授课风格；线上课程主要利用论文发掘故事和模型设计，帮助同学规划好论文框架，讲好论文故事。
（6）私人群定期答疑，结合案例、文字、语音条等形式，高效率解决同学的疑问。