LOGS第2023/10/21期|| 威斯康星麦迪逊大学曾语晨：低阶适应微调LoRA的表现力

本期的嘉宾是威斯康星麦迪逊大学曾语晨，她为我们带来大语言模型（LLM）的低阶适应微调LoRA表现力探索的精彩内容。

报告内容

	图学习研讨会
报告时间	2023年10月21日（周六）  10:00（北京时间）
报告主题	低阶适应微调LoRA的表现力
报告嘉宾	曾语晨（威斯康星麦迪逊大学）

摘要

低阶自适应（Low-Rank Adaptation，LoRA）是一种利用权重矩阵的低阶自适应的参数高效微调方法，已成为微调预训练模型（如大型语言模型和扩散模型）的流行技术。尽管 LoRA 在实践中取得了巨大成功，但其理论基础在很大程度上仍未得到探索。本文通过从理论上分析 LoRA 的表现力，迈出了弥合这一差距的第一步。我们证明，对于完全连接的神经网络(Fully connected neural network)，只需要LoRA适应器满足$(\bar{f}宽度 * \bar{f} 深度)/(f 深度)$，LoRA 可以调整任何模型 $f$ 以准确表示任何较小的目标模型 $\bar{f}$。我们还量化了 LoRA-rank 低于阈值时的近似误差。对于Transformer网络，我们表明任何模型都可以通过秩小于(Embedding长度}{2})的LoRA 适配器适配到相同大小的目标模型。我们的所有理论见解都得到了数值实验的验证。

分享嘉宾

曾语晨是威斯康星大学麦迪逊分校计算机科学系的博士生。她的导师是 Kangwook Lee 教授。最近，她的主要研究方向是大型语言模型和机器学习公平性。她于 2020 年获得威斯康星麦迪逊分校统计学硕士学位，导师是Miaoyan Wang教授。在加入麦迪逊之前，她于 2019 年南开大学数学科学学院获得统计学学士学位。

个人版的腾讯会议的seminar报名人数上限100人，最近常常出现报名人数超过上上限无法进入会议的情况，录屏一周内会剪辑上传B站(LOGS图学习研讨会)，可能会鸽的小伙伴建议先把slot留给其他的童鞋~