近日,计算机学院智能计算团队在大语言模型高效推理方向取得重要进展,相关成果发表于人工智能领域国际顶级会议。

该成果提出了新的稀疏注意力机制,在保持精度的同时将推理开销降低了约40%。