记忆张量发布MemT1.0并开源

10月20日，澎湃新闻记者获悉，由中国团队记忆张量研发的记忆原生模型MemT1.0系列正式发布并开源。该系列将可持续存在、能够更新的内部记忆纳入模型计算，使历史信息与任务经验能够在后续相关任务中被直接调用，无需再次提供原始历史文本。据介绍，MemT1.0包含Flash与Nano两款模型，参数规模分别为288B与36B。研发团队在选定的Transformer模块中引入原生记忆模块，使原有注意力与记忆注意力并行运行，记忆成为模型前向传播的一部分。在11项记忆基准上，MemT-1.0-Flash与Nano平均得分分别为50.6与47.0，位列参数化记忆方法第一、第二。目前，MemT1.0已通过Hug