记忆张量开源MemT-1.0
正面 1周前上海记忆张量团队发布并开源记忆原生模型MemT-1.0系列。模型包含Flash与Nano两款，参数规模288B与36B。涉及模型研发团队、开发者及企业用户。[记忆原生模型]
10月20日，来自上海的记忆张量团队正式发布并开源记忆原生模型MemT-1.0系列。与以往每次对话都从零开始的大模型不同，这一系列把可持续存在、能够更新的内部记忆纳入模型计算，让历史信息与任务经验在后续相关任务中被直接调用，无需再次提供原始历史文本。此次开源包含MemT-1.0-Flash与MemT-1.0-Nano两款模型，参数规模分别为288B与36B。研发团队在选定的Transformer模块中引入原生记忆模块，使原有注意力与记忆注意力并行运行，记忆由此成为模型前向传播的一部分。（上观新闻）