LLM推理Prefill与Decode

中性 62.00万 1周前
内容解释大语言模型推理的Prefill与Decode两个核心阶段。讨论聚焦推理流程。涉及AI开发者与大模型用户。

大语言模型(LLM)推理的两个核心阶段:Prefill(预填充) 与 Decode(解码)是什么?