LLM 系列（六）：模型推理篇
引言
大型语言模型（llm）的训练过程虽然耗资巨大且备受关注，但其真正的价值实现，却发生在 推理（inference） 这一最终环节。推理是将训练好的模型应用于实际，根据 用户输入（prompt）生成响应的过程 。无论是驱动一个实时聊天机器人，还是进行离线文档分析，高效、可靠的推理是所有 llm 应用的基石。然而，这一过程远非简单地调用模型那么直接，它面临着一个核心的 三难困境（trilemma）：
本文将深入剖析 LLM 推理的全貌，从其根本的自回归生成机制出发，逐层...