前言

这道题偏原理，不过为了让讲的东西不这么枯燥，我们在原理中穿插一点具体技术。

前言

这个问题也是很大，但与其说是八股文，其实更偏向实操。为了讲清楚呢，我这边也把步调稍微放慢一点，讲的清楚一些。

前言

这个问题问得相当大。大模型的微调分为好几个阶段，每个阶段都有自己的任务。接下来就有的讲了。

前言

智能体规划，也称agent planning，是指智能体在某个状态下，如何进行规划，如何进行选择，如何进行执行，如何进行反馈，如何进行更新。

但是呢，如果直接从LangGraph开始，可能对这个概念并没有特别清楚，我们先一步步来。

前言

这个是相当考察经验的一道题。

前言

这个问题看起来有点广泛，但是我们可以一点点作答。

前言

这个除了考察Qwen14B的参数细节之外，还有一个很重点的：Qwen-14B并不是传统的MHA中的QKV结构，而是GQA结构。

前言

这道题目相对来说简单一些，考验的是KVCache和vLLM的实现原理。

前言

表面上看，这个是在问实际经验，但是实际上，这里有一个很重要的前提：Qwen在一代、二代，甚至之后的等版本，都是decoder-only的，这也就从本质上改变了输入数据的格式。

前言

在上一篇文章中，因为多头注意力机制，下一个词的生成可以并行计算，为显卡赋能带来了方便。但是，并行的时候，如何才能让token知道它本来应该在哪？