前言

这个是相当考察经验的一道题。

前言

这个问题看起来有点广泛，但是我们可以一点点作答。

前言

这个除了考察Qwen14B的参数细节之外，还有一个很重点的：Qwen-14B并不是传统的MHA中的QKV结构，而是GQA结构。

前言

这道题目相对来说简单一些，考验的是KVCache和vLLM的实现原理。

前言

表面上看，这个是在问实际经验，但是实际上，这里有一个很重要的前提：Qwen在一代、二代，甚至之后的等版本，都是decoder-only的，这也就从本质上改变了输入数据的格式。

前言

在上一篇文章中，因为多头注意力机制，下一个词的生成可以并行计算，为显卡赋能带来了方便。但是，并行的时候，如何才能让token知道它本来应该在哪？

简介

当然，大模型有很多注意力，毕竟Attention is All You Need。但是呢，自注意力，多头注意力，这些又是什么？怎么串在一起的？

前言

也许你一开始就在期待我开始讲什么self-attention。我承认，这已经算是必背科目，甚至算客观题了。

但是，从这个地方开始总归是有点追逐太阳的感觉，越追越累，还追不上。

所以，我们直接从太阳开始出发。

前言

这个库是Hexo的一个部分，所以保留了上面这些title之类的玩意儿。

剩下的就是markdown了，内容就是LLM相关的一些面试问题，以及一些好心面试官给的发展建议，算是错题本吧。

前言

在上一篇文章中，我们讨论了怎么在构建MCP。为了能够实现更复杂的功能，我们尝试将LangGraph引入到MCP中。