给大模型做知识编辑这件事，为什么能把事实说对，却答不对问题
你有没有想过这样一个场景：你教会一个人一整段话，他能把这段话一字不差地背出来，但你从这段话里随便抽一句单独问他，他却答不上来。这听起来很荒诞，但这正是当下大语言模型知识编辑领域正在发生的事。
从零学习大模型（5）——位置编码：让 AI 读懂 “语序” 的关键技术
在 Transformer 架构中，有一个容易被忽略却至关重要的模块 —— 位置编码（Positional Encoding，PE）。如果说注意力机制让模型能 “理解关联”，前馈神经网络让模型能 “提纯特征”，那么位置编码的作用就是让模型能 “感知顺序”。
旋转位置编码（Rotary Position Embedding, RoPE）
旋转位置编码（Rotary Position Embedding, RoPE）的核心思想是：将位置信息编码为向量空间中的旋转变换，通过旋转矩阵将绝对位置转化为相对距离，从而实现了绝对位置编码与相对位置编码的哲学统一。以下是RoPE工作原理的详细解析：1.
国产超大规模AI预训练模型发布，可实现“用图生文”等任务
澎湃新闻记者 张唯六出奇光动地来,西方海国见旌旗。水心惟有终无底,火内曾无彻上灰。地轴迂回周八极,天球低陷不磨回。明朝沧海成桑田,吾欲吹嘘弄大灰。以上诗句题为《咏智利日全食》，来自人工智能模型“文汇”的手笔。
GVA：给大模型的记忆做一次“断舍离”，只留价值不留钥匙
你有没有想过一个问题：为什么和 ChatGPT 聊天聊得越久，它的反应会越慢？答案藏在一个叫 KV 缓存的东西里面。KV Cache：大模型在生成文字时，需要把之前每个词的"钥匙（Key）"和"内容（Value）"都存下来，方便后面的词来查阅。
大模型如何推理：从分词到答案一秒之内的旅程
一、一秒之内发生了什么你在输入框里敲下一行字，按下回车。一秒钟后，屏幕上出现了答案。这一秒里，模型内部经历了什么？
一文了解预训练语言模型
近年来，在深度学习和大数据的支撑下，自然语言处理技术迅猛发展。而预训练语言模型把自然语言处理带入了一个新的阶段，也得到了工业界的广泛关注。
大模型训练大纲
Transformer架构如何支撑GPT与BERT的差异化能力？MOE模型如何实现稀疏激活与动态分配的巧妙平衡？本文深度拆解大模型训练的7大核心流程与关键组件，从矩阵评估到框架选择，揭示AI研发过程中模型收敛与过拟合的本质差异，并解读MCP协议如何重塑AI与外部系统的连接标准。
大模型的位置编码是干什么用？sin/cos、RoPE、ALiBi 有什么区别？
开场：面试官怎么把"位置编码"问穿 讲讲大模型为什么需要位置编码？sin/cos、RoPE、ALiBi 有什么区别？ 位置编码就是让模型知道每个词在第几个位置，用 sin/cos 算一下加到 token embedding 上就行。 "加到 embedding 上"是怎么"加"？
用Transformer进行图像语义分割，性能超最先进的卷积方法
而与以往基于卷积网络的方法不同，来自法国的一个研究团队另辟蹊径，提出了一种只使用Transformer的语义分割方法。