# 初步了解 卷积神经网络 和 Transformer 架构的生成式AI 逻辑和概念 **URL:** \ **Category:** IT\ **Tags:** blog, transformer, 卷积神经网络, cnn, ai\ **Created:** [2026 年2 月 8 日 11:51 UTC](https://www.sunai.net/t/topic/1154 "2026-02-08T11:51:11Z")\ **Posts on this page:** 1\ **Page:** 1
作者： ![wood](https://www.sunai.net/user_avatar/www.sunai.net/wood/32/1032_2.png) [@wood](https://www.sunai.net/u/wood)\ 发布日期： [2026 年2 月 8 日 11:51 UTC](https://www.sunai.net/t/topic/1154/1 "2026-02-08T11:51:11Z")
> 算是笔记 ## 基础概念 ### 卷积神经网络 (CNN)：AI 的“眼睛” 👀 **卷积神经网络 (Convolutional Neural Networks, CNN)** 是让计算机拥有“视觉”的核心技术。它们最擅长处理像图像这样的网格数据。 - **它的工作原理：** 想象一下，你手里拿着一个小方框（我们称为“卷积核”或“过滤器”），在一张大照片上滑动。每滑动到一个位置，你就只关注这个方框里的内容，寻找特定的特征，比如边缘、线条或颜色斑点。 - **层层递进：** CNN 有很多层。第一层可能只识别简单的线条；第二层将线条组合成形状（如圆圈、方形）；更深的层则能识别复杂的物体（如猫的耳朵、汽车的轮子）。 ![convolutional neural network architecture的图片](https://i.czl.net/r2/original/2X/d/d0ec4a3f817738b5c479a1b116a8ebe1d6fcd5dd.jpeg) ### 生成式 AI (Generative AI)：AI 的“创造力” 🎨 **生成式 AI** 不仅仅是分析现有的数据，它的目标是 **创造** 全新的数据。 - **它的工作原理：** 这种 AI 模型阅读了海量的书籍、观看了无数的画作，学习了这些数据背后的“规律”或“概率分布”。一旦学会了这些规律，它就可以根据你的提示（Prompt），预测并生成新的文字、图像甚至视频。 - **不仅仅是复制：** 它不是在数据库里搜索现成的答案，而是像人类艺术家一样，基于它学到的知识，一笔一画（或一个字一个字）地构建出从未存在过的新内容。 ## 两者的区别和结合问题 ### 核心区别：怎么处理信息？ - **CNN (卷积神经网络) —— 专注“局部”** 🔍 - **生成式大模型 (基于 Transformer) —— 专注“全局关联”** 🧠 ### 多模态：它们如何结合？ (Topic 3) 现在的多模态模型（能看图说话的 AI），往往就是把这两者结合起来的产物。 - **第一步 (眼睛)：** AI 可能会用一个 **CNN** （或者类似的视觉编码器）来“看”图片，提取出关键的视觉特征（线条、形状、物体）。 - **第二步 (大脑)：** 这些特征被转化成数据，喂给 **Transformer** （大语言模型）。模型利用这些视觉信息，结合它的语言能力，生成一句描述：“这只猫坐在沙发上”。 ## Transformer 架构的基础信息和自身意义 Transformer 是 Google 在 2017 年提出的一种深度学习模型。在此之前，AI 处理语言像是在“读流水账”，读到后面容易忘掉前面。而 **Transformer 能够同时“看到”整个句子** ，并理解每个词与其他所有词之间的关系，无论它们相隔多远。 ## Transformer 架构的机制和架构 ### 核心机制：自注意力 (Self-Attention) 在句子“这只 **动物** 没有穿过街道，因为它太 **累** 了”中： - 当模型读到 **“它”** 这个词时，自注意力机制会计算它与句中所有其他词的关联度。 - 因为它看到了后面的 **“累”** （通常形容生物），它会给 **“动物”** 打一个极高的分数，而给“街道”打低分。 - **这就叫“理解上下文”** ：模型不是死板地翻译，而是通过这种数学上的“打分”，搞清楚了词与词之间真正的指代关系。 ### 整体结构：编码器与解码器 (Encoder & Decoder) 🏗 Transformer 最初是为了做 **翻译** 任务设计的（比如把英语翻译成法语）。它的结构就像一个 **超级翻译官** ，分为两半： - **编码器 (Encoder) —— “负责阅读理解的”** 📖 - **解码器 (Decoder) —— “负责开口生成的”** ✍ ## Transformer 架构的数据处理流程 我们将整个过程拆解为三个核心阶段： **数据输入（把字变成数）** -\> **模型内部处理（数学计算）** -\> **训练循环（修正误差）** 。 这是每一秒钟都在 GPU 里发生的真实过程： ### 第一阶段：数据输入 —— 从文字到“向量” 🔢 计算机不认识字，它只认识数字。所以第一步是 **翻译** 。 1. **Tokenization (分词)：** 2. **Embedding (嵌入) —— 这一步最关键！** 💎 3. **Positional Encoding (位置编码)：** * * * ### 第二阶段：模型内部 —— 著名的 Q, K, V 矩阵运算 🧠 数据现在是一堆矩阵（数字表格）了，它们进入了 Transformer 的核心组件：**自注意力层 (Self-Attention)**。 这里发生了什么？模型在做一次巨大的“数据库查询”。对于句子里的每个词，它都会生成三个向量： - **Query (Q - 查询)：** 我在找什么？ - **Key (K - 键)：** 我有什么特征？（像图书馆书脊上的标签） - **Value (V - 值)：** 我的实际内容是什么？ **数据流动过程：** 1. **计算相关性 (Attention Score)：** 2. **加权求和：** * * * ### 第三阶段：训练循环 —— 它是怎么学会的？ (Backpropagation) 📉 这是你最关心的部分： **训练的每一步是怎么做的？** 这是一个不断的\*\*“猜谜 -\> 被打手板 -\> 改正”\*\*的过程。 **场景：** 我们要把一句话喂给模型训练 —— “天空是[蓝]色的”。 我们遮住“蓝”字，让模型去猜。 **Step 1: 前向传播 (Forward Pass) —— 瞎猜** - 数据经过亿万次矩阵乘法（上面提到的 QKV 计算），最后模型输出一个概率列表。 - **模型输出：** 它可能给“绿”字 60% 的概率，给“蓝”字 10% 的概率。 - **实际答案：** “蓝”应该是 100%。 **Step 2: 计算损失 (Loss Calculation) —— 算账** - 我们要用一个数学公式（通常是 **交叉熵损失函数 Cross-Entropy Loss** ）来衡量模型错得有多离谱。 - 因为模型猜“绿”但也猜了“蓝”，误差可能是一个数字，比如 `Loss = 2.5`。如果它直接猜中“蓝”，`Loss` 就会接近 `0`。 **Step 3: 反向传播 (Backward Pass) —— 找锅** 🔥 - 这是 AI 训练最神奇的一步。 - 既然算出了 `Loss = 2.5`，我们需要知道： **是谁导致了在这个错误？** - 计算机通过 **微积分（链式法则）** ，从输出端往回推导，算出每一层、每一个参数（权重）对这个错误“贡献”了多少。这就是 **梯度（Gradient）** 。 - _通俗说：_ 系统发现，“哦，是第 3 层的那个矩阵里的参数太大了，导致它偏向‘绿色’。” **Step 4: 参数更新 (Optimizer Step) —— 改正** - 既然知道哪个参数错了，**优化器 (Optimizer)**（比如 Adam）就会稍微修改那个参数。 - _操作：_ 把它变小一点点。 - **目标：** 下次再看到“天空是...”的时候，猜“蓝”的概率会稍微高一点点。 ### 总结：数据到底经历了什么？ 1. **输入：** 文本 -\> 查表变成 -\> **向量** 。 2. **计算：** 向量在几百层网络中流动，不断混合上下文信息（QKV 运算）。 3. **输出：** 变成一个概率分布（字典里几万个词，每个词出现的概率）。 4. **纠错：** 算出误差 -\> 算出梯度 -\> **修改所有参数** 。 这个过程，在训练像 GPT-4 这样的大模型时，会重复 **数万亿次** 。 ## Transformer 架构数据处理流程中的6个疑惑 ### 1. 详解 "Embedding"：把字典变成“地图” 🗺 **Embedding (嵌入)** 的核心目标是：**把离散的 ID (整数) 变成连续的向量 (坐标)。** - **为什么不能直接用 ID？** - **Embedding 是怎么做的？** - **结果是什么？** * * * ### 2. Q、K、V 的具体逻辑：向量点积 (Dot Product) 📐 你问到了点子上： **Q 乘以 K 到底是什么逻辑？** 这里的“乘法”特指**向量点积 (Dot Product)**。 - **数学公式：** \text{Score} = Q \cdot K^T - **物理意义：** 点积是衡量两个向量 **相似度** （方向是否一致）的最佳工具。 - **具体流程：** **总结：** Q \times K 本质上是在做 **相似度匹配** ，决定了模型该“关注”哪里。 * * * ### 3. Forward Pass：是基于前几个 Token 猜下一个吗？🔮 **是的，对于 GPT (Decoder-only) 这类生成式模型，绝对是这样。** - **自回归 (Autoregressive)：** - **训练时的“作弊” (Teacher Forcing)：** * * * ### 4. 交叉熵损失 (Cross-Entropy Loss)：分数是怎么算出来的？📉 这是衡量“猜得有多准”的标尺。 - **场景：** 模型预测下一个词是“猫”。 - **计算公式：** - **计算过程：** - **直观理解：** **Loss 的值就是这样算出来的：概率越低，惩罚（Loss）越大。** * * * ### 5. 链式法则与层数：在这个高楼里传话 🏢 - **层数 (Layers) 的概念：** - **链式法则 (Chain Rule) 在这里的应用：** * * * ### 6. 自己遮，自己算：自监督学习 (Self-Supervised Learning) 🔁 **你的理解完全正确！** 这正是大模型能够通过阅读海量数据变聪明的核心原因。 - **无需人工标注：** - **流程：**