Transformer的输入表示与位置编码输入表示的整体流程Transformer模型将原始文本转换为密集向量表示的过程包含两个核心部分：词嵌入（Token Embedding）和位置编码（Positional Encoding）。
Transformer中的特殊标记[PAD] # 填充标记：将不同长度的序列填充到相同长度（批处理必需）[CLS] # 分类标记：通常放在序列开始位置，在分类任务中用于预测[SEP] # 分割标记：标记句子结束或区分不同文本片段[UNK] # 未知标记：表示词汇表中不存在的词[MASK] # 掩码标记：在预训练中用于掩码语言建模任务
词嵌入：将tokens转换为向量嵌入向量的实现原理
嵌入矩阵结构：
维度为[词汇表大小 × 嵌入维度]
例如，词汇表大小为30,000，嵌入维度为512时，矩阵形状为[30000, 512]
词嵌入查找过程：
输入序列经过tokenizer处理后变成token ID序列（其中涉及两个阶段：第一步将输入序列进行分词得到词元（token），第二步在词汇表中查询token对应的ID）
通过查表操作获取每个token ID ...
构建高性能结构化提示词 – LangGPT前言1. 什么是结构化提示词 ?
结构化的思想很普遍，结构化内容也很普遍，日常写作的文章，看到的书籍都在使用标题、子标题、段落、句子等语法结构。结构化 Prompt 的思想通俗点来说就是像写文章一样写 Prompt。
2. 为什么使用结构化提示词？
结构化提示词（明确、分步骤、带参数的指令）是高效利用AI的关键，原因如下：
精准导向：明确需求（如“列3个要点”“用学术语气”），避免AI“跑题”，输出更贴合目标。
减少试错：限定格式（如“表格对比”“分步骤解释”），节省反复调整的时间。
激活模型潜力：AI依赖模式识别，结构化指令（如示例、关键词）能触发训练数据中的高质响应模式。
提升用户思维：设计提示词时，需厘清需求优先级，反向促进逻辑梳理。
一句话总结：结构化提示词像“导航指令”，让AI少猜、多做，让你少改、多得。
3. 结构化提示词的核心优势
维度
一般提示词
结构化提示词
输出质量
随机性强，需反复修改
一次到位，精准匹配需求
沟通成本
高（隐含需求需多次澄清）
低（需求透明化）
适用场景
简单、开放性问 ...
文章探索 RAG(Retrieval Augmented Generation,检索增强生成) 在大语言模型中的实际应用，并详细介绍RAG的原理及相关变体。
前言大语言模型(Large Language Model,LLM)在当今时代展示出了不凡的能力，但是目前也存在诸如幻觉、知识过时等非可视、难以追踪的挑战。RAG技术是一种主流且有效的解决方案，它能从外部知识数据库中获取知识，从而提高回答的准确性和可信度。
RAG的原理RAG的原理正如其名，它通过检索外部知识库来增强模型的生成能力。在RAG中，模型首先会检索到与用户输入相关的知识，然后使用这些知识来生成回答。
我们用一个实例来举例：一个用户向ChatGPT提出一个最近被广泛讨论的新闻问题，但是由于ChatGPT依赖于训练数据，因此缺乏提供最新动态的能力，它大概率会输出一个错误答案或回复自己并不知道这个新闻。这时若赋予ChatGPT知识库，它就可以从知识库中检索到相关的新闻，并生成一个更准确的回答。
RAG 流程图
RAG的发展阶段RAG最初诞生与Transformer架构的兴起相吻合，其重点是通过预训练模型（PTM）纳入额外的知识 ...
简介
NumPy （Numerical Python） 是一个开源 Python 库，广泛用于科学和工程领域。NumPy 库包含多维数组数据结构，例如同构的 N 维 ndarray，以及一个对这些数据结构有效操作的大型函数库。
ndarray 属性ndim 维度import numpy as npimport matplotlib.pyplot as plta = plt.imread('image.jpg')print(a.ndim)# output: 3 表示该数据有三个维度
shape 形状print(a.shape)# output: (549, 549, 3) 三维数据 分别表示宽度 高度 通道数
size 总长度print(a.size)# output: 904203 总数据量 各维数据量相乘
dtype 元素类型print(a.dtype)# output: uint8
itemsize 每个元素所占字节数print(a.itemsize)# output: 4
nbytes 总占用字节数print(a.nbytes)# output: 2 ...
