你好，我是 lhz
这里记录我的 AI 技术 笔记

本站是我个人的技术学习记录站点，内容包括大模型相关的概念整理、读书笔记和动手实践。 所有文字均为个人理解与整理，不代表任何机构，也不提供任何商业服务。

Token 与上下文窗口：模型是怎么「读」文字的

模型看到的不是字符，而是被切分出来的 token。理解分词方式、上下文窗口和计费口径， 很多「为什么它记不住上一段」「为什么长文变贵」的疑惑就自然有答案了。

提示词写得好的几条朴素原则

把要求说具体、给出例子、限定输出格式、把复杂任务拆成步骤——这些不依赖任何技巧词， 却能稳定提升结果的可用性。反过来说，含糊的一句「帮我写个方案」几乎必然得到含糊的回答。

RAG 还是微调：一道常见的选择题

RAG 的做法是把模型接到外部知识库上，回答时先检索再生成，适合知识经常变动、需要出处的场景； 微调则是在预训练模型基础上继续训练，让模型更贴合某一类任务或表达风格。 简单说：缺「知识」优先检索，缺「习惯」再考虑微调，两者也可以叠加使用。

工具调用：模型是怎么「用」外部能力的

Function Calling 并不是模型真的执行了函数，而是它按约定输出「调用哪个函数、带什么参数」， 由程序去执行再把结果回填给模型。多轮「思考—调用—观察」串起来，就是通常所说的 Agent。

读《Attention Is All You Need》：一篇改变方向的论文

抛开注意力机制的全部细节，最值得记住的是它用并行计算替代了循环结构， 让大规模训练成为可能。技术史上有时候「工程上跑得动」比「理论上更优雅」更重要。

发现错漏或想交流，欢迎来信指出，我会尽量回复。

笔记会持续更新，感谢你的到访。