记录思考,验证想法。
模型与架构 · 编程实践 · 数学直觉
共 12 篇学习笔记 · 第 1 / 2 页 · 整理于 2026-11-16
NOTE 01 / 模型
注意力:从相似度到信息聚合
查询 Q 与键 K 的内积决定关注位置,softmax 将分数转成权重,再对 V 加权。缩放因子用于缓解维度增大导致的分数尺度变化。
阅读全文与代码 ↗NOTE 02 / 模型LoRA:用低秩增量适配模型
冻结原始权重 W,仅学习低秩矩阵 B 和 A,使增量为 BA。若 W 为 d×d,新增参数量从 d² 降为 2dr;这依赖 r 远小于 d。
阅读全文与代码 ↗NOTE 03 / 框架Astro Islands:把交互留在局部
页面多数区域只负责内容展示,少量区域需要交互。Islands 架构将这些区域分开,让静态内容不必承担整个应用的客户端运行成本。
阅读全文与代码 ↗NOTE 04 / AI 工程检索实验:先找到证据再组织回答
把问题与文档转为向量后,用相似度筛选候选证据。以下仅演示二维向量的排序,不调用嵌入模型。检索质量与回答质量应分别评估。
阅读全文与代码 ↗NOTE 05 / AI 工程模型路由:从成本预算开始
复杂任务不一定都需要同一条执行路径。一个可解释的起点是明确规则路由:简单分类走轻量路径,复杂分析走完整路径。这个例子不是质量预测模型。
阅读全文与代码 ↗NOTE 06 / AI 工程评估集:让模型修改可以比较
固定输入、预期答案和评分方式,才能比较提示词变更。这里用精确匹配展示最小评估;开放式文本需要更细的评分规则。
阅读全文与代码 ↗