- 技术随笔
pyvene:深入模型内部,理解并干预神经网络行为的开源工具
从 Intervention 抽象、IntervenableModel 的执行流程,到 Activation Patching、可训练干预与 ReFT,梳理 pyvene 这套内部表示干预框架能证明什么、不能证明什么,以及它和 NNsight、TransformerLens 之间的分工。
- 技术随笔
ARC 1.0:让 AI Agent 自己决定用哪个模型、想多深、在哪跑
从成功率预测、Token 成本估算、推理强度控制到 Prefer-local,拆解 ARC 1.0 这个 0.8B 决策模型如何把模型路由变成可训练、可评估的决策问题,以及它的真实边界。
- 技术随笔
删掉 0.05% 的权重,就能追上全量微调:Deletion Tuning 与一种只做减法的后训练
从可学习二值掩码、Wanda 初始化与掩码锐化,到 GRPO、SFT、SDFT 上的实测结果,拆解 NeurIPS 2026 论文《The Surprising Effectiveness of Deleting Weights in LLM Post-Training》:为什么把不到 0.05% 的权重置零,可以替代“写入新值”的微调。
- 技术随笔
FreeToken:让消费级电脑跑起 284B MoE,一次把整机当成推理集群的系统设计
从 prefill 的双缓冲流式加载、decode 的 q* 带宽分配策略到语义锚点缓存,拆解 FreeToken 如何在 8GB 笔记本到单张工作站 GPU 上服务前沿 MoE 模型。
- 技术随笔
TransformerLens:打开大模型的黑盒,用 Hook 和因果干预研究 Transformer 内部
从 Hook 系统、Activation Patching、DLA 到 4.0 的 Driver 架构,系统梳理 TransformerLens 这套机制可解释性工具链能证明什么、不能证明什么。
- 技术随笔
Sub2API:把 Claude、OpenAI、Gemini 统一接入,一个开源 AI API 网关的设计与边界
从多账号管理、API Key 分发、账号调度、Token 级计费到协议适配,拆解 Sub2API 这套 Go + Vue 3 的 AI API 网关架构,以及它在合规与稳定性上的真实边界。
- 技术随笔
Train LLM From Scratch:从零开始训练自己的大语言模型
使用原生 PyTorch,从 Tokenizer、Transformer 和预训练出发,逐步理解 SFT、DPO、PPO、GRPO 与大语言模型的完整训练流程。
- 技术随笔
DeepSeek-V4.1-Flash-1017-Uncensored:不重新训练模型,直接修改权重,让 AI 改变回答行为
从闭式权重编辑、MoE 架构、能力评测和部署方式出发,分析如何在不重新训练模型的情况下改变大模型的拒绝行为。
- 技术随笔
Idol:一张图片生成百万级 3D 高斯模型,AI 正在重新定义三维建模
Idol 通过单张图片推断三维结构,最多生成 1,048,576 个 3D Gaussian,为三维资产生成与实时交互提供了新的工作流。
- 技术随笔
Windows 上「保存失败」:文件被占用时原子替换为什么会报错
一个桌面项目里的踩坑记录:只要还有句柄指向目标文件,原子替换就会失败,以及三层修法。