
把一个 7B 推理模型微调到仓储调度场景:一次完整的自学实践与复盘
作者背景:后端开发,业余自学大模型微调。本文记录一个个人练手项目(RoboThink)从选型、训练、量化到本地部署的完整过程,重点放在我踩过的坑、事后才看明白的问题,以及还没验证的假设。项目结果并不漂亮,但过程里的东西对我很有价值,所以整理出来。 0. 先说结论 1. 用 LoRA 在单卡 A100 上微调 7B 模型,工程上的门槛比想象中低:1,296 条

作者背景:后端开发,业余自学大模型微调。本文记录一个个人练手项目(RoboThink)从选型、训练、量化到本地部署的完整过程,重点放在我踩过的坑、事后才看明白的问题,以及还没验证的假设。项目结果并不漂亮,但过程里的东西对我很有价值,所以整理出来。 0. 先说结论 1. 用 LoRA 在单卡 A100 上微调 7B 模型,工程上的门槛比想象中低:1,296 条

之前我写过一篇关于 Firebase Genkit for Go 的入门文章,聊了聊 Google 专为 Go 开发者推出的 AI 框架基础。但纸上得来终觉浅,官方写写 Hello World 和真正做一个跑在后台、自己每天高频使用的私人管家系统,完全是两码事。 这篇笔记是我基于 Go 语言、Google Gemini Live 原生多模态协议、Genkit

在做实时数据推送的时候,我遇到了一个让我很纠结的问题: 用 WebSocket 吧,明明可以跑,但

> **前言**:这篇文章不要求你有多深的技术背景。如果你知道"Go 语言是什么",能看懂一点点代码

# 你有没有想过,当你在公司知识库里问“今年的年假政策是什么”,AI 为什么能准确找到答案? 它

作为一名天天和代码打交道的程序员,最近我发现网站的流量生态发生了一些微妙的变化。 以前我们做个人博

## 写在前面 大语言模型的能力已经不用多说了,但「能聊」和「能通话」是两回事。 在今年之前,要

做跨国业务或海外分布式系统时,跨洋网络的物理延迟与带宽成本向来是个绕不开的难题。 我们的一套跨区域资源调度系统,核心控制服务与主数据库部署在东京机房,同时需要服务国内以及海外多个节点的客户端请求。 系统里有一个非常高频的核心 HTTP 接口:客户端(桌面端或自动化 Agent)每隔一段时间会带着凭证(Token)请求后端的 API,拉取当前可用服务器的接入清

用户对着麦克风说了一句话:"明天早上八点提醒我开会。" 然后 Gemini 说"好的",对话继续。 第二天早上八点整,扬声器里真的有声音响起来,说"该开会了"。 这中间到底发生了什么? 我在做自己的私人 AI 助手时,实现了这套提醒机制。整条链路从麦克风一路跑到扬声器,中间经过了语音识别、工具调用、数据库、Redis 事件、WebSocket、再回到 Gem

面向读者:有一定 Go 基础的后端工程师,想上手大模型应用开发但不知从何入手 阅读时间:约 20 分钟 官方仓库: 我最近在一个 Go 后端项目里接入了大模型,踩了不少坑才摸索出一套顺手的方式,这篇文章把整个过程和思路梳理出来,分享给同样在折腾这件事的朋友。 目录 1. 2. 3. 4. 5. 6. 7. 8. 9. 一、写在前面:为什么 Go 开发者接入
AI