生成式 AI

7B 模型 QLoRA 微調上線

【背景】 很多公司想「訓練自己的模型」，但真正卡住的地方通常不是訓練本身。卡住的是兩端：前面的資料準備沒人願意做，後面的 adapter 要怎麼變成一個能被系統呼叫的端點沒人知道。中間那段跑 training loop 反而是最單純的。 【做法】 把一個 7B 參數的開源模型從頭到尾走完： 1. 資料準備 — 格式轉換、品質過濾、訓練/驗證切分。這一步做不好，後面再怎麼調都沒用。 2. QLoRA adapter 訓練 — 用 4-bit 量化把記憶體需求壓下來，讓單張 GPU 就能微調 7B 模型，成本差距是數量級的。 3. 部署上線 — 掛到 Amazon SageMaker 推論端點，變成一個可以被程式呼叫的 API，而不是躺在 notebook 裡的實驗。 【成果】 完整流程在 AWS Community Day Taiwan 開了實作工作坊，現場滿意度 5.0/5.0。 【什麼時候你該微調，什麼時候不用】 老實說：多數情況你不需要微調，RAG 或 prompt engineering 就夠了，而且更便宜更好維護。真的需要微調的是這幾種情況 —— 你要模型穩定輸出特定格式、你有大量領域專屬語料、或你要壓低推論成本把大模型換成小模型。 我接這類案子時會先判斷你屬於哪一種。如果你其實只需要 RAG，我會直接跟你講，不會為了報價高就推薦微調。

使用的技能專長

• SageMaker
• QLoRA