7B 模型 QLoRA 微調上線

【背景】 很多公司想「訓練自己的模型」，但真正卡住的地方通常不是訓練本身。卡住的是兩端：前面的資料準備沒人願意做，後面的 adapter 要怎麼變成一個能被系統呼叫的端點沒人知道。中間那段跑 training loop 反而是最單純的。 【做法】 把一個 7B 參數的開源模型從頭到尾走完： 1. 資料準備 — 格式轉換、品質過濾、訓練/驗證切分。這一步做不好，後面再怎麼調都沒用。 2. QLoRA adapter 訓練 — 用 4-bit 量化把記憶體需求壓下來，讓單張 GPU 就能微調 7B 模型，成本差距是數量級的。 3. 部署上線 — 掛到 Amazon SageMaker 推論端點，變成一個可以被程式呼叫的 API，而不是躺在 notebook 裡的實驗。 【成果】 完整流程在 AWS Community Day Taiwan 開了實作工作坊，現場滿意度 5.0/5.0。 【什麼時候你該微調，什麼時候不用】 老實說：多數情況你不需要微調，RAG 或 prompt engineering 就夠了，而且更便宜更好維護。真的需要微調的是這幾種情況 —— 你要模型穩定輸出特定格式、你有大量領域專屬語料、或你要壓低推論成本把大模型換成小模型。 我接這類案子時會先判斷你屬於哪一種。如果你其實只需要 RAG，我會直接跟你講，不會為了報價高就推薦微調。

Gogoro 客服 RAG 機器人

【背景】 機車車主問的問題其實就那幾百種，但每個人問法都不一樣。傳統關鍵字 FAQ 幾乎攔不到，客服人力被大量重複問題吃掉。 【做法】 用 LangChain + Amazon Bedrock 建 RAG 系統，向量資料庫用 OpenSearch，把 Gogoro 的產品手冊與客服知識庫做語意檢索。 技術重點在兩個地方： 1. 文件切分與檢索品質 — chunking 策略與 embedding 模型選型會直接決定答對率，這部分做了多輪調整與評估。 2. 問題相關性 Guardrail — 這是評審最有反應的設計。與機車無關的問題會在進到模型之前就被攔下來，機器人會乾脆地說「這我不知道」，而不是自信地編一個錯答案。客服機器人最大的風險從來不是答不出來，是答錯還講得很篤定。 整套以 AWS SAM 做 Serverless 部署，無流量時不燒錢，尖峰自動擴展。 【成果】 2024 台灣生成式 AI 應用黑客松「第二名」。 【可複製到你的場景】 同一套架構可以換成你的產品手冊、內部規章、法規文件。我交付時會附上檢索品質評估報告（context relevance / faithfulness），讓你知道這個知識庫到底準不準，而不是只有「測起來還行」。

ASU 多代理學習助理

【背景】 亞利桑那州立大學 Next Lab 想做課程學習助理。真正的難題不是技術，是「學生根本不會為了問一個問題去登入另一個系統」。所以我們把它做進 WhatsApp —— 學生本來就每天在用的地方。 【做法】 用 LangGraph 建多代理架構，不同類型的問題（課程內容、作業說明、進度查詢）路由給不同的專職 agent，各自掛上對應的課程教材與工具。 兩個關鍵工程決策： 1. Amazon Bedrock Prompt Caching — 課程教材的 context 每次對話都要帶，不快取的話延遲與 token 成本都會失控。加了快取之後兩者同時下降。 2. Bedrock RAG Evaluation — 每次檢索都跑 context relevance 與 faithfulness 評分。這是我最堅持的一塊：沒有量化指標的 RAG，改版只是在賭運氣。有了分數，才知道調 chunk size 到底是變好還是變壞。 部署在 AWS ECS Fargate，另外接 LangSmith 做 LLM tracing 與監控。 【成果】 目前正在服務 ASU 真實學生。檢索品質有持續的量測回饋迴圈，教材增加也不會盲目退化。 【可複製到你的場景】 如果你想做的是「員工／客戶在 LINE 或 WhatsApp 直接問，後面接公司知識庫」，這就是同一套東西。多代理的價值在於：問題類型變多時不用把所有邏輯塞進一個巨大的 prompt。

AWS 資料分析工作坊

【背景】許多學生與初階工程師知道 AWS 有一堆資料服務，卻不知道實務上怎麼串起來。我以 AWS Educate 雲端大使的身分，設計一場人人都有感的資料分析實作課。 【我做了什麼】以 Taylor Swift 的音樂資料為題材，設計完整教材與實作流程：資料放進 S3、用 Glue 建 Data Catalog 與 ETL、以 Athena 下 SQL 查詢、最後在 QuickSight 做視覺化儀表板，並準備逐步講義讓零基礎學員也能自己跑完一次。 【成果】累計 80 位以上學員完成課程，課後滿意度 4.8 / 5，教材開源釋出供社群自由使用。 【技術】AWS S3、Glue、Athena、QuickSight、SQL。

智慧設備巡檢系統

【背景】廠區設備仍靠人工定期巡檢，異常常常等到停機才被發現；全部影像上雲判讀又太貴、延遲也高。這是 2025 台灣生成式 AI 黑客松的參賽題目。 【我做了什麼】設計並實作一套邊緣 + 雲端的混合架構 MVP：工業攝影機影像先在邊緣端跑 YOLOv11 做即時異常偵測，只有可疑畫面才上傳雲端，由 AWS Bedrock 生成可讀的異常描述與處置建議；Lambda 負責事件流與告警，整套基礎設施以 Terraform 與 Docker 定義，可重複部署。 【成果】完成可運作的 MVP 與架構驗證，展示邊緣即時偵測搭配雲端生成式判讀如何同時兼顧延遲與成本。 【技術】YOLOv11、AWS Bedrock、Lambda、Terraform、Docker、Edge AI。

SmartCard 刷卡回饋 App

【背景】台灣與美國的信用卡回饋規則又多又雜，同一筆消費用不同卡片，回饋可能差好幾倍，但沒有人記得住每張卡的通路與檔期規則。 【我做了什麼】獨立開發一款 iOS 原生 App：以 SwiftUI + MVVM 架構打造卡片資料庫與回饋試算引擎，輸入通路與金額即推薦最佳刷卡；整合 Vision OCR 掃描收據自動記帳，並用 WidgetKit 做桌面小工具，讓使用者在結帳前一秒就能查到答案；後端資料以 Firebase 同步。 【成果】收錄 60+ 張信用卡的回饋規則，支援收據 OCR 記帳與即時最佳卡推薦，專案已開源於 GitHub。 【技術】Swift、SwiftUI、MVVM、WidgetKit、Vision OCR、Firebase。