語音對話服務專案 - 分佈式系統架構師 / 後端工程師

需求說明

目前正在開發大規模客語語音對話服務，需要應付峰值 **100 用戶請求**。 服務流程： 使用者音訊輸入 → ASR → LLM → TTS → 回應 技術棧： - ASR: Faster-Whisper-large-v2 - LLM: Qwen3-14B-4bit - TTS: F5 TTS 效能要求：首句響應延遲 < 6 秒（含所有環節） 客語模型： asr: https://huggingface.co/formospeech/whisper-large-v2-taiwanese-hakka-v1 tts: https://huggingface.co/spaces/formospeech/taiwanese-hakka-f5-tts/tree/main 目前狀況： - RunPod Serverless 測試：單向延遲 1.5s（不符需求） - 考慮方案：Modal、GCP - 架構目標：自有主機優先，雲端 Serverless 作為備援/擴展 預期架構： ┌─> 自有主機（優先路由） 中控調度系統 ─┤ └─> 雲端 Serverless（彈性擴展） 工作內容： 1. 優化現有 ASR/翻譯/LLM/TTS 服務以應對高並發 2. 設計並實作智能分流系統（負載均衡、故障切換） 3. 效能測試與調優 4. 延遲監控與優化（目標 < 6s 端到端） 技能需求： - 分佈式系統設計經驗 - 高並發服務優化經驗 - 熟悉 GPU 推理服務部署 - 雲端架構經驗 有興趣者歡迎聯繫： 請規劃初步解決方案並證明您符合要求