資料庫工程師&爬蟲程式設計師(符合需求說明)(部門王經理)

需求說明

一.長期配合/初期平均每日投入時間至少4小時/產出後須及時解決問題 二.每批行業開發3-5萬元+客戶使用時負責維運及程式增修2-5萬元/月 三.請留聯絡方式詳談細節 四.工作概要：按前端及AI需求爬取或彙整FB、IG、GOOGLEMAP、官網、.....之內容，後續負責爬蟲之維運。 五.能力需求 - 核心技能與經驗 1.熟悉Python或其他爬蟲相關程式語言，具備至少2年以上實際爬蟲開發經驗。 2.能閱讀、維護並重構既有爬蟲程式。 3.理解 HTTP Request / Response 機制，能處理登入驗證、Headers、Cookies、反爬機制等問題。 4.能依據現有流程圖為主軸進行程式設計，具備獨立分析與補充細節的能力，參考已開發程式進行優化與功能擴展。 5.熟悉Web Scraping框架與工具，如Scrapy、BeautifulSoup、Selenium或Puppeteer，並能根據需求選擇合適工具。 6.具備長期合作意願，能基於現有程式碼進行維護、調整與功能迭代，確保系統穩定性與持續改進。 程式與開發能力 - 社交媒體爬蟲專長 1. 具備爬取Instagram、Facebook等社交平台貼文、短影音（Reels、Stories等）及相關資訊（如留言、按讚數、分享數）的經驗。 2. 熟悉各大社交媒體平台限制規避技巧，確保資料抓取的穩定性與合法性。 3. 能處理動態網頁（JavaScript渲染）與反爬蟲機制（如CAPTCHA、IP封鎖）的挑戰。 - 資料庫系統設計、優化、與管理 1. 熟悉關聯式資料庫（如MySQL、PostgreSQL）的設計與應用，能設計資料結構與索引，具備針對大規模資料儲存與查詢的優化經驗。 2.熟悉 Linux 環境，具備部署與排程經驗（熟悉 cron、systemd、Docker，具 Kubernetes (k8s) 經驗尤佳）。 3. 能設計高效的資料結構與索引，支援跨行業、多帳號的社交媒體資料存儲與快速檢索。 4. 具備資料清理與正規化能力，確保爬取資料的一致性與可用性。 5.有能力管理資料庫。 - 其他技術要求 1. 熟悉Microsoft Azure雲端服務，具備在Azure環境中部署與擴展爬蟲系統的經驗，熟悉相關工具（如Azure Functions、Azure Blob Storage）。 2. 熟悉容器化技術（如Docker），以支援爬蟲系統的部署與管理。 3. 具備基本的資料分析能力，能將爬取資料進行初步結構化處理，方便後續分析應用。 4.版本控制與監控 • 具備 Git / GitHub 程式版本管理經驗。 • 熟悉 錯誤監控與日誌管理（如 Sentry、ELK，或可自製監控腳本）。 - 軟性技能與其他要求 1. 問題解決與獨立研究：具備優秀的問題解決能力，能獨立研究並解決技術難題，例如應對社交平台反爬蟲機制的變化或資料庫效能瓶頸。 2. 程式碼品質與文件紀錄：熟悉版本控制工具（如Git），撰寫乾淨、可讀的程式碼，並保持詳細的文件紀錄，確保程式碼易於維護與交接。 3. 資料隱私與合規性：深入了解資料隱私與法律規範（如GDPR、平台使用條款），確保爬蟲行為符合法規要求，並能在設計爬蟲系統時考慮倫理與法律約束。 4. 跨部門協作：具備良好的溝通能力，能與資料分析、產品開發及其他部門密切合作，理解業務需求並將其轉化為技術實現。 5. 長期維護與適應性：致力於長期合作，熟悉現有程式碼庫，能快速上手並進行功能調整、錯誤修復及效能優化，適應業務需求的變化。 6. 持續學習與技術更新：對新技術與社交平台API更新的保持敏感，持續學習以適應快速變化的爬蟲環境。 7.能快速理解既有程式邏輯並進行維護與改進。 8.具備良好的溝通能力與獨立解決問題的能力。