爬蟲程式設計師(官網、FB、GOOGLEMAP、IG、......)

需求說明

一、爬蟲程式設計師能力需求 - 核心技能與經驗 1.熟悉Python或其他爬蟲相關程式語言，具備至少1年以上實際爬蟲開發經驗。 2.能依據現有流程圖為主軸進行程式設計，具備獨立分析與補充細節的能力，參考已開發程式進行優化與功能擴展。 3.熟悉Web Scraping框架與工具，如Scrapy、BeautifulSoup、Selenium或Puppeteer，並能根據需求選擇合適工具。 4.具備長期合作意願，能基於現有程式碼進行維護、調整與功能迭代，確保系統穩定性與持續改進。 - 社交媒體爬蟲專長 1. 具備爬取Instagram、Facebook等社交平台貼文、短影音（Reels、Stories等）及相關資訊（如留言、按讚數、分享數）的經驗。 2. 熟悉各大社交媒體平台限制規避技巧，確保資料抓取的穩定性與合法性。 3. 能處理動態網頁（JavaScript渲染）與反爬蟲機制（如CAPTCHA、IP封鎖）的挑戰。 - 資料庫系統設計與優化 1. 熟悉關聯式資料庫（如MySQL、PostgreSQL）的設計與應用，具備針對大規模資料儲存與查詢的優化經驗。 2. 能設計高效的資料結構與索引，支援跨行業、多帳號的社交媒體資料存儲與快速檢索。 3. 具備資料清理與正規化能力，確保爬取資料的一致性與可用性。 - 其他技術要求 1. 熟悉Microsoft Azure雲端服務，具備在Azure環境中部署與擴展爬蟲系統的經驗，熟悉相關工具（如Azure Functions、Azure Blob Storage）。 2. 熟悉容器化技術（如Docker），以支援爬蟲系統的部署與管理。 3. 具備基本的資料分析能力，能將爬取資料進行初步結構化處理，方便後續分析應用。 - 軟性技能與其他要求 1. 問題解決與獨立研究：具備優秀的問題解決能力，能獨立研究並解決技術難題，例如應對社交平台反爬蟲機制的變化或資料庫效能瓶頸。 2. 程式碼品質與文件紀錄：熟悉版本控制工具（如Git），撰寫乾淨、可讀的程式碼，並保持詳細的文件紀錄，確保程式碼易於維護與交接。 3. 資料隱私與合規性：深入了解資料隱私與法律規範（如GDPR、平台使用條款），確保爬蟲行為符合法規要求，並能在設計爬蟲系統時考慮倫理與法律約束。 4. 跨部門協作：具備良好的溝通能力，能與資料分析、產品開發及其他部門密切合作，理解業務需求並將其轉化為技術實現。 5. 長期維護與適應性：致力於長期合作，熟悉現有程式碼庫，能快速上手並進行功能調整、錯誤修復及效能優化，適應業務需求的變化。 6. 持續學習與技術更新：對新技術與社交平台API更新的保持敏感，持續學習以適應快速變化的爬蟲環境。 二、依批次完成付費