[外包接案使用調查]
公告 如何發案 如何接案 幫助中心爬蟲程式
大學專題作品,獲 IETAC 第十八屆資訊教育與科技應用研討會「大數據、人工智慧與物聯網類」第一名。兩人團隊合作,我負責資料蒐集與分析。 資安討論分散在新聞、社群與問答平台,很難看出哪些弱點最常被討論。我做了一套能長時間自動運作的資料流程: ・三來源爬蟲:統一入口抓取 Hacker News、Reddit、Security StackExchange,可指定來源與頁數 ・自動排程:用 Linux systemd timer 每小時執行,資料存進 MongoDB,以唯一索引避免重複資料 ・自動標註:用關鍵字規則把討論預先標上 OWASP Top 10(A01–A10)類別,累積訓練資料 ・文本分類:TF-IDF 搭配 Logistic Regression/SVM 等模型 ・管理後台:Flask 儀表板,可看統計與趨勢圖、手動啟動爬蟲、匯出資料 ・系統串接:各類別統計透過權重同步模組,提供給組員負責的網站資安評分平台 ・部署:以 Docker 打包 這個作品讓我實際處理爬蟲上線後的問題:來源格式不一致、重複資料、長時間執行的穩定性,以及怎麼把原始資料整理成看得懂的結果。 原始碼:GitHub/Zenn9888/OWASPcraw
Zenn