爬蟲程式

智慧化資安爬蟲與 OWASP 分類

大學專題作品,獲 IETAC 第十八屆資訊教育與科技應用研討會「大數據、人工智慧與物聯網類」第一名。兩人團隊合作,我負責資料蒐集與分析。 資安討論分散在新聞、社群與問答平台,很難看出哪些弱點最常被討論。我做了一套能長時間自動運作的資料流程: ・三來源爬蟲:統一入口抓取 Hacker News、Reddit、Security StackExchange,可指定來源與頁數 ・自動排程:用 Linux systemd timer 每小時執行,資料存進 MongoDB,以唯一索引避免重複資料 ・自動標註:用關鍵字規則把討論預先標上 OWASP Top 10(A01–A10)類別,累積訓練資料 ・文本分類:TF-IDF 搭配 Logistic Regression/SVM 等模型 ・管理後台:Flask 儀表板,可看統計與趨勢圖、手動啟動爬蟲、匯出資料 ・系統串接:各類別統計透過權重同步模組,提供給組員負責的網站資安評分平台 ・部署:以 Docker 打包 這個作品讓我實際處理爬蟲上線後的問題:來源格式不一致、重複資料、長時間執行的穩定性,以及怎麼把原始資料整理成看得懂的結果。 原始碼:GitHub/Zenn9888/OWASPcraw

使用的技能專長

  • Docker
  • Python
  • 爬蟲
  • Scikit-Learn
  • Flask
  • MongoDB
4
・2026/11/19 更新

更多來自 Zenn 的作品

Zenn

17分鐘前上線平均 -- 回覆