開發人員推出了AI代理ScrapeClaw來創建Python爬蟲

開發人員發佈了 ScrapeClaw — 一個專門的 AI 代理，旨在自動進行單頁面應用程序（SPA）的逆向工程。該工具可以生成可執行的 Python 代碼，無需使用重型瀏覽器依賴項。

系統負責完成解析器的整個準備周期：從檢測隱藏的 API 端點 到處理客戶端加密。與通過瀏覽器模擬的傳統解決方案不同，代理直接與網絡請求交互，從而可以在數據收集中大大降低資源消耗。

ScrapeClaw 的功能包括自動生成數據導出邏輯和繞過防護機制，後者通常會阻止標準的自動化工具。該項目面向需要在動態內容上具有高性能的開發人員，在這種情況下，傳統的解析方法無效或過度。

工具以 GitHub 上的開源存儲庫形式提供。使用 API 的直接調用而不是渲染 DOM 樹允許爬蟲以 5-10 倍 的速度運行，超過基於 Selenium 或 Playwright 的標準解決方案，同时保持在目標網站結構更改時的穩定性。

發佈填補了在為複雜的 SPA 創建解析器時手動分析網絡流量的需求。自動化查找 API 密鑰和請求參數的過程可以將開發時間從幾個小時縮短到幾分鐘，允許將生成的腳本集成到任何數據處理管道中。