Web 爬網程式是一個程式,它通過下載頁面並跟蹤頁面連結來自動遍曆 Web。Web 爬網程式的一般用途是下載任何可以通過連結訪問的網站。 此過程稱為網路爬網或蜘蛛。許多網站,特別是搜尋引擎,使用蜘蛛作為提供最新數據的手段。Web 爬網程式主要用於創建所有訪問的頁面的副本,供搜尋引擎以後處理,搜尋引擎將索引下載的頁面以提供快速搜索。爬網程式還可用於自動執行網站上的維護任務,例如檢查連結或驗證 HTML 代碼。此外,爬網程式還可用於從網頁中收集特定類型的資訊,例如收集電子郵件地址(通常針對垃圾郵件)。 Web 爬網程式是一種類型的自動程式或軟體代理。通常,它從要訪問的 URL 清單開始,稱為種子。當爬網程式訪問這些 URL 時,它會標識頁面中的所有超連結,並將其添加到要訪問的 URL 清單中,稱為爬網邊界。根據一組策略,從邊界的 URL 遞歸訪問。
版本歷史記錄
- 版本 3.19 發佈於 2012-01-15
首次公開發佈
軟體細節
- 軟體分類: 系統實用程式 > 自動化工具
- 發佈者: VietSpider
- 軟體性質: 免費
- 價格: N/A
- 版本: 3.19
- 作業系統: windows