一、簡介
1、名稱:又被稱爲網頁蜘蛛,網絡機器人。
2、解釋:是一種按照一定的規則,自動地抓取萬維網資訊的程序或者腳本。
3、背景:隨着網絡的迅速發展,萬維網成爲大量資訊的載體,如何有效地提取並利用這些資訊成爲一個巨大的挑戰。
二、功能
1、 對抓取目標的描述或定義。
2、對網頁或數據的分析與過濾。
3、對網頁或數據的搜尋策略。
三、分類
1、通用網絡爬蟲。
2、聚焦網絡爬蟲。
3、增量式網絡爬蟲。