クローラー

クローラー

クローラー
インターネット上のページを自動的に巡回し、Webページの情報を収集するプログラムのこと。
検索エンジンのクローラー（ボット、スパイダーとも呼ばれる）は、リンクを辿ってWeb上のページを探索し、その情報を検索エンジンのインデックスに追加する。
また、クローラーがサイトのコンテンツ更新や新規ページを検出し、それらを評価してユーザーの検索クエリに最も関連するページを検索結果として表示する。