WWW内をリンクをたどりながら自動的に巡回し、 データベース・インデックスを 作成するプログラム。「スパイダー」「ロボット」とも呼ばれている。 主にはyahoo・Googleといった検索エンジンが 使っていることが多い。 検索ロボットによってはhtmlのほかに、word、excel、PDFファイルなども 回収されるものもあるので、データのアクセス権など、取り扱いが重要となる。