Robot

W3CPHP
Robot- pająk to program zbierający informacje o strukturze i treści naszej witryny. Analizuje linki do stron i podąża za nimi. Roboty potrafią archiwizować nasze strony.
Roboty indeksujące zbierają różne typu informacje z naszych stron. Roboty stosują się do reguł zapisanych w pliku robots.txt. W pliku może podać ścieżki które ze stron nie powinny być indeksowane lub które z robotów mogą sprawdzać nasze zasoby stron.