Съдържание
Интернет търсещите като Google, Yahoo и Bing намират информация, използвайки връзки и Sitemap за други уебсайтове. Тези търсачки могат да намерят някои от най-неясните данни и да ги включат във вашия индекс и този вид технология за търсене има предимства и недостатъци за потребителите.
Вътрешни мрежови страници
Вътрешните мрежови страници са страници на уебсайтове, които се нуждаят от много кликвания, за да се вижда от потребителя. Тези страници могат да бъдат продукти, съдържание или база данни за търсене, които търсачките обикновено не могат да проследяват. Предимството на този тип технология, която предотвратява обхождането на търсещите машини, е, че собствениците на уебсайтове могат да имат продукти, покупки, информация и други важни връзки, включени в индекса на търсачката. Това дава повече видимост в интернет на собственика на уебсайта.
Лична информация
Един недостатък на търсачката, която обхожда, е индексирането на лична информация, независимо от поверителността. Информацията като номера за сигурност, финансовите данни или географските местоположения може да бъде индексирана, дори ако е публикувана на личен уебсайт. Търсачите предоставиха на потребителите възможност да блокират някои индексни данни, като използват файл, наречен „robots.txt“. Търсачките като Google например позволяват на потребителите да премахват URL адресите, след като собственикът на сайта е премахнал обидна информация, която се изтрива от индекса.
автоматизация
Собствениците на уебсайтове могат да индексират страниците си, като оставят някои връзки на друг уебсайт или дори на техния собствен сайт. Тази практика се нарича "обратна връзка". Уебсайт, който използва тази функция, автоматично се проследява от търсачките, които след това могат да картографират и индексират уебсайт. Това облекчава положението на собствениците на уебсайтове, тъй като не е необходимо да подават име на домейн към търсачките. Автоматизацията на индексите улеснява търсенето от интернет читателите.
