Простий та швидкий спосіб перевірити кількість проіндексованих сторінок в Яндекс та Google – це використовувати оператор site:[домен сайту] (у квадратних дужках потрібно вказати свій домен). Найправильнішим і найточнішим варіантом буде вивчення звітів Вебмайстра Яндекс і Google Search Console.
Щоб перевірити кількість сторінок в індексі Google використовується команда «site:» для пошуку. Перевірити кількість сторінок в індексі Яндекс можна за допомогою оператора "host:", ввівши цю команду в його пошуковий рядок у комбінації з адресою веб-ресурсу, дані за яким необхідно визначити.
Веб-спайдер заповзає на один сайт, індексує всі доступні там сторінки, переповзає на наступний, індексує його, і продовжує рухатися у тому напрямі, куди його направить ланцюжок із розміщених у мережі посилань. Так і формується всемогутній індекс. Навіщо забороняти індексацію сторінок подяки у пошукових системах?