Безкоштовний генератор robots.txt: як створити і перевірити файл без помилок

Безкоштовний генератор robots.txt: як створити і перевірити файл без помилок

Генератор robots.txt збирає готовий файл із правилами для пошукових роботів: хто може сканувати сайт, а які розділи треба оминати. Ви вибираєте налаштування, копіюєте результат у кореневу папку сайту (/robots.txt) і перевіряєте його валідатором. Усе займає кілька хвилин. Далі розберемо, що саме потрапляє у файл, де тут пастки і чому один зайвий символ може вимкнути сайт з видачі.

А ще у мене зібрано безкоштовні онлайн-інструменти для щоденних завдань, якщо після картинок доведеться щось конвертувати, перевірити чи підрахувати.

Що таке robots.txt і навіщо він сайту

Це звичайний текстовий файл, який лежить у корені сайту. Для www.example.com він має відкриватися за адресою www.example.com/robots.txt. Пошукові роботи заглядають у нього перед скануванням і читають правила: сюди можна, сюди ні.

Є нюанс, який псує життя багатьом. За документацією Google, файл потрібен переважно щоб не перевантажувати сайт запитами від краулерів, а не щоб приховати сторінку від пошуку. Якщо правил нема, усе дозволено за замовчуванням.

Тобто robots.txt керує скануванням. Індексацією він не керує. Про різницю поговоримо нижче, бо вона дорого коштує.

Як працює генератор robots.txt

Онлайн-генератор робить за вас найнудніше: слідкує за синтаксисом. Ви вказуєте, для яких ботів діє правило, які шляхи закрити чи відкрити, додаєте адресу sitemap. На виході отримуєте текст, який лишається вставити у файл.

Для чого це потрібно, якщо файл пишеться в Блокноті? Тому що помилки там дрібні й підступні. Зайвий слеш, неправильний регістр у шляху, правило не в тій групі. Валідатор для того й існує, щоб зловити це до публікації, а не після того, як просяде трафік.

Збережіть файл у кодуванні UTF-8 і назвіть його саме robots.txt, маленькими літерами. Google попереджає, що символи поза UTF-8 можуть бути проігноровані, і правила тоді просто не спрацюють.

Із чого складається robots.txt: директиви простими словами

Google підтримує чотири поля. Це user-agent, allow, disallow і sitemap. Усе інше, зокрема crawl-delay, Googlebot ігнорує.

ДирективаЩо робитьПриклад
User-agentВказує, до якого бота належить група правил. * означає всіхUser-agent: Googlebot
DisallowЗабороняє сканувати шляхDisallow: /admin/
AllowДозволяє шлях, зазвичай як виняток із ширшої заборониAllow: /admin/help/
SitemapПовна адреса XML-карти сайтуSitemap: https://example.com/sitemap.xml
Crawl-delayПауза між запитами. Google не підтримує, Bing підтримуєCrawl-delay: 5

Кілька правил, які варто запам'ятати.

Назви полів не залежать від регістру, а ось шляхи залежать. Disallow: /file.asp закриє /file.asp, але не /FILE.asp. Усе після символу # вважається коментарем. У шляхах можна користуватися зірочкою * (будь-яка послідовність символів) і знаком $ (кінець адреси). Так, Disallow: /*.pdf$ закриє всі PDF.

Для кожного бота Google бере лише одну, найточніше підібрану групу правил. Групи не склеюються. Якщо ви створили окремий блок для Googlebot, то правила з блоку User-agent: * для нього вже не діють, їх доведеться продублювати.

Коли правила Allow і Disallow конфліктують, перемагає специфічніше, тобто те, де шлях довший. Якщо ж вони однакові за специфічністю, Google обирає менш обмежувальне.

Приклади robots.txt для різних сайтів

Мінімальний варіант для будь-якого сайту, де нічого не треба ховати:

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Порожній Disallow означає, що забороняти нема чого.

Інтернет-магазин, де кошик і внутрішній пошук не мають сенсу для видачі:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /search

Sitemap: https://example.com/sitemap.xml

Зверніть увагу, що /search без слеша закриє все, що починається з цих символів, тобто і /search?q=…, і /search-tips. Якщо це не те, що ви хотіли, ставте слеш або уточнюйте шлях.

WordPress. Типовий варіант, який зустрічається на багатьох сайтах, закриває адмінку, але лишає доступним файл, потрібний для роботи частини функцій:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

Адресу карти сайту підставте свою, вона залежить від плагінів і налаштувань.

Robots.txt не ховає сторінки з Google

Головна помилка новачків. Закрили сторінку в robots.txt, вирішили, що вона зникне з пошуку. Не зникне. Google прямо пише, що це не механізм для виключення сторінки з видачі. Адреса може потрапити в індекс, якщо на неї ведуть посилання з інших місць, просто без опису.

Щоб сторінки справді не було в пошуку, потрібен noindex (мета-тег або HTTP-заголовок) або парольний захист.

А тепер найгірше. Якщо ви закриваєте сторінку в robots.txt і одночасно ставите на ній noindex, робот не зможе її відкрити, а значить, не побачить і самого noindex. Google в документації це підтверджує. У Search Console для таких випадків є статус «Indexed, though blocked by robots.txt». Лікування просте: зніміть блокування, нехай Google прочитає noindex, дочекайтеся випадіння сторінки з індексу, і лише тоді вирішуйте, чи закривати її.

І ще. Директива Noindex: усередині самого robots.txt не працює. Google припинив її підтримку у вересні 2019 року.

Типові помилки, які ламають robots.txt

Disallow: / на робочому сайті. Класика. Розробники закривають сайт на час розробки, а потім забувають зняти правило. Один рядок, і весь сайт закритий від сканування. Перевіряйте файл після кожного релізу.

Блокування CSS і JavaScript. Google потребує їх для рендерингу сторінок. У прикладі з власної документації Google навіть окремо дозволяє Googlebot ці файли для такого випадку.

Файл у підпапці. Crawlers не шукають robots.txt у підкаталогах. example.com/folder/robots.txt не діє.

Один файл на всі піддомени. Правила діють лише для хоста, протоколу і порту, де лежить файл. Для blog.example.com потрібен власний robots.txt.

Crawl-delay для Google. Рядок нічого не дасть. Якщо ви написали його лише в групі для Googlebot, Google поводитиметься так, ніби групи нема. Для Bing ця директива працює.

Розмір. Google читає не більше 500 КіБ, усе, що далі, ігнорується. Для звичайного сайту це величезний запас, а ось для великого каталогу з тисячами окремих правил цифра може стати реальною проблемою. Зводьте правила до загальних шаблонів.

Помилкові відповіді сервера. Якщо файл віддає 4xx (крім 429), Google вважає, що файлу нема, і обмежень нема. Тобто випадковий 403 не закриє сайт, а, навпаки, зніме всі ваші заборони. Якщо файл віддає 5xx, Google деякий час користується останньою робочою копією (до 30 днів), а потім поводиться так, ніби файлу нема.

Robots.txt і ШІ-краулери: GPTBot, ClaudeBot та інші

Окрема тема, яка з'явилася нещодавно. Усе більше власників сайтів хочуть вирішувати, чи читають їхні матеріали боти ШІ-сервісів. Тут головне розуміти, що в одного оператора зазвичай кілька різних ботів з різними задачами.

OpenAI має GPTBot, OAI-SearchBot і ChatGPT-User. За документацією компанії, налаштування GPTBot і OAI-SearchBot незалежні. Можна дозволити OAI-SearchBot, щоб сайт з'являвся у пошуку ChatGPT, і одночасно заборонити GPTBot, щоб контент не йшов на навчання моделей. ChatGPT-User виконує дії на запит користувача, тож правила robots.txt до нього можуть не застосовуватися.

Anthropic також розділяє ботів: ClaudeBot, Claude-SearchBot і Claude-User. Заборона ClaudeBot не блокує двох інших, для кожного потрібна окрема директива. Perplexity-User, за документацією Perplexity, зазвичай ігнорує robots.txt, бо запит ініціює людина.

Приклад, коли ви не хочете віддавати контент на навчання, але хочете лишатися у відповідях ШІ-пошуку:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

Окремо про Google. Google-Extended це токен керування в robots.txt, а не окремий бот. За описом у галузевих оглядах документації Google, блокування цього токена не впливає на позиції у Google Search і не прибирає контент з AI Overviews та AI Mode. Ці функції працюють на основі звичайного пошукового індексу. Тож якщо ви хочете вилучити сторінки з них, Google-Extended для цього не підходить.

Назви ботів та їхні правила змінюються. Перед публікацією звіряйтеся з актуальною документацією операторів.

Як перевірити robots.txt після створення

Мінімальний алгоритм із чотирьох кроків.

  1. Згенеруйте файл і прогоніть його через валідатор, щоб виловити синтаксичні помилки.
  2. Завантажте його в корінь сайту.
  3. Відкрийте https://ваш-сайт/robots.txt у приватному вікні браузера. Якщо бачите текст, файл доступний усім.
  4. Зайдіть у Google Search Console, розділ «Параметри», звіт про robots.txt. Старий окремий тестер Google закрив ще у 2023 році, його замінив цей звіт. Він показує, який файл Google знайшов, коли востаннє його сканував і які були помилки.

Не чекайте миттєвого ефекту. Google зазвичай кешує robots.txt до 24 годин, тож правки діють не з тієї секунди, як ви їх завантажили. Саме тому Google не радить міняти файл протягом доби за розкладом, наприклад закривати сайт на робочі години.

Часті запитання

Чи обов'язковий robots.txt?

Ні. Без нього робот вважає, що сканувати можна все. Але якщо є що виключити (адмінка, службові розділи, дублі з параметрами), файл стане в пригоді.

Чи можна закрити сайт від усіх ботів?

Технічно так, User-agent: * разом із Disallow: /. Але це лише прохання до добросовісних краулерів, а не захист. Конфіденційні дані ховайте паролем.

Скільки robots.txt може бути на сайті?

Один на хост, протокол і порт.

Чи потрібно додавати Sitemap у robots.txt?

Не обов'язково, але зручно, бо будь-який бот знайде карту сайту без додаткових налаштувань. Адреса має бути повною, з протоколом. Директив Sitemap може бути кілька.

Висновок

Хороший robots.txt короткий. Кілька чітких правил, адреса sitemap і жодних рядків, які ви не можете пояснити. Згенеруйте файл, перевірте синтаксис валідатором, завантажте і подивіться на результат у Search Console. Якщо ж ваша мета не сканування, а видалення сторінки з пошуку, шукайте noindex, а не Disallow.

Автор: Lumir

Дивіться також:

Перевірка синтаксису коду онлайн: HTML, CSS, JavaScript і JSON

UTM Builder & Campaign URL Generator: безкоштовний генератор UTM-посилань для GA4

JSON to CSV & Table Converter: безкоштовний онлайн-конвертер JSON у CSV і таблицю

Джерела

Прокрутка до верху