Robots.txt
Robots.txt — специальный текстовый файл, который предназначен для роботов поисковых систем. Главная его задача — «дать понять» роботам, какие страницы сайта необходимо проигнорировать и исключить из поисковой выдачи, а какие должны там присутствовать. При помощи этого файла можно в несколько раз снизить число запросов, поступающих на сервер, что в свою очередь снизит его нагрузку. Robots.txt не используется для запрета показа конкретных страниц в выдаче поисковика.
Robots.txt и организации, системы, технологии, персоны:
Google LLC 11470 14 |
Yandex - Яндекс 6640 12 |
МегаФон 8039 8 |
VK - Mail.ru Group 3295 3 |
Yahoo! 3690 3 |
ВымпелКом - Билайн - Beeline - Вымпел-Коммуникации 8483 2 |
Microsoft Corporation 24195 2 |
1С 7768 2 |
Check Point Software Technologies 737 1 |
InterActiveCorp - IAC 18 1 |
Qrator Labs - Highload Lab 127 1 |
OpenAI 149 1 |
Технологии Будущего 142 1 |
IXIA 15 1 |
InterActiveCorp - Ask.com - AskJeeves.com 121 1 |
ИТБ - Информационные технологии будущего 66 1 |
BlackBerry - Research In Motion (RIM) 1569 1 |
InfoWatch - Инфовотч 972 1 |
Sophos - SophosLabs 408 1 |
Apple Inc 11734 1 |
Telegram Group 1571 1 |
Kaspersky - Лаборатория Касперского 4593 1 |
IBM - International Business Machines Corp 9367 1 |
Rambler Group - Рамблер ГК - Rambler&Co 878 1 |
РЖД - Российские железные дороги 1808 1 |
Туту.ру - Tutu.ru - Новые Туристические Технологии, НТТ - российский сервис путешествий 54 1 |
АиП - A&P - Ашманов и партнёры 110 1 |
Манджиков Очир 56 3 |
Ермаков Валерий 99 2 |
Воробьев Михаил 51 2 |
Чечельницкий Евгений 19 1 |
Носик Антон 106 1 |
Гвоздев Дмитрий 121 1 |
Дуров Павел 268 1 |
Грабовский Илья 3 1 |
Маркин Владимир 16 1 |
Бастрыкин Александр 17 1 |
Ашманов Игорь 38 1 |
Дорохина Юлия 44 1 |
Федотов Николай 32 1 |
Солодов Игорь 1 1 |
Гуков Александр 1 1 |
Садовский Александр 7 1 |
The Register 1529 1 |
Business Insider - Бизнес инсайдер 234 1 |
TechMedia - Habr - Хабр - Хабрахабр 86 1 |
Telegraph 192 1 |
Vnunet 224 1 |
Обработан архив публикаций портала CNews.ru c 11.1998 до 05.2024 годы.
Ключевых фраз выявлено - 1287230, в очереди разбора - 806379.
Создано именных указателей - 145762.
Редакция Индексной книги CNews - book@cnews.ru
Читатели CNews — это руководители и сотрудники одной из самых успешных отраслей российской экономики: индустрии информационных технологий. Ядро аудитории составляют топ-менеджеры и технические специалисты департаментов информатизации федеральных и региональных органов государственной власти, банков, промышленных компаний, розничных сетей, а также руководители и сотрудники компаний-поставщиков информационных технологий и услуг связи.