Поисковая система Яndex-Web была представлена широкой публике 23 сентября 1997 года на выставке Softool. Первая рабочая версия поискового приложения под названием «Яndex» появилась в 1993 году, тогда оно представляло собой инструмент для поиска информации в рамках одного веб-сайта. Программа была создана основанной в 1988 году компанией CompTek.
В 2000-х годах Яndex изменил название на Yandex (Яндекс)
«Яндекс» не был первой поисковой системой России (раньше появились Рамблер и Апорт), но стал быстро набирать аудиторию. В 2001 году он обогнал крупнейший поисковик российского сегмента сети — Рамблер, став лидером в Рунете.
К 2011 году «Яндекс» стал одной из крупнейших в Европе интернет-компаний с капитализацией 10 млрд долларов (на 2013 год). С 4,84 млрд поисковых запросов система «Яндекс.Поиск» к началу 2013 года занимала среди поисковых систем четвёртое место в мире и второе среди неанглоязычных систем после китайской BaiduВторой выпуск. Полит.ру «По данным газеты, среди неанглоязычных поисковиков „Яндекс“ занимает по популярности второе место после китайского Baidu».
Предыстория
Выпускник и аспирант Института нефти и газа имени Губкина Аркадий Волож занимался исследованиями в области обработки больших объёмов данных. Параллельно он работал генеральным директором в основанной им в 1988 году фирме CompTek, которая поставляла персональные компьютеры и проводила автоматизацию рабочих мест на отечественных предприятиях. В процессе работы у программиста возникла идея создания компьютерной программы, которая позволила бы находить в больших текстах информацию с учётом морфологии русского языка (то есть по запросу слова в любой форме). Вместе с Аркадием Борковским, специалистом по компьютерной лингвистике Академии наук СССР, Волож в 1989 году открыл компанию «Аркадия». В 1990 году к команде программистов CompTek присоединился программист Илья Сегалович, бывший одноклассник и друг Воложа. Специалисты «Аркадии» в течение двух лет создали по заказу Центрального научно-исследовательского института патентной информации и технико-экономических исследований (ЦНИИПИ) две информационно-поисковые системы: Международную классификацию изобретений и Классификатор товаров и услуг. Впоследствии программы, записанные на дискеты, в течение трёх лет продавали научно-исследовательским институтам и организациям, занимавшимся патентоведением. К 1993 году CompTek занималась сбытом сетевых технологий, а чтобы не оставлять технологию поиска, «Аркадию», деятельность которой стала менее востребованной, сделали одним из департаментов CompTekПредыстория. — Интернет-портал «Яндекс» (yandex.ru).
В 1993 году была написана первая рабочая версия приложения для локального поиска (на жёстком диске компьютера), которое назвали «Yandex». Слово расшифровывалось как et another indexer ().
В 1993—1994 годы программисты CompTek начали сотрудничать с лабораторией компьютерной лингвистики Института проблем передачи информации, которой заведовал академик РАН Юрий Апресян, российский специалист в области структурной лингвистики и теоретической семантики. Сегалович изучал морфологию и совершенствовал поисковую технологию, через некоторое время ему начали помогать Михаил Маслов, Дмитрий Тейблюм, Сергей Ильинский и Леонид Бровкин. Сегалович в качестве основного разработчика написал программу автоматического морфологического анализа, которая использовалась при поиске. Результатом совместного труда программистов стал словарь с поиском, учитывавшим морфологию русского языка, ещё одним его достоинством было то, что он целиком грузился в оперативную память и быстро работал.
В 1994 году на основе разработанных технологий программисты CompTek создали «Библейский компьютерный справочник» — информационно-поисковую систему, работавшую с текстом Библии. Для преобразования в электронный вид почти половину книги пришлось набирать вручную. С 1995 года компания работала над проектом «Академического издания классиков на CD ROM», который предполагал выход полного электронного академического издания Александра Грибоедова и Александра Пушкина со словарём языка Грибоедова. К 1996 году был разработан алгоритм построения гипотез: если искомого слова не было в словаре, то поиск осуществлялся по наиболее похожим на него, и по ним уже строилась модель словоизменения.
С выходом компании CompTek в интернет в 1995 году её создатели решили настроить поисковую программу для работы в новых условиях — чтобы пользователь мог легко ориентироваться во всемирной паутине и находить любую необходимую информацию. Для этого программисты переписали поисковую программу так, чтобы она работала уже с интернет-сайтами, сначала поиск производился по ограниченному количеству сайтов, а затем — по всему российскому сегменту интернета, так называемому Рунету.
1997—2000: Яndex в составе CompTek 23 сентября 1997 года на выставке Softool впервые была продемонстрирована поисковая система «Yandex.ru», а через два месяца уже был реализован естественно-языковый запрос.
«Яндекс» не был первой поисковой машиной в России: в 1996 году появился Рамблер, а ещё раньше, в декабре 1995 года, — Altavista, причём последняя имела самый производительный на тот момент сервер и отличалась самой высокой скоростью работы среди конкурентов, обрабатывая миллионы запросов в день. Через два месяца после yandex.ru анонсировали поисковую систему «Апорт» (хотя впервые её продемонстрировали ещё в феврале 1996 года).
Поисковая машина, носившая вначале название Яndex-Web, индексировала сайты на доменах .su и .ru, а также иностранные русскоязычные страницы. Программа учитывала морфологию русского языка, алгоритмы умели находить начальную форму слова, возможен был запрос по точной словоформе. Язык запросов включал логические операторы И, ИЛИ, НЕ и позволял искать в пределах одного документа, абзаца, в заголовках и других полях, а также с учётом расстояния между словами. В первое время после запуска поисковый робот еженедельно обходил 4 ГБ текстов по 5 тысячам серверов. Найденные документы сортировались по релевантности, рассчитывавшейся по положению слова, частоте упоминания его в документе, расстоянию между словами.
Поиск с учётом морфологии от команды Аркадия Борковского Яндекс пытался продать дважды: в 1996 году — «Рамблеру», и в 2003 году — «Гуглу», но ни та, ни другая не сочли эту технологию сколько-нибудь важной«Яндекс»: «Чай пили вместе и за тапочки дрались» .
10 декабря 1997 года стало известно об установке Яndex поисковиком по умолчанию в официальной версии Internet Explorer 4.0; сделано это было с целью наибольшей локализации продукта на рынке России.
В 1998 году для каждого результата поиска появилась функция «найти похожие документы». Функция была доступна в естественно-языковом и расширенном режимах поиска. Поиск аналогичных документов производился по образу, или портрету, исходного. В этом же году появился первый контекстный баннер, была внедрена сортировка результатов по времени последнего изменения, появилась возможность задавать многосложные естественные языковые запросы вроде «где купить автомобиль».
Яндекс.Поиск по состоянию на 1998 год работал на трёх машинах, работавших на FreeBSD под Apache: одна машина обходила Интернет и индексировала документы, одна машина была поисковая, и одна машина дублировала поисковую машину.
В 1999 году «Яндекс» проиндексировал серверов и уникальных документов. Была обновлена версия поисковой системы — она научилась добавлять в индекс подписи к картинкам, ключевые слова, описания, названия java-апплетов, ссылки и др. Появилась возможность ограничить поиск одним сервером или исключить из выдачи выбранные серверы, узнать о ссылках на определённый ресурс; были усовершенствованы антиспам-фильтры. Появился поиск по категориям, введён тематический индекс цитирования.
На дальнейшее развитие сайта Яndex требовались средства. В 1999 году Волож начал искать для формирующейся компании такого инвестора, чтобы сохранить над ней контроль и при этом получить максимальную прибыль от продажи её миноритарного пакета. Оборот «Яндекса» в 1999 году составлял 72 тысячи долларов в год, стоимость компании, по собственным оценкам, достигала 15 миллионов. К середине 1999 года Яndex был в семёрке популярнейших сайтов Рунета.
2000 год: Учреждение ООО «Яндекс»
Весной 2000 года акционеры CompTek учредили ООО «Яндекс» для управления одноимённым сайтом. Компании перешли все права на торговую марку, сайт и поисковую технологию, а также семейство одноимённых программных продуктов и созданных проектов (, Яndex.CD, Яndex.Dict, Яndex.Lib). В тот период большой интерес к интернет-фирмам проявляли инвесторы всего мира, и Волож сумел договориться с инвестиционным фондом ru-Net Holdings Limited (совместное предприятие финансовой группы Baring Vostok Capital Partners (BVCP) и московского инвестиционного банка United Financial GroupИнвестиции. — Телекоммуникации, 14.04.2000. — № 208) о привлечении 5,28 миллиона долларов для дальнейшего развития «Яндекса» в обмен на 35,72 процента дополнительно выпущенных акций. Тогда же была запущена первая среди российских интернет-бизнесов рекламная кампания на телевидении со слоганом «Найдётся всё!». С момента образования новой компании Волож оставил CompTek и стал генеральным директором ООО «Яндекс», а Сегалович — техническим директором.
6 июня поисковик получил обновление. Была установлена возможность связи с программой Яndex.Site по желанию владельца. Реализован механизм «параллельных поисков», когда наряду с результатами поиска из веба выдаётся связанная информация из баз данных Яndex и его партнёров (прежде всего информационных агентств и онлайн-магазинов). Встроен синтаксический анализ, расширена интеграция с каталогом, появился раздел «Популярные находки». На момент выхода новой системы, 6 июня, поисковая машина проиндексировала 20 млн документов объёмом более 200 ГБ. К декабрю 2000 года эта цифра достигла значения в 355,22 ГБ; число уникальных IP пользователей составляло 92 тыс., средняя длина запроса — 2,21 слова.
В апреле 2000 года компания «Яндекс» вышла из состава CompTek и стала независимой. Материнский холдинг располагался на Кипре, в России же зарегистрирована дочерняя компания в форме общества с ограниченной ответственностью.
Были открыты Яндекс.Почта, Яндекс.Новости, Яндекс.Гуру, Яндекс.Товары, Яндекс.Открытки, Яндекс.Бар и Яндекс.Закладки, а также — «аскетический Яндекс» (ya.ru).
2001 год: Впереди Рамблера, Яндекс. Директ В 2001 году поисковая машина «Яндекса» обгоняет Рамблер и с тех пор остаётся лидером отечественного поискового рынка. Успех был обусловлен запуском обновления поисковика: улучшился поиск ссылок, стала производиться морфологическая коррекция запроса, введён «взвешенный индекс цитирования» и повысилась точность и скорость поиска. В базе Яndex на тот момент было 38 млн проиндексированных документов (у Рамблера — 7,5 млн). Число пользователей поисковой системы превышало 1 млн.
Весной 2000 года ходили слухи о возможном слиянии «Яндекса» и Рамблера, хотя глава «Яндекса» Аркадий Волож эту информацию опроверг. Несколько иронично передана реакция Воложа в книге «Жизнь внутри пузыря»: там ему приписываются следующие слова — «Да зачем вы мне нужны? Я вас и так сделаю, с вашим-то бардаком».
В марте «Яндекс» завоевал 6 призов «Интел Интернет премии».
С 23 апреля по 28 мая 2001 года в три тура прошёл Кубок Яндекса — турнир по поиску в интернете, транслировавшийся на официальном сайте состязания. Задачей участников было за определённое время найти в поисковой системе ответы на заданные вопросы.