Apache Nutch — модульный фреймворк для построения поисковых систем, написанный на языке Java и основанный на технологиях Lucene, Solr, Tika, Hadoop и Gora, адаптированных для специфики поиска в интернете (например, поддерживается crawler, база ссылочной связи, парсинг HTML и других форматов). Архитектура Nutch позволяет разработчикам создавать плагины для обработки нового медиаконтента, получение данных через нестандартные каналы для формирования типовых запросов или организации поискового кластера.
Система предоставляет средства для построения высокомасштабных систем индексации, отвлеченных от типа хранилища, что позволяет использовать такие хранилища для больших объемов данных, как Apache Accumulo, Apache Avro, Apache Cassandra, Apache HBase и HDFS, так и SQL-базы и размещение в памяти NoSQL БД.
Использование На базе Nutch 2.0, запущенного поверх 34-узлового Hadoop-кластера, построен поисковый сервис компании Kalooga, в индексе которого находится более миллиарда страниц.
На основе Nutch построены поисковые системы:
Creative Commons Search — запущен в 2004 году, имплементация Nutch заменена в 2006 DiscoverEd — прототип поиска по открытым образовательных ресурсам, разрабатывается Creative Commons Krugle MozDex Wikia Search — запущен в 2008 году, закрыт в 2009 search2.net
Примечания
Ссылки
Официальная вики Building Nutch: Open Source Search（2004）- ACM Queue vol. 2, no. 2 Статья о Nutch（2003）- Search Engine Watch Еще статья о Nutch（2003）- Tech News World Официальная страница проекта Hadoop
Категория:Фреймворки Категория:Поисковые системы Категория:Проекты Apache