Система индексации сайтов поисковиками - история

Система индексации сайтов поисковиками — история

С неуклонно растущими объемами информации, размещаемой в Интернете, увеличивается также количество людей, имеющих в ней потребность. В наше время Интернет охватывает все слои населения от учащихся до людей пенсионного возраста. В связи с этим основной задачей поисковых систем является быстрый и обязательно результативный поиск по вводимому запросу.

Сначала развития Интернета поиск проводился с использованием тематических каталогов, ссылки в которые самостоятельно заносились модераторами. Популярность таких каталогов зависела от числа и качества заявленных в нем ресурсов. Первым из таких каталогов является, созданный в 1994 году, сервис Yahoo. Но каталогизация малоэффективна, так как попросту не в силах полностью охватить весь объем представленной в Интернете информации. И с появлением поисковых систем значимость каталогов стала «умирать».

Из чего же состоят эти поисковые системы? Мы с вами видим поисковик, как некий сайт, но это только внешняя оболочка, за которой скрывается программный код – поисковый движок. Это определенный набор программ, который и осуществляет непосредственно поиск. Эти программы или, как их еще называют, боты поисковика, проходя по ссылкам, просматривают содержимое страниц и заносят информацию о них в собственную базу данных. Теоретически, таким способом можно найти любой документ, расположенный в сети, но на практике это оказывается не возможно, так как отследить все изменения объема информации просто нереально. И самые крупные базы поисковых систем содержат всего около 50% всей информации размещенной в сети. Праотцом современных систем поиска является Archie, система сканирования FTP-архивов. Она отслеживала новые архивы и собирала информацию о файлах находящихся в них. Арчи уже довольно широко использовался в то время, когда HTTP-сервера только-только начинали появляться.

Наиболее близким к современным роботам поиска стал World Wide Web Wanderer. Как таковые поисковики начали свое развитие с 90 годов 20-го века. Поиск по ключевым словам впервые стал доступен в «WebCrawler», созданном в 1994 году. Позже начали появляться такие конкурирующие системы, как Excite, Lycos, Infoseek. Но самой успешной стала AltaVista, которая предложила пользователям наиболее удобную и ничем необремененную систему взаимодействия пользователя с поисковиком. Похожую систему в дальнейшем взяла себе на вооружение компания Google.

C развитием поисковых систем популярность каталогов стала резко снижаться и они стали добавлять в свой функционал системы поиска, как, например, поступил Yahoo, либо сливаться с ними. В конце 90-х годов два студента Стенфордского университета Ларри Пейдж и Сергей Брин создали популярнейшую на данный момент систему Google. В 1996 году появились первые российские поисковики «Апорт» и «Рамблер» с каталогом сайтов ТОП-100, который до представленной в 1998 году поисковой машины Яндекс, занимал лидирующие позиции среди русскоязычных пользователей.