Какими были первые поисковые системы. Поисковая система 1 поисковая система
История того, как появились поисковые системы, начинается в июле 1945 года, когда ученый из Америки Вэннивер Буш (Vannevar Bush) смог написать знаменитейшую статью «Пока мы мыслим», в ней он смог предсказать появление персональных компьютеров, а также смог сформулировать идею гипертекста. Заметим, что Вэннивер Буш и сам участвовал в создании прототипов поисковых систем, которыми мы пользуемся в наши дни. Однако, тогда, в далеком 1938 году, он смог разработать и запатентовать устройство, которое могло быстро искать информацию на микрофильмах.
Не смотря на то, что хоть Вэннивера Буша считают родоначальником технологий поиска и идеи Интернета, но другие ученые реализовали его идеи на практике. В 1958 году в США при Министерстве обороны было создано АПИП (Агентство Передовых Исследовательских Проектов, ARPA, Advanced Research Projects Agency), в нем с 1963 по 1969 года ученые могли работать над совершенно новой концепцией, которая позволяла производить передачу информации посредством компьютерной сети.
Сначала данное соединение, которое позволяло передавать зашифрованные данные, планировали использовать в военных целях, но уровень безопасности для передачи информации оказался очень низкий, поэтому военных попросили отказаться от продолжения разработок.
Однако, только к концу 1980-х годов идея создания компьютерной сети была заново воскрешена. Помогли этому несколько университетов США, которые в своих разработках смогли объединить свою библиотеку информации, которая являлась образовательной, при помощи соединения сетями.
В 1990-х годах началось резкое развитие Интернета. С февраля 1993 года, как только Марк Андрессен (Mark Andressen) из НЦСП (Национальный Центр Суперкомпьютерных приложений США, NCSA, National Center for Supercomputing Applications, www.ncsa.uiuc.edu) смог закончить начальную версию программы, которая визуализировала гипертекст Mosaic под UNIX, ведь именно у нее был удобный графический интерфейс и она смогла стать прототипом браузеров, которых мы используем в наше время. Интернет стал набирать популярность.
В середине 1990-х годов для того, чтобы найти информации, которая была нужна, нужно было воспользоваться каталогом, в котором располагались сайты. На тот момент этих каталогов было не много, да и изобилием сайтов они не блистали, но в них информация являлась упорядоченной по рубрикам и тематикам. Стоит отметить, что в 1993 году три бота поисковых систем уже имелись в сети. Данные разработки являлись некоммерческими и после наплыва больших количество информации не смогли справиться с работой, поэтому они исчезли из-за резкого развития Интернета.
С 1995 года главное место в глобальном Интернете заняли поисковые системы, которые стали впоследствии весьма крупными, на Западе - Google, Yachoo, Alta Vista, а в России - Yandex , Rambler , Aport.
Отвлечемся на историю развития поисковых систем России. Здесь не такой уж и легкий путь ждал наши поисковые системы. Были и свои победы и поражения.
Компании «Яндекс» начала развиваться в 1990 году, но только в 1997 году стала поисковой системой, которую мы прекрасно знаем.
Яндекс считается безусловным лидером в России, потому что охват аудитории Яндекса за месяц по оценкам ведущих специалистов составила приблизительно половину регулярной аудитории Интернета в России. Эти цифры на голову превосходят потенциальную аудиторию Апорта и Рамблера. Недавно появился на свет достаточно мощный поиск Go Mail от другой крупной электронной службы, которая занимается почтой, однако в этом случае компания смогла использовать алгоритм Яндекса и из-за этого поиск со страниц системы Mail мы можем отнести к поиску в Яндексе. Но последний скандал заставил Mail Group уйти от поиска Yandex . Точные причины размолвки не знает никто до сих пор.
В поиске Яндекса учитываются заголовки, а также обязательное нахождение слова в теле документа. Предпочтение отдается тем словам, которые являются словосочетанием, располагаются близко друг к другу и находятся в одном абзаце. Поиск в Яндексе происходит с учетом морфологии русского языка, это его отличительная особенность, то есть в случае запроса «фото природа» или «фото природы» он будет выдавать и те и другие документы, которые встречают данные слова.
Рамблер является первым поисковым сервисом Рунета, открытый осенью 1997 года группой ученых из НИИ Микробиологии в городе Пущино Московской области. В Рамблере поиск был построен при помощи индексации главных слов на странице, которые были выделены жирным шрифтом (тегами strong и b) и если они частенько появлялись в заголовках (тегах h1). В отличие от Яндекса поиска Рамблера может игнорировать теги keyword, из-за чего его любят называть чистым поиском, но при этом должной чистоты поиска пока не было заметно. Эта проблема промелькивает и в других поисковых системах. На текущий момент поисковые позиции Rambler очень упали и эксперты и прогнозисты пророчат этой системе переквалификацию в обычный развлекательный портал. Единственное что заставляет быть на плаву эту систему, так это собственная рекламная сеть Блогун.
Поисковую машину «Апорт» впервые продемонстрировали в феврале 1996 года во время пресс-конференции «Агамы» в честь открытия «Русского клуба», в то время она еще не являлась масштабной поисковой системой по всему Интернету. Отличие Апорта от других поисковых систем в том, что он может искать заданные ключевые слова не только в keywords, но еще и в подписях к картинкам (alt), и в описании (description). Но данное нововведение продолжилось не долго. Другие поисковики повторили тоже самое и Апорт теперь больше нечем удивлять своих пользователей. На 2011 год, поисковую систему Апорт скорее всего ждет поглощение от более крупных игроков поискового рынка.
Недостатки поиска
На данное время поисковые системы любыми способами продолжают улучшать свои технологии поиска. Но, к сожалению, совершенным поиском ни одна из них не может похвастаться, как бы высоко они небыли развиты. В наши дни к главным недостаткам поисковых систем могут относиться системы обобщения запроса, которые слабо развиты и огромная зависимость от выбора источников информации. В случае недостаточной информативности, ее еще можно хоть как-то компенсировать обилием выбора результатов поиска. Но вот объяснить компьютеру человеческим языком, что же хотят найти люди пока не удается воплотить в реальность. Из-за этого ни одна из поисковых систем не может назвать себя энциклопедией. Однако уже не секрет, что будущее определенно за информативным поиском, который будет ориентирован на обработку человеческих понятий.
Какой поисковик был первым в Рунете? Яндекс, Апорт или Рамблер?
Самые первые поисковые системы рунета (которых по словам одного из основателей «Рамблера» было 2 или 3) очень быстро канули в Лету. Среди них были морфологические расширения к системе AltaVista, которые не оставили нам своих имен. Поэтому нам придется выбирать из тех кто остался:
Рамблер
Создание «Рамблера» началось в 1996 году, когда в российском сегменте Интернета было всего несколько десятков сайтов. Разработка закончилась к осени того же года. Домен rambler.ru был зарегистрирован 26 сентября, а 8 октября 1996 , в день рождения одного из создателей, «Рамблер» был открыт для пользователей.
Рамблер - самый первый поисковик в Рунете из ныне существующих.
Поисковик «Апорт» был разработан к февралю 1996, но в то время он искал лишь по сайту russia.agama.com. Постепенно число сайтов росло и к официальному открытию 11 ноября 1997 года «Апорт» искал уже по 10000 сайтам. Таким образом, «Апорт» был одним из первых поисковиков в Рунете, но из-за ограниченного круга поиска нельзя признать его самым старым.
Яндекс
Фирма CompTek разработавшая «Яндекс» основана в 1989 году. В 1993 году CompTek разработал «Yandex» - программу для поиска по жесткому диску. В 1996 в программу добавили возможность поиска в Сети. В 1997 был написан первый поисковый робот, проиндексирован Рунет и 23 сентября 1997 года состоялась официальная презентация «Яндекса».
«Яндекс» от компании CompTek не является самым старым, но их поисковые технологии и исследования в области лингвистики и морфологии являются старейшими в России.
В архитектуру поисковой системы обычно входят:
Энциклопедичный YouTube
1 / 5
✪ Урок 3: Как работает поисковая система. Введение в SEO
✪ Поисковая система изнутри
✪ Shodan - черный Google
✪ Поисковая система ЧЕБУРАШКА заменит Google и Яндекс в России
✪ Урок 1 - Как устроена поисковая система
Субтитры
История
| Хронология | ||
|---|---|---|
| Год | Система | Событие |
| 1993 | W3Catalog ?! | Запуск |
| Aliweb | Запуск | |
| JumpStation | Запуск | |
| 1994 | WebCrawler | Запуск |
| Infoseek | Запуск | |
| Lycos | Запуск | |
| 1995 | AltaVista | Запуск |
| Daum | Основание | |
| Open Text Web Index | Запуск | |
| Magellan | Запуск | |
| Excite | Запуск | |
| SAPO | Запуск | |
| Yahoo! | Запуск | |
| 1996 | Dogpile | Запуск |
| Inktomi | Основание | |
| Рамблер | Основание | |
| HotBot | Основание | |
| Ask Jeeves | Основание | |
| 1997 | Northern Light | Запуск |
| Яндекс | Запуск | |
| 1998 | Запуск | |
| 1999 | AlltheWeb | Запуск |
| GenieKnows | Основание | |
| Naver | Запуск | |
| Teoma | Основание | |
| Vivisimo | Основание | |
| 2000 | Baidu | Основание |
| Exalead | Основание | |
| 2003 | Info.com | Запуск |
| 2004 | Yahoo! Search | Окончательный запуск |
| A9.com | Запуск | |
| Sogou | Запуск | |
| 2005 | MSN Search | Окончательный запуск |
| Ask.com | Запуск | |
| Нигма | Запуск | |
| GoodSearch | Запуск | |
| SearchMe | Основание | |
| 2006 | wikiseek | Основание |
| Quaero | Основание | |
| Live Search | Запуск | |
| ChaCha | Запуск (бета) | |
| Guruji.com | Запуск (бета) | |
| 2007 | wikiseek | Запуск |
| Sproose | Запуск | |
| Wikia Search | Запуск | |
| Blackle.com | Запуск | |
| 2008 | DuckDuckGo | Запуск |
| Tooby | Запуск | |
| Picollator | Запуск | |
| Viewzi | Запуск | |
| Cuil | Запуск | |
| Boogami | Запуск | |
| LeapFish | Запуск (бета) | |
| Forestle | Запуск | |
| VADLO | Запуск | |
| Powerset | Запуск | |
| 2009 | Bing | Запуск |
| KAZ.KZ | Запуск | |
| Yebol | Запуск (бета) | |
| Mugurdy | Закрытие | |
| Scout | Запуск | |
| 2010 | Cuil | Закрытие |
| Blekko | Запуск (бета) | |
| Viewzi | Закрытие | |
| 2012 | WAZZUB | Запуск |
| 2014 | Спутник | Запуск (бета) |
На раннем этапе развития сети Интернет Тим Бернерс-Ли поддерживал список веб-серверов, размещённый на сайте ЦЕРН . Сайтов становилось всё больше, и поддерживать вручную такой список становилось всё сложнее. На сайте NCSA был специальный раздел «Что нового!» (англ. What"s New! ) , где публиковали ссылки на новые сайты.
Первой компьютерной программой для поиска в Интернете была программа Арчи (англ. archie - архив без буквы «в»). Она была создана в 1990 году Аланом Эмтэджем (Alan Emtage), Биллом Хиланом (Bill Heelan) и Дж. Питером Дойчем (J. Peter Deutsch), студентами, изучающими информатику в университете Макгилла в Монреале . Программа скачивала списки всех файлов со всех доступных анонимных FTP -серверов и строила базу данных, в которой можно было выполнять поиск по именам файлов. Однако, программа Арчи не индексировала содержимое этих файлов, так как объём данных был настолько мал, что всё можно было легко найти вручную.
Развитие и распространение сетевого протокола Gopher , придуманного в 1991 году Марком Маккэхилом (Mark McCahill) в университете Миннесоты , привело к созданию двух новых поисковых программ, Veronica и Jughead . Как и Арчи, они искали имена файлов и заголовки, сохранённые в индексных системах Gopher. Veronica (англ. Very Easy Rodent-Oriented Net-wide Index to Computerized Archives ) позволяла выполнять поиск по ключевым словам большинства заголовков меню Gopher во всех списках Gopher. Программа Jughead (англ. Jonzy"s Universal Gopher Hierarchy Excavation And Display ) извлекала информацию о меню от определённых Gopher-серверов. Хотя название поисковика Арчи не имело отношения к циклу комиксов «Арчи» , тем не менее Veronica и Jughead - персонажи этих комиксов.
К лету 1993 года ещё не было ни одной системы для поиска в вебе, хотя вручную поддерживались многочисленные специализированные каталоги. Оскар Нирштрасс (Oscar Nierstrasz) в Женевском университете написал ряд сценариев на Perl , которые периодически копировали эти страницы и переписывали их в стандартный формат. Это стало основой для W3Catalog ?! , первой примитивной поисковой системы сети, запущенной 2 сентября 1993 года .
Вероятно, первым поисковым роботом, написанным на языке Perl, был «World Wide Web Wanderer» - бот Мэтью Грэя (Matthew Gray) из в июне 1993 года. Этот робот создавал поисковый индекс «Wandex ». Цель робота Wanderer состояла в том, чтобы измерить размер всемирной паутины и найти все веб-страницы, содержащие слова из запроса. В 1993 году появилась и вторая поисковая система «Aliweb ». Aliweb не использовала поискового робота , но вместо этого ожидала уведомлений от администраторов веб-сайтов о наличии на их сайтах индексного файла в определённом формате.
JumpStation , созданный в декабре 1993 года Джонатаном Флетчером, искал веб-страницы и строил их индексы с помощью поискового робота, и использовал веб-форму в качестве интерфейса для формулирования поисковых запросов. Это был первый инструмент поиска в Интернете, который сочетал три важнейших функции поисковой системы (проверка, индексация и собственно поиск). Из-за ограниченности ресурсов компьютеров того времени индексация и, следовательно, поиск были ограничены только названиями и заголовками веб-страниц, найденных поисковым роботом.
Поисковые системы участвовали в «Пузыре доткомов» конца 1990-х . Несколько компаний эффектно вышли на рынок, получив рекордную прибыль во время их первичного публичного предложения . Некоторые отказались от рынка общедоступных поисковых движков и стали работать только с корпоративным сектором, например, Northern Light .
Google взял на вооружение идею продажи ключевых слов в 1998 году, тогда это была маленькая компания, обеспечивавшая работу поисковой системы по адресу goto.com . Этот шаг ознаменовал для поисковых систем переход от соревнований друг с другом к одному из самых выгодных коммерческих предприятий в Интернете . Поисковые системы стали продавать первые места в результатах поиска отдельным компаниям.
Поисковая система Google занимает видное положение с начала 2000-х . Компания добилась высокого положения благодаря хорошим результатам поиска с помощью алгоритма PageRank . Алгоритм был представлен общественности в статье «The Anatomy of Search Engine», написанной Сергеем Брином и Ларри Пейджем, основателями Google . Этот итеративный алгоритм ранжирует веб-страницы, основываясь на оценке количества гиперссылок на веб-страницу в предположении, что на «хорошие» и «важные» страницы ссылаются больше, чем на другие. Интерфейс Google выдержан в спартанском стиле, где нет ничего лишнего, в отличие от многих своих конкурентов, которые встраивали поисковую систему в веб-портал. Поисковая система Google стала настолько популярной, что появились подражающие ей системы, например, Mystery Seeker (тайный поисковик).
Поиск информации на русском языке
В 1996 году был реализован поиск с учётом русской морфологии на поисковой машине Altavista и запущены оригинальные российские поисковые машины Рамблер и Апорт . 23 сентября 1997 года была открыта поисковая машина Яндекс . 22 мая 2014 года компанией Ростелеком была открыта национальная поисковая машина Спутник , которая на момент 2015 года находится в стадии бета-тестировании. 22 апреля 2015 года был открыт новый сервис Спутник. Дети специально для детей с повышенной безопасностью.
Большую популярность получили методы кластерного анализа и поиска по метаданным . Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivisimo . В 2005 году в России при поддержке МГУ запущен поисковик «Нигма », поддерживающий автоматическую кластеризацию . В 2006 году открылась российская метамашина Quintura , предлагающая визуальную кластеризацию в виде облака тегов . «Нигма» тоже экспериментировала с визуальной кластеризацией.
Как работает поисковая система
Основные составляющие поисковой системы: поисковый робот , индексатор , поисковик .
Как правило, системы работают поэтапно. Сначала поисковый робот получает контент, затем индексатор генерирует доступный для поиска индекс, и наконец, поисковик обеспечивает функциональность для поиска индексируемых данных. Чтобы обновить поисковую систему, этот цикл индексации выполняется повторно .
Поисковые системы работают, храня информацию о многих веб-страницах, которые они получают из HTML страниц. Поисковый робот или «краулер» (англ. Crawler ) - программа, которая автоматически проходит по всем ссылкам, найденным на странице, и выделяет их. Краулер, основываясь на ссылках или исходя из заранее заданного списка адресов, осуществляет поиск новых документов, ещё не известных поисковой системе. Владелец сайта может исключить определённые страницы при помощи robots.txt , используя который можно запретить индексацию файлов, страниц или каталогов сайта.
Поисковая система анализирует содержание каждой страницы для дальнейшего индексирования. Слова могут быть извлечены из заголовков, текста страницы или специальных полей - метатегов . Индексатор - это модуль, который анализирует страницу, предварительно разбив её на части, применяя собственные лексические и морфологические алгоритмы. Все элементы веб-страницы вычленяются и анализируются отдельно. Данные о веб-страницах хранятся в индексной базе данных для использования в последующих запросах. Индекс позволяет быстро находить информацию по запросу пользователя . Ряд поисковых систем, подобных Google, хранят исходную страницу целиком или её часть, так называемый кэш , а также различную информацию о веб-странице. Другие системы, подобные системе AltaVista, хранят каждое слово каждой найденной страницы. Использование кэша помогает ускорить извлечение информации с уже посещённых страниц . Кэшированные страницы всегда содержат тот текст, который пользователь задал в поисковом запросе. Это может быть полезно в том случае, когда веб-страница обновилась, то есть уже не содержит текст запроса пользователя, а страница в кэше ещё старая. Эта ситуация связана с потерей ссылок (англ. linkrot ) и дружественным по отношению к пользователю (юзабилити) подходом Google. Это предполагает выдачу из кэша коротких фрагментов текста, содержащих текст запроса. Действует принцип наименьшего удивления , пользователь обычно ожидает увидеть искомые слова в текстах полученных страниц (User expectations ). Кроме того, что использование кэшированных страниц ускоряет поиск, страницы в кэше могут содержать такую информацию, которая уже нигде более не доступна.
Поисковик работает с выходными файлами, полученными от индексатора. Поисковик принимает пользовательские запросы, обрабатывает их при помощи индекса и возвращает результаты поиска .
Когда пользователь вводит запрос в поисковую систему (обычно при помощи ключевых слов), система проверяет свой индекс и выдаёт список наиболее подходящих веб-страниц (отсортированный по какому-либо критерию), обычно с краткой аннотацией, содержащей заголовок документа и иногда части текста. Поисковый индекс строится по специальной методике на основе информации, извлечённой из веб-страниц . С 2007 года поисковик Google позволяет искать с учётом времени, создания искомых документов (вызов меню «Инструменты поиска» и указание временного диапазона). Большинство поисковых систем поддерживает использование в запросах булевых операторов И, ИЛИ, НЕ, что позволяет уточнить или расширить список искомых ключевых слов. При этом система будет искать слова или фразы точно так, как было введено. В некоторых поисковых системах есть возможность приближённого поиска , в этом случае пользователи расширяют область поиска, указывая расстояние до ключевых слов . Есть также концептуальный поиск , при котором используется статистический анализ употребления искомых слов и фраз в текстах веб-страниц. Эти системы позволяют составлять запросы на естественном языке. Примером такой поисковой системы является сайт ask com .
Полезность поисковой системы зависит от релевантности найденных ею страниц. Хоть миллионы веб-страниц и могут включать некое слово или фразу, но одни из них могут быть более релевантны, популярны или авторитетны, чем другие. Большинство поисковых систем использует методы ранжирования, чтобы вывести в начало списка «лучшие» результаты. Поисковые системы решают, какие страницы более релевантны, и в каком порядке должны быть показаны результаты, по-разному . Методы поиска, как и сам Интернет со временем меняются. Так появились два основных типа поисковых систем: системы предопределённых и иерархически упорядоченных ключевых слов и системы, в которых генерируется инвертированный индекс на основе анализа текста.
Большинство поисковых систем являются коммерческими предприятиями, которые получают прибыль за счёт рекламы , в некоторых поисковиках можно купить за отдельную плату первые места в выдаче для заданных ключевых слов. Те поисковые системы, которые не берут денег за порядок выдачи результатов, зарабатывают на контекстной рекламе, при этом рекламные сообщения соответствуют запросу пользователя. Такая реклама выводится на странице со списком результатов поиска, и поисковики зарабатывают при каждом клике пользователя на рекламные сообщения.
Типы поисковых систем
Существует четыре типа поисковых систем: с поисковыми роботами, управляемые человеком, гибридные и мета-системы .
- системы, использующие поисковых роботов
- системы, управляемые человеком (каталоги ресурсов)
- гибридные системы
- мета-системы
Рынок поисковых систем
Google - самая популярная поисковая система в мире с долей на рынке 68,69 %. Bing занимает вторую позицию, его доля 12,26 % .
Самые популярные поисковые системы в мире :
| Поисковая система | Доля рынка в июле 2014 | Доля рынка в октябре 2014 | Доля рынка в сентябре 2015 |
|---|---|---|---|
| 68,69 % | 58,01 % | 69,24% | |
| Baidu | 17,17 % | 29,06 % | 6,48% |
| Bing | 6,22 % | 8,01 % | 12,26% |
| Yahoo! | 6,74 % | 4,01 % | 9,19% |
| AOL | 0,13 % | 0,21 % | 1,11% |
| Excite | 0,22 % | 0,00 % | 0,00 % |
| Ask | 0,13 % | 0,10 % | 0,24% |
Азия
В восточноазиатских странах и в России Google - не самая популярная поисковая система. В Китае, например, более популярна поисковая система Soso ?! .
В Южной Корее поисковым порталом собственной разработки Naver пользуется около 70 % жителей Yahoo! Japan и Yahoo! Taiwan - самые популярные системы для поиска в Японии и Тайване соответственно .
Россия и русскоязычные поисковые системы
Согласно данным LiveInternet в июне 2015 года об охвате русскоязычных поисковых запросов :
- Всеязычные:
- Yahoo! (0,1 %) и принадлежащие этой компании поисковые машины: Inktomi , AltaVista , Alltheweb
- Англоязычные и международные:
- AskJeeves (механизм Teoma)
- Русскоязычные - большинство «русскоязычных» поисковых систем индексируют и ищут тексты на многих языках - украинском , белорусском , английском , татарском и других. Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что, в основном, индексируют ресурсы, расположенные в доменных зонах , где доминирует русский язык, или другими способами ограничивают своих роботов русскоязычными сайтами.
Некоторые из поисковых систем используют внешние алгоритмы поиска.
Количественные данные поисковой системы Google
Число пользователей Интернета и поисковых систем и требований пользователей к этим системам постоянно растёт. Для увеличений скорости поиска нужной информации крупные поисковые системы содержат большое количество серверов. Сервера обычно группируют в серверные центры (дата-центры). У популярных поисковых систем серверные центры разбросаны по всему миру .
В октябре 2012 года Google запустила проект «Где живёт Интернет», где пользователям предоставляется возможность познакомиться с центрами обработки данных этой компании .
О работе дата-центров поисковой системе Google известно следующее :
- Суммарная мощность всех дата-центров Google, по состоянию на 2011 год, оценивалась в 220 МВт.
- Когда в 2008 году Google планировала открыть в Орегоне новый комплекс, состоящий из трёх зданий общей площадью 6,5 млн м², в журнале Harper’s Magazine подсчитали, что такой большой комплекс потребляет свыше 100 МВт электроэнергии, что сравнимо с потреблением энергии города с населением 300 000 человек.
- Ориентировочное число серверов Google в 2012 году - 1 000 000.
- Расходы Google на дата-центры составили в 2006 году - $1,9 млрд, а в 2007 году - $2,4 млрд.
Размер всемирной паутины, проиндексированной Google на декабрь 2014 года, составляет примерно 4,36 миллиарда страниц .
Поисковые системы, учитывающие религиозные запреты
Глобальное распространение Интернета и увеличение популярности электронных устройств в арабском и мусульманском мире, в частности, в странах Ближнего Востока и Индийского субконтинента , способствовало развитию локальных поисковых систем, учитывающих исламские традиции. Такие поисковые системы содержат специальные фильтры, которые помогают пользователям не попадать на запрещённые сайты, например, сайты с порнографией, и позволяют им пользоваться только теми сайтами, содержимое которых не противоречит исламской вере. Незадолго до мусульманского месяца Рамадан , в июле 2013 года, миру был представлен Halalgoogling - система, выдающая пользователям только халяльные «правильные» ссылки , фильтруя результаты поиска, полученные от других поисковых систем, таких как Google и Bing . Двумя годами ранее, в сентябре 2011 года, был запущен поисковый движок I’mHalal, предназначенный для обслуживания пользователей Ближнего Востока. Однако этот поисковый сервис пришлось вскоре закрыть, по сообщению владельца, из-за отсутствия финансирования .
Отсутствие инвестиций и медленный темп распространения технологий в мусульманском мире препятствовали прогрессу и мешали успеху серьёзного исламского поисковика. Очевиден провал огромных инвестиций в веб-проекты мусульманского образа жизни, одним из которых был Muxlim . Он получил миллионы долларов от инвесторов, таких как Rite Internet Ventures, и теперь - в соответствии с последним сообщением от I’mHalal перед его закрытием - выступает с сомнительной идеей о том, что «следующий Facebook или Google могут появиться только в странах Ближнего Востока , если вы поддержите нашу блестящую молодёжь» . Тем не менее исламские эксперты в области Интернета в течение многих лет занимаются определением того, что соответствует или не соответствует шариату , и классифицируют веб-сайты как «халяль » или «харам ». Все бывшие и настоящие исламские поисковые системы представляют собой просто специальным образом проиндексированный набор данных либо это главные поисковые системы, такие как Google, Yahoo и Bing, с определённой системой фильтрации, использующейся для того, чтобы пользователи не могли получить доступ к харам-сайтам, таким как сайты о наготе, ЛГБТ , азартных играх и каким-либо другим, тематика которых считается антиисламской .
Среди других религиозно-ориентированных поисковых систем распространёнными являются Jewogle - еврейская версия Google и SeekFind.org - христианский сайт, включающий в себя фильтры, оберегающие пользователей от контента, который может подорвать или ослабить их веру .
Персональные результаты и пузыри фильтров
Многие поисковые системы, такие как Google и Bing, используют алгоритмы выборочного угадывания того, какую информацию пользователь хотел бы увидеть, основываясь на его прошлых действиях в системе. В результате, веб-сайты показывают только ту информацию, которая согласуется с прошлыми интересами пользователя. Этот эффект получил название «пузырь фильтров» .
Всё это ведёт к тому, что пользователи получают намного меньше противоречащей своей точке зрения информации и становятся интеллектуально изолированными в своём собственном «информационном пузыре». Таким образом, «эффект пузыря» может иметь негативные последствия для формирования гражданского мнения .
Предвзятость поисковых систем
Несмотря на то, что поисковые системы запрограммированы, чтобы оценивать веб-сайты на основе некоторой комбинации их популярности и релевантности, в реальности экспериментальные исследования указывают на то, что различные политические, экономические и социальные факторы оказывают влияние на поисковую выдачу .
Такая предвзятость может быть прямым результатом экономических и коммерческих процессов: компании, которые рекламируются в поисковой системе, могут стать более популярными в результатах обычного поиска в ней. Удаление результатов поиска, не соответствующих местным законам, является примером влияния политических процессов. Например, Google не будет отображать некоторые неонацистские веб-сайты во Франции и Германии, где отрицание Холокоста незаконно .
Предвзятость может также быть следствием социальных процессов, поскольку алгоритмы поисковых систем часто разрабатываются, чтобы исключить неформатные точки зрения в пользу более «популярных» результатов . Алгоритмы индексации главных поисковых систем отдают приоритет американским сайтам .
Поисковая бомба - один из примеров попытки управления результатами поиска по политическим, социальным или коммерческим причинам.
См. также
- Qwika
- Электронная библиотека#Списки библиотек и поисковые системы
- Панель инструментов веб-разработчика
Примечания
Литература
- Ашманов И. С. , Иванов А. А. Продвижение сайта в поисковых системах. - М. : Вильямс, 2007. - 304 с. - ISBN 978-5-8459-1155-1 .
- Байков В.Д. Интернет. Поиск информации. Продвижение сайтов. - СПб. : БХВ-Петербург, 2000. - 288 с. - ISBN 5-8206-0095-9 .
- Колисниченко Д. Н. Поисковые системы и продвижение сайтов в Интернете. - М. : Диалектика, 2007. - 272 с. - ISBN 978-5-8459-1269-5 .
- Ландэ Д. В. Поиск знаний в Internet. - М. : Диалектика, 2005. - 272 с. - ISBN 5-8459-0764-0 .
- Ландэ Д. В., Снарский А. А. , Безсуднов И. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы . - M.: Либроком (Editorial URSS), 2009. - 264 с. - ISBN 978-5-397-00497-8 .
- Chu H., Rosenthal M.
В Интернет специальный веб сайт, на котором пользователь по заданному запросу может получить ссылки на сайты, соответствующие этому запросу. Поисковая система состоит из трех компонент: 1 поискового робота; 2 индекса системы; и 3 программы,… … Финансовый словарь
Сущ., кол во синонимов: 3 искалка (9) ищейка (16) поисковик (13) Словарь синонимов AS … Словарь синонимов
поисковая система - поисковик Сайт, при помощи которого ищутся другие сайты. Поиск осуществляется путём ввода ключевых слов в окошко поиска. В отличии от каталогов, даже, если сайт не был предварительно зарегистрирован, его можно найти при помощи поисковика.… … Справочник технического переводчика
поисковая система - ieškos sistema statusas T sritis automatika atitikmenys: angl. searching system vok. Suchsystem, n rus. поисковая система, f pranc. système de recherche, m … Automatikos terminų žodynas
Поисковая система - – (англ. search engine, синонимы: искалка, поисковый сервер, поисковая машина) – Инструмент для поиска информации в Интернете. Как правило, работа поисковой машины состоит из двух этапов. Специальная программа (поисковый робот, автомат, агент,… … Энциклопедический словарь СМИ
Управления, система автоматического управления (См. Автоматическое управление), в которой управляющие воздействия методом поиска автоматически изменяются т. о., чтобы осуществлялось наилучшее (в каком то смысле) управление объектом; при… … Большая советская энциклопедия
Управлення система автоматического управления, в к рой управляющие воздействия методом поиска автоматического изменяются т. о., чтобы осуществлять наилучшее управление объектом; при этом изменения хар к объекта или воздействий внеш. среды заранее … Большой энциклопедический политехнический словарь
СМП 1 редназначена для поиска спасателей, попавших в критические условия, связанные с угрозой для жизни, а также поиска десантированных грузов и различных объектов в условиях плохой видимости. В ее состав входят: радиоблок поиска активных… … Словарь черезвычайных ситуаций
автоматизированная информационно-поисковая система - 3.2.5 автоматизированная информационно поисковая система: ИПС, реализованная на базе электронно вычислительной техники Источник … Словарь-справочник терминов нормативно-технической документации
У этого термина существуют и другие значения, см. Апорт. Апорт … Википедия
Книги
- Экстремальные задачи теории графов и Интернет. Учебное пособие , Райгородский Андрей Михайлович. Настоящая брошюра посвящена изучению различных экстремальных задач теории графов, (хотя бы частичное) решение которых может быть полезно при анализе данных. Она возникла на основе…
- Экстремальные задачи теории графов и интернет , Райгородский Ф.М.. Настоящая брошюра посвящена изучению различных экстремальных задач теории графов, (хотя бы частичное) решение которых может быть полезно при анализе данных. Она возникла на основе…
На первоначальной стадии развития Интернета пользователи были привилегированным меньшинством и объем доступной информации относительно небольшой. В тот период доступ к ней имели, в основном, работники различных крупных учебных заведений и лабораторий, и полученные данные использовались в научных целях. В то время использование Сети не имело такой актуальности, как сейчас.
В 1990 году британский ученный Тим Бернерс-Ли (который также является изобретателем URI, URL, HTTP, World Wide Web) создал сайт info.cern.ch , который является первым в мире доступным каталогом интернет-сайтов. С этого момента Интернет начал набирать популярность не только среди научных кругов, но и среди простых обладателей персональных компьютеров.
Таким образом, первым способом облегчения доступа к информационным ресурсам в Интернете стало формирование каталогов сайтов. Ссылки на ресурсы в них были сгруппированы по тематике.
Первым проектом такого рода принято считать Yahoo, открытый в апреле 1994 года . В связи со стремительным ростом количества сайтов в нём, вскоре появилась возможность поиска необходимой информации по запросу. Конечно же, это ещё не было полноценной поисковой системой. Поиск был ограничен только данными, которые находились в каталоге.
На ранних этапах развития сети интернет каталоги ссылок использовались очень активно, но постепенно утрачивали свою популярность. Причина проста: даже при наличии множества ресурсов в современных каталогах, они все равно показывают только малую часть имеющейся в сети Интернет информации. К примеру, самым большим каталогом сети является — DMOZ (Open Directory Project). Он содержит информацию о чуть более пяти миллионах ресурсов, что несоизмеримо с поисковой базой Google, содержащей более восьми миллиардов документов.
Самым крупным русскоязычным каталогом является Яндекс-каталог. Он содержит информацию о чуть более ста четырёх тысячах ресурсов.
Хронология развития поисковых систем
1945 год – американский инженер Ванневар Буш опубликовал записи идеи, которая привела в дальнейшем к изобретению гипертекста, и рассуждение о необходимости разработки системы быстрого извлечения данных из таким образом хранимой информации (эквивалент сегодняшних поисковых систем). Введённое им понятие устройства-расширителя памяти содержало оригинальные идеи, которые, в конце концов, воплотились в Интернете.
1960-е — Джерард Сэлтон и его группа в Корнелльском университете разработали «Остроумную систему извлечения информации» (SMART information retrieval system). SMART - аббревиатура от Salton’s Magic Automatic Retriever of Text, то есть «Волшебный автоматический извлекатель текста Сэлтона». Джерард Сэлтон считается отцом современной поисковой технологии.
1987-1989 – разработана Archie — поисковая система для индексации FTP архивов. Archie представлял из себя сценарий, автоматизирующий внедрение в листинги на ftp-серверах, которые затем переносились в локальные файлы, а уже потом в локальных файлах осуществлялся быстрый поиск необходимой информации. Поиск основывался на стандартной grep-команде Unix, а доступ пользователя к данным осуществлялся на основе telnet.
В следующей версии данные были разбиты на отдельные базы, одна из которых содержала только текстовые названия файлов; а другая — записи со ссылками на иерархические директории тысячи хостов; и еще одна, соединяющая первые две. Эта версия Archie была эффективней предыдущей, так как поиск производился только по именам файлов, исключая множество существующих ранее повторов.
Поисковая система становилась всё популярнее, и разработчики задумались, как ускорить её работу. Упомянутая выше база данных была заменена на другую, основанную на теории сжатого дерева. Новая версия, по существу, создала полнотекстную базу данных вместо списка имен файлов и была значительно быстрее, чем раньше. В дополнение, второстепенные изменения позволили системе Archie индексировать web-страницы. К сожалению, по различным причинам, работа над Archie вскоре прекратилась.
В 1993 году была создана первая в мире поисковая система для Всемирной сети Wandex . В её основу был заложен World Wide Web Wanderer бот, разработанный Метью Греем из Массачусетского технологического института.
1993 год – Мартин Костер создаёт Aliweb – одну из первых поисковых систем по World Wide Web. Владельцы сайтов должны были сами их добавлять в индекс Aliweb, чтобы они появлялись в поиске. Поскольку слишком мало вебмастеров это делали, Aliweb не стал популярным
20 апреля 1994 г. – Брайан Пинкертон из университета Вашингтон выпустил WebCrawler — первого бота, который индексировал страницы полностью. Основным отличием поисковой системы от своих предшественников является предоставление возможности пользователям осуществлять поиск по любым ключевым словам на любой веб-странице. Сегодня эта технология является стандартом поиска любой поисковой системы. Поисковая система «WebCrawler» стала первой системой, о которой было известно широкому кругу пользователей. Увы пропускная способность была невысокой и в дневное время система часто была недоступной.
20 июля 1994 г. – открылся Lycos — серьезная разработка в технологии поиска, созданная в университете Карнеги Мелон. Майкл Малдин был ответственен за эту поисковую систему и до сих пор остаётся ведущим специалистом в Lycos Inc. Lycos открылся с каталогом в 54,000 документов. И в дополнение к этому результаты, которые он предоставлял, были ранжированными, кроме того он учитывал приставки и приблизительное совпадение. Но главным отличием Lycos был постоянно пополняемый каталог: к ноябрю 1996 было проиндексировано 60 миллионов документов — больше, чем у любой другой поисковой системы того времени.
Январь 1994 г. — был основан Infoseek . Он не был по-настоящему инновационным, но имел ряд полезных дополнений. Одним из таких популярных дополнений была возможность добавления своей страницы в реальном времени.
1995 год – запустилась AltaVista . Появившись, поисковая система AltaVista быстро получила признание пользователей и стала лидером среди себе подобных. У системы была практически неограниченная на то время пропускная способность, она была первой поисковой системой, в которой было возможно формулировать запросы на естественном языке, а также формулировать сложные запросы. Пользователям было разрешено добавлять или удалять их собственные URL в течение 24 часов. Также AltaVista предлагала много советов и рекомендаций по поиску. Основной заслугой системы AltaVista считается обеспечение поддержки множества языков, в том числе китайского, японского и корейского. Действительно, в 1997 году ни одна поисковая машина в Сети не работала с несколькими языками, тем более с редкими.
1996 год — поисковая машина AltaVista запустила морфологическое расширение для русского языка. В этом же году были запущены первые отечественные поисковые системы – Rambler.ru и Aport.ru. Появление первых отечественных поисковых систем ознаменовало новый этап развития Рунета, позволяя русскоязычным пользователям осуществлять запрос на родном языке, а также оперативно реагировать на изменения, происходящие внутри Сети.
20 мая 1996 г. — появилась корпорация Inktomi вместе со своим поисковиком Hotbot . Его создателями были две команды из калифорнийского университета. Когда сайт появился, то он быстро стал популярным. В октябре 2001 Дэнни Салливан написал статью под названием «База данных спам сайтов Inktomi открыта для публичного пользования», в которой рассказывалось о том, как Inktomi случайно сделал свою базу данных спам сайтов, которая к тому времени насчитывала уже около 1 миллиона URL, доступной для всеобщего использования.
1997 год – в западных странах наступает переломный момент в развитии поисковых систем, когда С. Брин и Л. Пейдж из Стэндфордского университета основали Google (первоначальное название проекта BackRub). Они разработали собственную поисковую машину, которая дала пользователям возможность осуществлять качественный поиск с учетом морфологии, ошибок при написании слов, а также повысить релевантность в результатах выдачи запросов.
23 сентября 1997 года – анонсирован Yandex , который быстро стал самой популярной у русскоязычных пользователей Интернета системой поиска. С запуском в поисковой системы Яндекс отечественные поисковые машины начали конкурировать между собой, улучшая систему поиска и индексации сайтов, выдачи результатов, а также предлагая новые сервисы и услуги
Таким образом, развитие поисковых систем и их становление можно охарактеризовать перечисленными выше этапами.
На сегодняшний день на мировом рынке обосновались три лидера – Google, Yahoo и Bing. Они имеют свои собственные базы, и свои алгоритмы поиска. Многие другие поисковые системы используют результаты этих трех основных поисковых систем. Например, AOL использует базу данных Google в то время как AltaVista, Lycos и AllTheWeb используют базу данных Yahoo Все остальные поисковые системы в различных комбинациях, используют результаты (выдачу) перечисленных систем.
Если же провести аналогичный анализ поисковых систем, популярных в странах СНГ, то мы увидим, что mail.ru транслирует поиск Google, при этом накладывая свои новые наработки, Rambler, в свою очередь, транслирует Яндекс. Поэтому весь рынок рунета можно разделить между этими двумя гигантами.
Именно поэтому, в странах СНГ продвижение сайта, как правило, осуществляется только в этих двух ПС.
Что значит прошивка через три точки
Сохраняем ваши данные на Xiaomi – руководство как сделать бэкап Xiaomi как сделать резервное копирование
Как восстановить пароль на Xiaomi в MIUI если забыл его Как разблокировать смартфон xiaomi если забыл пароль