Лучшие поисковые программы. Поисковая система

Еще совсем недавно эрудиция была в большой цене. Но сегодня знание всех мировых столиц и мельчайших исторических подробностей является абсолютно бесполезным. Вместо того чтобы пичкать свой мозг никому не нужными фактами, достаточно лишь знать, какие есть поисковики в интернете. Все остальное решит умнейший программный алгоритм.

Краткое описание поисковых систем

Поисковая система - это программная система, которая предназначена для поиска информации во Всемирной Паутине. Результаты запроса, как правило, представлены в виде страницы выдачи, состоящей из десятка коротких текстовых блоков (сниппетов) в сочетании с мультимедийным контентом.

Сегодня насчитывается около полутора десятка международных инструментов поиска данных. Все они действуют по одним и тем же принципам:

1. За сбор информации отвечает краулер - робот (проще - специальная программа), который «ползает» с сайта на сайт и заносит в индекс различные типы данных (содержание страницы, программные сценарии, мета-теги и др.);
2. После добавления в индекс, информация становится доступной для рядового пользователя через интерфейс поисковой строки;
3. Выдача на странице результатов ранжируется особым образом. Ключевым показателем является релевантность - соответствие первоначальному запросу.

Как пользоваться поисковиком?

Разработчики этих систем сделали все возможное, чтобы работать с ними мог каждый, даже ребенок. И, нужно сказать, им это удалось:

1. Для того чтобы обратиться к разуму поисковой машины, достаточно перейти на ее официальный сайт. Дизайн стартовых страниц может отличаться, но строка для ввода текста обязательно будет на самом видном месте;
2. Еще более простой способ - задание запроса через адресную строку браузера. Большинство современных обозревателей поддерживают данную функцию;
3. Если набор текста в конкретной ситуации затруднен или невозможен, можно воспользоваться функцией голосового ввода (запускается по нажатию иконки с микрофоном);
4. Спустя доли секунды после обращения система выдаст результаты;
5. Для ускорения поиска можно использовать логические операторы. Так, добавление знака «минус» перед словом исключит его из выдачи, знака «плюс» - сообщит поисковой машине, что данное слово обязательно должно быть в искомом тексте, а словосочетание в кавычках запускает поиск по точной фразе;
6. Если найти нужную информацию не удалось - не беда. Никто не мешает воспользоваться другой службой. Приведем обзор главных игроков на этом рынке.

Обзор ключевых сервисов

На рубеже веков практически каждое государстве имело свой национальный поисковик. Однако по прошествии нескольких лет конкуренция оставила лишь нескольких глобальных игроков:

• Google - неоспоримый лидер рынка. На него приходится львиная доля мирового поискового трафика. В развитых странах его доля колеблется от 80 до 90%. В России успехи машины не столь впечатляющи: лишь 40% доля;
• Yandex - основной конкурент для Google в России, на данный момент занимает лидирующее место, по из-за смены поискового алгоритма в 2017 году постепенно стал терять свои позиции;
• ‒ занимает третье место в рунете (около 5%), поиск от известной российской компании, входит в состав Mail.Ru Group, которой принадлежат социальные сети «Вконтакте», «Одноклассники», поисковик Nigma (про него опишем ниже), платежная система Qiwi и много чего другого.
• Bing - служба от компании «Майкрософт». Лучшие результаты выдает прежде всего на английском языке. Русскоязычный сегмент практически не развит. Это, однако, не мешает Bing быть поисковиком № 2 в мире (7%);
• Далее с небольшим отрывом следует китайская компания «Байду » , которая обслуживает в основном рынки Восточной Азии (Китай и Япония). На Западе и в России она мало известна;
• Yahoo! - стояла у истоков современной сферы высоких технологий, но проиграла в конкурентной борьбе. Сегодня использует решение от «Майкрософт»;
• Nigma - некогда популярная поисковая система, основанная российскими программистами в 2005 году, теперь почти потерявшая долю трафика;
• Duckduckgogo - позиционирует себя как сервис, бережно относящийся к персональным данным юзеров (отсутствует сбор кэша и персонализация).

Яндекс: «наше все» в рунете

Разговор о поиске информации в сети был бы неполным без упоминания ключевого игрока на российском рынке - Яндекса. Ее основатели Аркадий Волож и Илья Сегалович запустили совместное предприятия задолго до появления на свет бренда Google. За много десятков лет поисковик выбился в топ крупнейших в мире (№4 с 2014 года).

Основная причина такого феномена заключается в высочайшем качестве сервиса:

• Яндекс первым запустил поиск с учетом русской морфологии. Эта новация позволила ему в 2001 году обскакать тогдашнего гиганта IT-индустрии Рамблера;
• С 2009 года служба стала учитывать регион проживания пользователя. Благодаря этому региональные сайты получили импульс к развитию;
• В том же году был запущен алгоритм машинного обучения «Матрикснет», который значительно увеличил скорость и качество работы сервиса;
• Параллельно развивался англоязычный сайт, для которого Яндекс арендовал офис в Калифорнии;
• В 2012 году результаты запроса стали учитывать персональные предпочтения конкретного юзера.

Популярность системы постоянно растет: с 2001 по 2017 годы объем трафика увеличился в 280 раз. Но, как мы писали ранее, после кардинальной смены алгоритма в 2017 году, Яндекс стал терять долю своих посетителей в пользу Гугл, посмотреть полную статистику трафика рунета на текущий момент можно по ссылке .

Как удалить информацию о себе из поисковика?

Интернет является не только благом для всего человечества, но и потенциальным источником угроз. Некоторые из них создают значительную опасность для персональных данных рядовых пользователей. После попадания в сеть даже самые оскорбительные сведения удалить невозможно.

Так, по крайней мере, было до недавнего времени. С января 2016 года в России действует закон «О праве на забвение». Теперь каждый человек, которого не устраивает его репутация в виртуальном мире, может очистить ее вполне легальным способом. Для этого необходимо:

1. Подать соответствующее заявление организацию, оказывающую поисковые услуги;
2. Приложить все возможные доказательства ложности и неактуальности данных, которые предлагается удалить из выдачи;
3. Большинство поисковиков облегчают задачу пользователям. Отправить соответствующую просьбу можно через специальную форму онлайн (для Яндекса);
4. На протяжении десяти дней компания будет проверять заявление на наличие законных оснований;
5. При положительном исходе информация подлежит удалению из индекса;
6. Если оснований для удаления не установлено, организация уведомляет об этом заявителя.

Бессменный ведущий программы «Умницы и умники» Юрий Вяземский в одном из интервью упомянул, как обнаружил необычное слово у Булгакова и пытался найти его значение. Работа в библиотеке заняла целый год (!). Сегодня представить такую ситуацию невозможно: в интернете есть множество поисковиков. Один клик - и каждый может подключиться к мировому разуму.

Видеообзор анонимных поисковых систем

В данном ролике Антон Морозов расскажет, какие существуют поисковики, сохраняющие полную конфиденциальность пользователя:

На первый взгляд может показаться, что быть лучше Google может только «Яндекс», да и то не факт. Эти компании вкладывают в инновации и развитие огромные суммы. Неужели хоть у кого-то есть шанс не только соперничать с лидерами, но и побеждать? Ответ Лайфхакера : «Да!» Есть несколько поисковиков, которым это удалось. Давайте посмотрим на наших героев.

Что это

Это довольно известная поисковая система с открытым исходным кодом. Серверы находятся в США. Кроме собственного робота, поисковик использует результаты других источников: Yahoo! Search BOSS, «Википедия», Wolfram|Alpha.

Чем лучше

DuckDuckGo позиционирует себя как поиск, обеспечивающий максимальную приватность и конфиденциальность. Система не собирает никаких данных о пользователе, не хранит логи (нет истории поиска), использование файлов cookie максимально ограничено.

DuckDuckGo не собирает личную информацию пользователей и не делится ею. Это наша политика конфиденциальности.
Гэбриел Вайнберг (Gabriel Weinberg), основатель DuckDuckGo

Зачем это вам

Все крупные поисковые системы стараются персонализировать поисковую выдачу на основе данных о человеке перед монитором. Этот феномен получил название «пузырь фильтров»: пользователь видит только те результаты, которые согласуются с его предпочтениями или которые система сочтёт таковыми.

DuckDuckGo формирует объективную картину, не зависящую от вашего прошлого поведения в Сети, и избавляет от тематической рекламы Google и «Яндекса», основанной на ваших запросах. При помощи DuckDuckGo легко искать информацию на иностранных языках: Google и «Яндекс» по умолчанию отдают предпочтение русскоязычным сайтам, даже если запрос введён на другом языке.

Что это

« » - российская метапоисковая система, разработанная выпускниками МГУ Виктором Лавренко и Владимиром Чернышовым. Осуществляет поиск по индексам Google, Bing, «Яндекса» и другим, а также имеет собственный поисковый алгоритм.

Чем лучше

Поиск по индексам всех крупных поисковых систем позволяет формировать релевантную выдачу. Помимо этого, «Нигма» разбивает результаты на несколько тематических групп (кластеров) и предлагает пользователю сузить поле поиска, отбросив ненужные или выделив приоритетные. Благодаря модулям «Математика» и «Химия» можно прямо в строке поиска решать математические задачи и запрашивать результаты химических реакций.

Зачем это вам

Избавляет от необходимости искать один и тот же запрос в разных поисковиках. Кластерная система позволяет легко манипулировать результатами поиска. Например, «Нигма» собирает в отдельный кластер результаты из интернет-магазинов. Если вы не намереваетесь что-то покупать, то просто исключите эту группу. Выбрав кластер «Англоязычные сайты», вы получите выдачу только на английском. Модули «Математика» и «Химия» помогут школьникам.

К сожалению, в настоящее время проект не развивается, так как разработчики перенесли свою активность на вьетнамский рынок. Тем не менее «Нигма» пока не только не устарела, но в некоторых вещах по-прежнему даёт фору Google. Будем надеяться, что разработка возобновится.

Что это

not Evil - система, осуществляющая поиск по анонимной сети Tor. Для использования нужно зайти в эту сеть, например запустив специализированный браузер с одноимённым названием. not Evil не единственный поисковик в своём роде. Есть LOOK (поиск по умолчанию в Tor-браузере, доступен из обычного интернета) или TORCH (один из самых старых поисковиков в Tor-сети) и другие. Мы остановились на not Evil из-за недвусмысленного намёка на сам Google (достаточно посмотреть на стартовую страницу).

Чем лучше

Ищет там, куда Google, «Яндексу» и другим поисковикам вход закрыт в принципе.

Зачем это вам

В сети Tor много ресурсов, которые невозможно встретить в законопослушном интернете. И по мере того как ужесточается контроль властей над содержанием Сети, их число будет расти. Tor - это своеобразная Сеть внутри Сети: со своими социалками, торрент-трекерами, СМИ, торговыми площадками, блогами, библиотеками и так далее.

YaCy

Что это

YaCy - децентрализованная поисковая система, работающая по принципу сетей P2P. Каждый компьютер, на котором установлен основной программный модуль, сканирует интернет самостоятельно, то есть является аналогом поискового робота. Полученные результаты собираются в общую базу, которую используют все участники YaCy.

Чем лучше

Здесь сложно говорить, лучше это или хуже, так как YaCy - это совершенно иной подход к организации поиска. Отсутствие единого сервера и компании-владельца делает результаты полностью независимыми от чьих-то предпочтений. Автономность каждого узла исключает цензуру. YaCy способен вести поиск в глубоком вебе и неиндексируемых сетях общего пользования.

Зачем это вам

Если вы сторонник открытого ПО и свободного интернета, не подверженного влиянию государственных органов и крупных корпораций, то YaCy это ваш выбор. Также с его помощью можно организовать поиск внутри корпоративной или другой автономной сети. И пусть пока в быту YaCy не слишком полезен, он является достойной альтернативой Google с точки зрения процесса поиска.

Pipl

Что это

Pipl - система, предназначенная для поиска информации о конкретном человеке.

Чем лучше

Авторы Pipl утверждают, что их специализированные алгоритмы ищут эффективнее, чем «обычные» поисковики. В частности, приоритетными источниками информации являются профили социальных сетей, комментарии, списки участников и различные базы данных, где публикуются сведения о людях, например базы судебных решений. Лидерство Pipl в этой области подтверждено оценками Lifehacker.com, TechCrunch и других изданий.

Зачем это вам

Если вам нужно найти информацию о человеке, проживающем в США, то Pipl будет намного эффективнее Google. Базы данных российских судов, видимо, недоступны для поисковика. Поэтому с гражданами России он справляется не так хорошо.

Что это

Ещё один специализированный поисковик. Ищет различные звуки (дом, природа, машины, люди и так далее) в открытых источниках. Сервис не поддерживает запросы на русском языке, но есть внушительный список русскоязычных тегов, по которым можно выполнить поиск.

Чем лучше

В выдаче только звуки и ничего лишнего. В настройках поиска можно выставить желаемый формат и качество звучания. Все найденные звуки доступны для скачивания. Имеется поиск звуков по образцу.

Зачем это вам

Если вам нужно быстро найти звук мушкетного выстрела, удары дятла-сосуна или крик Гомера Симпсона, то этот сервис для вас. И это я выбрал только из доступных русскоязычных запросов. На английском языке спектр ещё шире. А если серьёзно, специализированный сервис предполагает специализированную аудиторию. Но вдруг и вам пригодится?

Жизнь альтернативных поисковиков часто бывает скоротечной. О долгосрочных перспективах подобных проектов Лайфхакер спросил бывшего генерального директора украинского филиала компании «Яндекс» Сергея Петренко.

Что касается судьбы альтернативных поисковиков, то она проста: быть очень нишевыми проектами с небольшой аудиторией, следовательно без ясных коммерческих перспектив или, наоборот, с полной ясностью их отсутствия.

Если посмотреть на примеры в статье, то видно, что такие поисковики либо специализируются в узкой, но востребованной нише, которая, возможно только пока, не выросла настолько, чтобы оказаться заметной на радарах Google или «Яндекса», либо тестируют оригинальную гипотезу в ранжировании, которая пока не применима в обычном поиске.

Например, если поиск по Tor вдруг окажется востребованным, то есть результаты оттуда понадобятся хотя бы проценту аудитории Google, то, конечно, обычные поисковики начнут решать проблему, как их найти и показать пользователю. Если поведение аудитории покажет, что заметной доле пользователей в заметном количестве запросов более релевантными кажутся результаты, данные без учёта факторов, зависящих от пользователя, то «Яндекс» или Google начнут давать такие результаты.

«Быть лучше» в контексте этой статьи не означает «быть лучше во всём». Да, во многих аспектах нашим героям далеко до Google и «Яндекса» (даже до Bing далековато). Но зато каждый из этих сервисов даёт пользователю нечто такое, чего не могут предложить гиганты поисковой индустрии.

Поисковые системы (ПС) уже приличное время являются обязательной частью интернета. Сегодня они громадные и сложнейшие механизмы, которые представляют собой не только инструмент для нахождения любой необходимой информации, но и довольно увлекательные сферы для бизнеса.

Многие пользователи поиска никогда не думали о принципах их работы, о способах обработки пользовательских запросов, о том, как построены и функционируют данные системы. Данный материал поможет людям, которые занимаются оптимизацией и , понять устройство и основные функции поисковых машин.

Функции и понятие ПС

Поисковая система – это аппаратно-программный комплекс, который предназначен для осуществления функции поиска в интернете, и реагирующий на пользовательский запрос который обычно задают в виде какой-либо текстовой фразы (или точнее поискового запроса), выдачей ссылочного списка на информационные источники, осуществляющейся по релевантности. Самые распространенные и крупные системы поиска: Google, Bing, Yahoo, Baidu. В Рунете – Яндекс, Mail.Ru, Рамблер.

Рассмотрим поподробнее само значение запроса для поиска, взяв для примера систему Яндекс.

Запрос обязан быть сформулирован пользователем в полном соответствии с предметом его поиска, максимально просто и кратко. К примеру, мы желаем найти информацию в данном поисковике: «как выбрать автомобиль для себя». Чтобы сделать это, открываем главную страницу и вводим запрос для поиска «как выбрать авто». Потом наши функции сводятся к тому, чтобы зайти по предоставленным ссылкам на информационные источники в сети.

Но даже действуя таким образом, можно и не получить необходимую нам информацию. Если мы получили подобный отрицательный результат, нужно просто переформировать свой запрос, или же в базе поиска действительно нет никакой полезной информации по данному виду запроса (такое вполне возможно при заданных «узких» параметров запроса, как, к примеру, «как выбрать автомобиль в Анадыри»).

Самая основная задача каждой поисковой системы – доставить людям именно тот вид информации, который им нужен. А приучить пользователей создавать «правильный» вид запросов к поисковым системам, то есть фразы, которые будут соответствовать их принципам работы, практически, невозможно.

Именно поэтому специалисты-разработчики поисковиков делают такие принципы и алгоритмы их работы, которые бы давали пользователям находить интересующие их сведения. Это означает, что система, должна «думать» так же, как мыслит человек при поиске необходимой информации в интернете.

Когда он вводит свой запрос в поисковую машину, он желает найти то, что ему надо, как можно проще и быстрее. Получив результат, пользователь составляет свою оценку работе системы, руководствуясь несколькими критериями. Получилось ли у него найти нужную информацию? Если нет, то сколько раз ему пришлось переформатировать текст запроса, чтобы найти ее? Насколько актуальная информация была им получена? Как быстро поисковая система обработала его запрос? Насколько удобно были предоставлены поисковые результаты? Был ли нужный результат первым, или находился на 30-ом месте? Сколько «мусора» (ненужной информации) было найдено вместе с полезными сведениями? Найдется ли актуальная для него информация, при использовании ПС, через неделю, либо через месяц?

Для того чтобы получить правильные ответы на подобные вопросы, разработчики поиска постоянно улучшают принципы ранжирования и его алгоритмы, добавляют им новые возможности и функции и любыми средствами пытаются сделать быстрее работу системы.

Основные характеристики поисковых систем

Обозначим главные характеристики поиска:

Полнота.

Полнота является одной из главнейших характеристик поиска, она представляет собой отношение цифры найденных по запросу информационных документов к их общему числу в интернете, относящихся к данному запросу. Например, в сети есть 100 страниц имеющих словосочетание «как выбрать авто», а по такому же запросу было отобрано всего 60 из общего количества, то в данном случае полнота поиска составит 0,6. Понятно, что чем полнее сам поиск, тем больше вероятность, что пользователь найдет именно тот документ, который ему необходим, конечно, если он вообще существует.

Точность.

Еще одна основная функция поисковой системы – точность. Она определяет степень соответствия запросу пользователя найденных страниц в Сети. К примеру, если по ключевой фразе «как выбрать автомобиль» найдется сотня документов, в половине из них содержится данное словосочетание, а в остальных просто есть в наличии такие слова (как грамотно выбрать автомагнитолу, и установить ее в автомобиль»), то поисковая точность равна 50/100 = 0,5.

Чем поиск точнее, тем скорее пользователь найдет необходимую ему информацию, тем меньше разнообразного «мусора» будет встречаться среди результатов, тем меньше найденных документов будут не соответствовать смыслу запроса.

Актуальность.

Это значимая составляющая поиска, которую характеризует время, проходящее с момента опубликования информации в интернете до занесения ее в индексную базу поисковика.

К примеру, на следующий день после возникновения информации о выходе нового iPad, множество пользователей обратилась к поиску с соответствующими видами запросов. В большинстве случаев информация об этой новости уже доступна в поиске, хотя времени с момента ее появления прошло очень мало. Это происходит благодаря наличию у крупных поисковых систем «быстрой базы», которая обновляется несколько раз за день.

Скорость поиска.

Такая функция как скорость поиска теснейшим образом связана с так называемой «устойчивостью к нагрузкам». Ежесекундно к поиску обращается огромное количество людей, подобная загруженность требует значительного сокращения времени для обработки одного запроса. Тут интересы, как поисковой системы, так и пользователя целиком совпадают: посетитель хочет получить результаты как можно быстрее, а поисковая система должна отработать его запрос тоже максимально быстро, чтобы не притормозить обработку последующих запросов.

Наглядность.

Наглядное представление результатов является важнейшим элементом удобства поиска. По множеству запросов поисковая система находит тысячи, а в некоторых случаях и миллионы разных документов. Вследствие нечеткости составления ключевых фраз для поиска или его не точности, даже самые первые результаты запроса не всегда имеют только нужные сведения.

Это значит, что человеку часто приходится осуществлять собственный поиск среди предоставленных результатов. Разнообразные компоненты страниц выдачи ПС помогают ориентироваться в поисковых результатах.

История развития поисковых систем

Когда интернет только начал развиваться, число его постоянных пользователей было небольшим, и объем информации для доступа был сравнительно невеликим. В основном доступ к этой сети имели лишь специалисты научно-исследовательских сфер. В то время, задача нахождения информации не была столь актуальна как сейчас.

Одним из самых первых методов организации широкого доступа к ресурсам информации стало создание каталогов сайтов, причем ссылки на них начали группировать по тематике. Таким первым проектом стал ресурс Yahoo.com, который открылся весной 1994-ого года. Впоследствии когда количество сайтов в Yahoo-каталоге существенно увеличилось, была добавлена опция поиска необходимых сведений по каталогу. Это еще не было в полной мере поисковой системой, так как область такого поиска была ограничена только сайтами, входящими в данный каталог, а не абсолютно всеми ресурсами в интернете. Каталоги ссылок весьма широко использовались раньше, однако в настоящее время, практически в полной мере утратили свою популярность.

Ведь даже сегодняшние, громадные по своим объемам каталоги имеют информацию о незначительно части сайтов в интернете. Самый известный и большой каталог в мире имеет информацию о пяти миллионах сайтов, когда база Google содержит информацию о более чем 25 миллиардов страниц.

Самой первой настоящей поисковой системой стала WebCrawler, возникшая еще в 1994-ом году.

В следующем году появились AltaVista и Lycos. Причем первая была лидером по поиску информации очень длительное время.

В 1997-ом году Сергей Брин вместе с Ларри Пейджем создал машину поисковую Google как исследовательский проект в Стэндфордском университете. Сегодня именно Google, самая востребованная и популярная поисковая система в мире.

В сентябре 1997-ом году была анонсирована (официально) ПС Yandex, которая в настоящий момент является самой популярной системой поиска в Рунете.

По данным на сентябрь 2015 года , доли поисковых систем в мире распределены следующим образом:

• Google - 69,24 %;
• Bing - 12,26 %;
• Yahoo! - 9,19 %;
• Baidu - 6,48 %;
• AOL - 1,11 %;
• Ask - 0,23 %;
• Excite - 0,00 %

По данным на декабрь 2016 года , доли поисковых систем в Рунете:

• Яндекс - 48,40%
• Google - 45,10%
• Search.Mail.ru - 5,70%
• Rambler - 0,40%
• Bing - 0,30%
• Yahoo - 0,10%

Принципы работы поисковой системы

В России главной системой поиска является Яндекс, затем Google, а потом Поиск@Mail.ru. Все большие системы поиска имеют свою структуру, которая весьма отличается от других. Но все-таки можно выделить общие для всех поисковиков основные элементы.

Модуль индексирования.

Данный компонент состоит из трех программ-роботов:

Spider (по англ. паук) – программа которая предназначена для того чтобы скачивать веб-страницы. «Паук» скачивает определенную страницу, одновременно извлекая из нее все ссылки. Скачивается код html практически с каждой страницы. Для этого роботы используют HTTP-протоколы.

«Паук» функционирует следующим образом. Робот передает запрос на сервер “get/path/document” и иные команды запроса HTTP. В ответ программа-робот получает поток текста, который содержит информацию служебного вида и, естественно, сам документ.

• URL скаченной страницы;
• дата, когда осуществлялось скачивание страницы;
• заголовок http-ответа сервера;
• html-код, «тела» страницы.

Crawler («путешествующий» паук). Данная программа автоматически заходит на все ссылки, которые найдены на странице, а также выделяет их. Его задача – определиться, куда в дальнейшем должен заходить паук, основываясь на этих ссылках или исходя из заданного списка адресов.

Indexer (робот-индексатор) – это программа, анализирующая страницы, которые скачали пауки.

Индексатор полностью разбирает страницу на составные элементы и проводит их анализ, применяя свои морфологические и лексические виды алгоритмов.

Анализ проводится над разнообразными частями страницы, такими как заголовки, текст, ссылки, стилевые и структурные особенности, теги html и др.

Таким образом, модуль индексирования дает возможность проходить по ссылкам заданного количества ресурсов, скачивать страницы, извлекать ссылочную массу на новые страницы из полученных документов и делать подробный их анализ.

База данных

База данных (или индекс поисковика) - комплекс хранения данных, массив информации в котором сохраняются определенным образом переделанные параметры каждого обработанного модулем индексации и скачанного документа.

Поисковый сервер

Это самый важный элемент всей системы, потому что от алгоритмов, лежащих в основе ее функциональности, прямо зависит скорость и, конечно же, качество поиска.

Поисковый сервер работает следующим образом:

• Запрос, который идет от пользователя подвергается морфологическому анализу. Информационное окружение любого документа, имеющегося в базе, генерируется (оно и будет в дальнейшем отображаться как сниппет, т.е. информационное поле текста соответствующего данному запросу).
• Полученные данные передают как входные параметры специализированному модулю ранжирования. Они обрабатываются по всем документам, и в итоге для каждого такого документа рассчитывается свой рейтинг, который характеризует релевантность такого документа запросу пользователя, и иных составляющих.
• В зависимости от условий заданных пользователем этот рейтинг вполне может быть подкорректирован дополнительными.
• Затем генерируется сам сниппет, т.е. для любого найденного документа из соответствующей таблицы извлекают заголовок, аннотацию, наиболее отвечающую запросу, и ссылка на этот документ, при этом найденные словоформы и слова подсвечивают.
• Результаты полученного поиска передаются осуществившему его человеку в виде страницы, на которую выдают поисковые результаты (SERP).

Все эти элементы тесно связаны между собой и функционируют, взаимодействуя, образовывая отчетливый, но достаточно непростой механизм функционирования ПС, требующий громадных затрат ресурсов.

Большая часть времени, проводимая пользователем в интернете, тратится на поиск интересующей его информации. При этом существует масса способов добыть эти данные - можно заглянуть в онлайновую энциклопедию и попробовать отыскать ответ там, можно подписаться на рассылку по интересующей теме и внимательно изучать приходящую корреспонденцию, а можно посоветоваться с компетентными людьми на форуме, задав им вопрос. Но самый универсальный способ найти что-то в интернете - воспользоваться одной из многочисленных поисковых систем. Сервисы для осуществления поиска на миллионах и миллионах web-сайтов - это, пожалуй, основополагающее звено всемирной Сети. Без Google, Yahoo, Yandex и многих других привычных сегодня поисковых систем пребывание пользователя в Сети скорее напоминало бы хождение слепого по лесу. Значимость поисковых систем для работы в интернете трудно переоценить - у многих пользователей в качестве стартовых страниц указаны адреса поисковых систем, и именно с них для многих начинается бесконечное путешествие по различным ресурсам сети. Однако эффективность интернет-раскопок у всех разная - один человек находит информацию мгновенно, у другого на это уходит очень много времени, ну а третий может и вовсе не найти для себя ничего полезного. В чем же причина? Ответ прост: поиск в интернете сродни рыбалке - нужно знать, где ловить и на что ловить, т.е. где искать и как искать. В сегодняшней статье мы расскажем о том, как лучше всего проводить поиск в интернете, и поведаем, какие для этого существуют поисковые системы, кроме тех, которые "у всех на устах".

Однако начнем мы именно с тех систем, которые вы знаете. Если пользователь знает адрес поисковой системы, это еще не означает, что он умеет ею пользоваться. Давайте проверим, насколько вы хорошо разбираетесь в технологии поисковых запросов. То, насколько точные результаты вы получите, прежде всего, зависит от того, насколько умело вы сформировали поисковый запрос. Например, если вы ищете информацию для написания курсовой работы, не нужно вводить ее тему дословно, особенно если работа имеет узкую специализацию. Гораздо больше ценных сведений вы найдете, если попробуете подобрать ключевые слова, то есть те слова, которые обязательно будут встречаться в вашей работе. Если вы ищете утерянную инструкцию для автомагнитолы, то введя номер модели, наверняка получите огромное количество сайтов, предлагающих ее приобрести. Чтобы отсеять ненужные ссылки, можно использовать функцию поиска в найденном или исключить из поиска некоторые слова. Практически в каждом поисковике вы найдете функцию расширенного поиска. Это - еще один хороший способ отсеять ненужные результаты. Среди таких функций может пригодиться поиск страниц, которые недавно обновлялись, поиск страниц только на определенном языке или на сайтах, расположенных в указанной вами доменной зоне. Время, которое тратится на поиск, можно существенно сэкономить, если знать и использовать синтаксис языка запросов. Каждый поисковик имеет тут свои особенности. Например, когда вы ищете что-нибудь на Яндексе, то не лишним будет использовать следующие приемы:

• Для поиска слов, которые должны встретиться на странице в одном предложении, поставьте между ними символ &
• Чтобы исключить определенное слово из результатов поиска, добавьте его к своему запросу, поставив перед ним символы ~~
• Чтобы найти страницы, в которых содержится хотя бы одно из слов, указанных в поисковом запросе, разделите их символом |
• Для поиска слова в указанной форме поставьте перед ним восклицательный знак

Свои секреты есть и у поисковой системы Google. Вот лишь некоторые из них:

• Для поиска информации на определенном сайте (и только на нем) введите в поле запроса его адрес, предварив словом site и двоеточием (например, site:http://www.сайт)
• Для поиска фразы, которая должна встретиться на странице полностью, возьмите ее в кавычки
• Для исключения из результатов поиска страниц, на которых встречается определенное слово, добавьте его к своему запросу, поставив перед ним знак минус

Это - лишь несколько штрихов, которые могут помочь сделать поиск в интернете эффективнее. Если же вы хотите добиться оптимального результата, мы советуем вам подробнее ознакомиться с синтаксисом языка запросов, который подробно описан в справочной системе вашего любимого поисковика. В том, что Google и Yandex - это незаменимые инструменты для поиска в сети, сомневаться не приходится - поиск в этих системах удобен, гибок и очень точен. Но, тем не менее, это не означает, что альтернативные поисковые системы не имеют права на существование. Да - они индексируют меньшее количество страниц, да - их методы подбора ресурсов во многом спорны. Но у таких поисковых систем есть одно неоспоримое преимущество - они предлагают что-то новое, отличное от принятых стандартов. Поскольку альтернативные поисковые сервисы используют иной подход к подбору ресурсов, соответствующих запросу, результат поиска будет совершенно иной, чем в случае с привычными поисковыми системами. Так что, если долгие поиски по известным сервисам ни к чему не привели, это означает одно - нужно сменить тактику и попробовать другие методы поиска информации, с помощью альтернативных поисковых систем. Зачастую альтернативные поисковики используют для сбора результатов один или несколько списков с ресурсами, которые были найдены Google, Yahoo и другими крупными системами. Эти результаты фильтруются, отбираются лучшие и часто для лучшего восприятия визуализируются при помощи диаграммы, карты сайтов, облака тегов и т.д. Разработчики альтернативных поисковых систем порой так далеко заходят в своих поисках нового универсального интерфейса, что, иногда трудно признать в web-странице поисковую машину. И тем не менее, это - поисковые системы. Необычные и странные, на первый взгляд...

FindSounds.com - ищет звуки

Этот ресурс предназначен для тех пользователей, которые находятся в творческом поиске. Ресурс позволяет искать звуковые файлы разных форматов - wav, mp3, aiff, au. В базе данных ресурса есть самые разнообразные звуки - крики животных, скрежет машин, звон, стук, сирены, жужжание насекомых, грохот взрывов и стрельбы, всплеск воды и т.д. Звуковые файлы могут искаться по разным критериям, например, по размеру, наличию двух или одного каналов звучания (стерео/моно), частоте дискретизации и разрядности звучания. В результатах поиска ресурс показывает не только ссылки на найденные файлы, но и их основные характеристики, а также показывает график амплитуды звука, по которой можно судить о характере звучания данного семпла.

База звуковых эффектов FindSounds может найти применение в самых разных областях - от разработки компьютерных игр и прочих приложений, до создания презентаций и всевозможных клипов. Поисковик может пригодиться, например тем, кто создает интерактивную web-графику и желает внести разнообразие на сайт, сопроводив нажатие элементов навигации страниц различными звуками.

Gnod.net - подберет музыку, книги и фильмы по вкусу

Когда у человека возникает желание почитать новую книгу, послушать какую-нибудь новую музыку или посмотреть фильм, он, как правило, обращается за советом к своему другу или знакомому, который в его глазах имеет авторитет. Однако найти того, кто согласился бы высказать свое мнение по данному вопросу, не так просто. Во-первых, не все любят давать советы, ведь рекомендуя что-то другому, человек берет на себя долю ответственности, и многих останавливает вопрос "А вдруг фильм, который я посоветую, ему не понравится?" Во-вторых, человек, который дает совет, должен понимать, что именно понравится собеседнику, а что - будет совершенно неинтересно. Ведь на вкус и цвет, как говорится… Но есть более простой способ получить хороший совет - воспользоваться особым поисковиком, который сделан именно для этой цели. Итак, вы захотели послушать новую группу, но нет времени и желания искать хорошую музыку. Ресурс gnod.net поинтересуется у вас несколькими именами музыкальных исполнителей, которые вам нравятся, проведет анализ результатов и предложит свой вариант певца или группы, которая тоже должна вам понравиться. Сервис имеет несколько баз данных - по музыкальным исполнителям, по фильмам, книгам и людям. Таким образом, ресурс вобрал в себя четыре сервиса: Gnod Music, Gnod Books, Gnod Movies и Flork. Последний сервис, Flork - это социальный эксперимент по обнаружению людей, которым интересно общаться друг с другом. Мы с удовольствием протестировали музыкальный раздел этого сервиса и ввели трех исполнителей - Gerry and the Pacemakers, The Beatles и Hollies. Наша подборка не была случайной - эти три группы принадлежат к эпохе шестидесятых, к интересному явлению, которое носит название Британское вторжение (British Invasion). Все эти группы играли бит, и поисковик должен был предложить группу или исполнителя в том же стиле. Так и случилось. Результат, предложенный нам - это группа Archies, которая в конце шестидесятых была на устах у всех американцев со своей веселой песенкой Sugar Sugar. Поиграв с поисковиком какое-то время, мы пришли к выводу, что gnod.net чаще дает правильный совет, а ошибается не очень часто. Для наглядности, результаты своего "совета" поисковик может предоставить в виде анимированного облака с названиями групп, авторов или фильмов. Базу данных можно пополнять самостоятельно, проводя "беседы" с поисковиком и отвечая на его вопросы в стиле "это мне нравится" или "это мне не нравится".

Alldll.net - найдет файлы библиотек

Этот поисковик мы рекомендуем вам сразу занести в закладки, так как рано или поздно он обязательно пригодится. Вероятно, каждому доводилось хотя бы раз столкнуться с проблемой отсутствия в системе какой-то библиотеки dll. Обычно это приводит к тому, что программы или игры отказываются запускаться, и на экране появляется сообщение "Couldn"t find *****.dll". Причин тому может быть много, например, отсутствие файла может быть вызвано некорректным удалением ранее установленного приложения, случайным повреждением файла и т.д. Кроме того, разработчик мог просто не включить в дистрибутив своего продукта эту библиотеку.

Исправить ситуацию очень просто - достаточно найти в интернете недостающий файл, загрузить его и скопировать в директорию той программы, которая отказывается запускаться, либо в папку..WINDOWSsystem32... Найти и скачать отсутствующий файл можно легко и быстро с помощью данного сервиса. Ресурс www.alldll.net представляет собой поисковую базу данных по наиболее популярным библиотекам dll. Файлы рассортированы по алфавиту, присутствует функция поиска. Искомый файл можно искать, даже если вам известно только приблизительное название библиотеки. Достаточно в поле запроса начать вводить текст, и в нижней части страницы появится огромный список файлов, которые начинаются с тех букв, которые были набраны.

Medpoisk.ru - поиск медицинской информации

Несмотря на то, что данная поисковая система использует движок поиска от Google, это ни в коей мере не снижает ее ценность. Medpoisk.ru - это универсальный поисковик, который предназначен для поиска исключительно на медицинских сайтах. Этот сайт - отличный инструмент для каждого медика и всех, кто желает получить ответ на любой вопрос из области медицины. Как лечить ту или иную болезнь, какие противопоказания у того или иного лекарства, к какому врачу обратиться - все это и многое другое можно узнать, "спросив" у поисковика. Поисковик включает в себя биржу труда и может использоваться для поиска работы среди медицинских работников. Ресурс также содержит каталог медицинских учреждений, рассортированных по регионам. Среди этих учреждений адреса клиник, медицинских центров разной направленности, родильные дома, диагностические центры, косметологические салоны и пр. Мы вам искренне желаем, чтобы этим поисковым сервисом вы пользовались исключительно из любопытства, а не по необходимости.

Taggalaxy.de - поиск картинок и фотографий

Возможно, вы слышали о популярном сервисе для обмена графическими файлами Flickr.com ? Это тот самый сервис, который в 2007 году был заблокирован китайскими властями, после того как на его страницах появились фотографии печальных событий 1989 года на площади Тяньаньмэнь, расположенной в столице Китая Пекине. Flickr.com является одним из первых Web 2.0 сервисов, а число изображений, загружаемых на него пользователями, исчисляется миллиардами. Количество картинок, загружаемых на серверы этого сервиса столь велико, что для того чтобы найти какое-то конкретное изображение в этом океане снимков и картин, необходима отдельная поисковая система. Сервис предлагает услугу поиска по изображениям, однако есть более интересный способ искать картинки - используя необычный поисковик taggalaxy.de. Этот поисковый сервис представляет собой средство для поиска изображений на Flickr.com, с предварительным просмотром. А необычным его делает интерфейс поиска, который полностью сделан трехмерным. Процесс поиска по ключевому слову напоминает какую-то компьютерную игру - в космическом пространстве летают разные небесные тела, между которыми можно перемещаться в виртуальном мире.

После того, как будет выполнен запрос по ключевому слову, на экране возникнет система из солнца и планет, которые вращаются вокруг светила. Каждое небесное тело имеет свое предназначение и "подписано" словом. В центре галактики - солнце, ключевой запрос, все остальные тела - это вспомогательные слова, уточнения. Если щелкнуть мышью по солнцу, этот объект приблизится, и со всех сторон на него слетятся и окружат фотографии, содержание которых определено поисковым запросом. Эту трехмерную модель с фотографиями можно поворачивать в виртуальном пространстве, подробно рассматривая и выискивая интересующее изображение. После этого достаточно щелкнуть по картинке, чтобы она увеличилась в размере, и тогда ее можно будет лучше рассмотреть и почитать описание.

В процессе работы с этим поисковиком, можно использовать функцию скроллинга - она позволяет приближать или отдалять трехмерные планеты. Остальные планеты, которые видны в интерфейсе поисковика после запроса - это вспомогательные слова, позволяющие уточнить запрос. Например, если ввести в поле поиска "Sky", то среди уточняющих слов-планет будут слова "сlouds", "sunset", "blue" и другие схожие по смыслу тэги, которые пользователи указали при использовании сервиса Flickr.com. Недостатком поисковой системы можно считать то, что taggalaxy.de не поддерживает русский язык, поэтому запросы можно вводить только латиницей.

Nigma.ru - фильтрует результаты других поисковых систем

Среди всех поисковых систем, которые можно встретить в интернете, существует особая группа поисковиков. Она отличается от всех остальных тем, что в них реализована функция мультипоиска, то есть одновременного поиска по нескольким поисковым системам. Одной из таких мультипоисковых систем является российский сервис Nigma.ru.

Nigma содержит собственную базу ресурсов, но помимо этого позволяет выполнять поиск сразу по всем наиболее популярным поисковым системам, в числе которых - Google, MSN, Yandex, Rambler, AltaVista, Yahoo и Aport. Механизм отбора результатов в этой поисковой машине отличается от большинства принятых методов обнаружения сайтов. Дело в том, что движок этого сервиса использует кластеризацию результатов. Что это означает? Представьте себе, что вы решили для себя выяснить, что такое "рендеринг". Сопоставив результаты в разных поисковых системах, движок Nigma.ru отобрал наиболее вероятные результаты и при этом в левой части окна, рядом со списком результатов поиска, отобразил так называемые кластеры - "визуализация", "создание", "система", "rendering", "процесс", "studio max", "компьютерной графики" и другие слова и словосочетания. Эти кластеры представляют собой тематическую группу найденных документов. Таким образом, можно быстро сузить круг поиска или конкретизировать поисковый запрос. В Nigma.ru можно также использовать рубрики, чтобы ограничить область, из которой будут выбираться результаты - например, выполнять поиск только с учетом музыкальных ресурсов или вывести результаты только для изображений. Еще одна возможность этого сервиса может быть интересна школьникам и студентам. Nigma.ru предлагает сервисы Nigma-математика и Nigma-химия. Первый предназначен для быстрого решения простых уравнений и различных арифметических операций, второй позволяет работать с формулами химических реакций. Поисковый сервис распознает более тысячи физических, математических констант и единиц измерения, позволяя быстро выполнять преобразование из одной размерности в другую.

Searchme.com - поисковик с предпросмотром

Всем известно, что для того чтобы найти конкретную информацию в сети, необходимо потратить немало времени. Просматривая результаты поиска, пользователь, в основном, открывает ресурсы наугад, не зная наверняка, найдет ли он на новой странице то, что его интересует, или это будет пустой тратой времени. Создатели поискового сервиса searchme.com задумались над этой проблемой и придумали ее оригинальное решение. Суть этого решения состояла в том, чтобы создать такую поисковую систему, в которой пользователь мог бы посмотреть на приблизительный эскиз страницы еще до ее загрузки. Это позволило бы составить дополнительное мнение о серьезности ресурса и о его содержании.

Реализация этой идеи была просто великолепной - созданный поисковик имеет красивый анимированный трехмерный интерфейс и показывает результаты поиска в виде анимированной ленты эскизов, уменьшенных скриншотов web-страниц, включающих в себя ключевое слово поиска. Ленту с результатами, подобно пленке со старыми негативами, можно прокручивать в окне браузера, используя специальный ползунок, расположенный под вереницей изображений. Эскизы мгновенно подгружаются, поэтому никаких "тормозов" с прорисовкой результатов не наблюдается. Особенно удобно работать с результатами поиска в полноэкранном режиме - тогда вполне можно разобрать даже текст статей на эскизах результатов. Чтобы оценить удобство этой системы, достаточно попробовать просмотреть новостные ресурсы. Фотографии к главным новостям на титульной странице web-издания, тут же дадут понять, какую новость на данном ресурсе считают наиболее важной.

Выход - специализированный поисковик торрентов. Сайтов, которые ищут по торрент-ресурсам, в сети немало. Однако torrent-finder.com имеет перед остальными поисковыми системами неоспоримое преимущество - этот сервис позволяет искать файлы на огромном числе трекеров одновременно.

Для профессионального поиска в Интернете необходимы специализированный софт, а также специализированные поисковики и поисковые сервисы.

ПРОГРАММЫ

http://dr-watson.wix.com/home – программа предназначена для исследования массивов текстовой информации с целью выявления сущностей и связей между ними. Результат работы – отчет об исследуемом объекте.

http://www.fmsasg.com/ - одна из лучших в мире программ по визуализации связей и отношений Sentinel Vizualizer . Компания полностью русифицировала свои продукты и подключил горячую линию на русском.

http://www.newprosoft.com/ – “Web Content Extractor” является наиболее мощным, простым в использовании ПО извлечения данных из web сайтов. Имеет также эффективный Visual Web паук.

SiteSputnik – не имеющий в мире аналогов программный комплекс, позволяющий вести поиск и обработку его результатов в Видимом и Невидимом Интернете, используя все необходимые пользователю поисковики.

WebSite-Watcher – позволяет проводить мониторинг веб-страниц, включая защищенные паролем, мониторинг форумов, RSS каналов, групп новостей, локальных файлов. Обладает мощной системой фильтров. Мониторинг ведется автоматически и поставляется в удобном для пользователя виде. Программа с расширенными функциями стоит 50 евро. Постоянно обновляется.

http://www.scribd.com/ – наиболее популярная в мире и все более широко применяемая в России платформа размещения различного рода документов, книг и т.п. для свободного доступа с очень удобным поисковиком по названиям, темам и т.п.

http://www.atlasti.com/ – представляет собой самый мощный и эффективный из доступных для индивидуальных пользователей, небольшого и даже среднего бизнеса инструмент качественного анализа информации. Программа многофункциональная и потому полезная. Совмещает в себе возможности создания единой информационной среды для работы с различными текстовыми, табличными, аудио и видеофайлами, как единым целым, а также инструменты качественного анализа и визуализации.

Ashampoo ClipFinder HD – все возрастающая доля информационного потока приходится на видео. Соответственно, конкурентным разведчикам нужны инструменты, позволяющие работать с этим форматом. Одним из таких продуктов является представляемая бесплатная утилита. Она позволяет осуществлять поиск роликов по заданным критериям на видеофайловых хранилищах типа YouTube. Программа проста в использовании, выводит на одну страницу все результаты поиска с подробными сведениями, названиями, длительностью, временем, когда видео было загружено в хранилище и т.п. Имеется русский интерфейс.

http://www.advego.ru/plagiatus/ – программа сделана seo оптимизаторами, но вполне подходит как инструмент интернет-разведки. Плагиатус показывает степень уникальности текста, источники текста, процент совпадения текста. Также программа проверяет уникальность указанного URL. Программа бесплатная.

http://neiron.ru/toolbar/ – включает надстройку для объединения поиска Google и Yandex, а также позволяет осуществлять конкурентный анализ, базирующийся на оценке эффективности сайтов и контекстной рекламы. Реализован как плагин для FF и GC.

http://web-data-extractor.net/ – универсальное решение для получения любых данных, доступных в интернете. Настройка вырезания данных с любой страницы производится в несколько кликов мыши. Вам нужно просто выбрать область данных, которую вы хотите сохранять и Datacol сам подберет формулу для вырезания этого блока.

CaptureSaver – профессиональный инструмент исследования интернета. Просто незаменимая рабочая программа, позволяющая захватывать, хранить и экспортировать любую интернет информацию, включая не только web страницы, блоги, но и RSS новости, электронную почту, изображения и многое другое. Обладает широчайшим функционалом, интуитивно понятным интерфейсом и смешной ценой.

http://www.orbiscope.net/en/software.html – система веб мониторинга по более чем доступным ценам.

http://www.kbcrawl.co.uk/ – программное обеспечение для работы, в том числе в «Невидимом интернете».

http://www.copernic.com/en/products/agent/index.html – программа позволяет вести поиск, используя более 90 поисковых систем, более чем по 10 параметрам. Позволяет объединять результаты, устранять дубликаты, блокировать нерабочие ссылки, показывать наиболее релевантные результаты. Поставляется в бесплатной, личной и профессиональной версиях. Используется больше чем 20 млн.пользователей.

Maltego – принципиально новое программное обеспечение, позволяющее устанавливать взаимосвязь субъектов, событий и объектов в реале и в интернете.

СЕРВИСЫ

new https://hunter.io/ – эффективный сервис для обнаружения и проверки email.

https://www.whatruns.com/ – простой в использовании, но эффективный сканер, позволяющий обнаружить, что работает и не работает на веб-сайте и каковы дыры в безопасности. Реализован также как плагин к Chrom.

https://www.crayon.co/ – американская бюджетная платформа рыночной и конкурентной разведки в интернете.

http://www.cs.cornell.edu/~bwong/octant/ – определитель хостов.

https://iplogger.ru/ – простой и удобный сервис для определения чужого IP .

http://linkurio.us/ – новый мощный продукт для работников экономической безопасности и расследователей коррупции. Обрабатывает и визуализирует огромные массивы неструктурированной информации из финансовых источников.

http://www.intelsuite.com/en – англоязычная онлайн платформа для конкурентной разведки и мониторинга.

http://yewno.com/about/ – первая действующая система перевода информации в знания и визуализации неструктурированной информации. В настоящее время поддерживает английский, французский, немецкий, испанский и португальский языки.

https://start.avalancheonline.ru/landing/?next=%2F – прогнозно-аналитические сервисы Андрея Масаловича.

https://www.outwit.com/products/hub/ – полный набор автономных программ для профессиональной работы в web 1.

https://github.com/search?q=user%3Acmlh+maltego – расширения для Maltego.

http://www.whoishostingthis.com/ – поисковик по хостингу, IP адресам и т.п.

http ://appfollow .ru / – анализ приложений на основе отзывов, ASO оптимизации, позиций в топах и поисковых выдачах для App Store , Google Play и Windows Phone Store .

http://spiraldb.com/ – сервис, реализованный как плагин к Chrom , позволяющий получить множество ценной информации о любом электронном ресурсе.

https://millie.northernlight.com/dashboard.php?id=93 - бесплатный сервис, собирающий и структурирующий ключевую информацию по отраслям и компаниям. Есть возможность использования информационных панелей основанных на текстовом анализе.

http://byratino.info/ – сбор фактографических данных из общедоступных источников в сети Интернет.

http://www.datafox.co/ – CI платформа собирающая и анализирующая информацию по интересующим клиентов компаниям. Есть демо.

https://unwiredlabs.com/home - специализированное приложение с API для поиска по геолокации любого устройства, подключенного к интернету.

http://visualping.io/ – сервис мониторинга сайтов и в первую очередь имеющихся на них фотографий и изображений. Даже если фотография появилась на секунду, она будет в электронной почте подписчика. Имеет плагин для G oogleC hrome.

http://spyonweb.com/ – исследовательский инструмент, позволяющий осуществить глубокий анализ любого интернет-ресурса.

http://bigvisor.ru/ – сервис позволяет отслеживать рекламные компании по определенным сегментам товаров и услуг, либо конкретным организациям.

http://www.itsec.pro/2013/09/microsoft-word.html – инструкция Артема Агеева по использованию программ Windows для нужд конкурентной разведки.

http://granoproject.org/ – инструмент с открытым исходным кодом для исследователей, которые отслеживают сети связей между персонами и организациями в политике, экономике, криминале и т.п. Позволяет соединять, анализировать и визуализировать сведения, полученные из различных источников, а также показывать существенные связи.

http://imgops.com/ – сервис извлечения метаданных из графических файлов и работы с ними.

http://sergeybelove.ru/tools/one-button-scan/ – маленький он-лайн сканер для проверки дыр безопасности сайтов и других ресурсов.

http://isce-library.net/epi.aspx – сервис поиска первоисточников по фрагменту текста на английском языке

https://www.rivaliq.com/ – эффективный инструмент для ведения конкурентной разведки на западных, в первую очередь, европейских и американских рынках товаров и услуг.

http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.

http://falcon.io/ – своего рода Rapportive для Web. Он не является заменой Rapportive, а дает дополнительные инструменты. В отличие от Rapportive дает общий профиль человека, как бы склеенный из данных из социальных сетей и упоминаний в web.http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.

https://addons.mozilla.org/ru/firefox/addon/update-scanner/ – дополнение для Firefox. Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).

http://agregator.pro/ – агрегатор новостных и медийных порталов. Используется маркетологами, аналитиками и т.п. для анализа новостных потоков по тем или иным темам.

http://price.apishops.com/ – автоматизированный веб-сервис мониторинга цен по выбранным товарным группам, конкретным интернет-магазинам и другим параметрам.

http://www.la0.ru/ – удобный и релевантный сервис анализа ссылок и бэклинков на интернет-ресурс.

www.recordedfuture.com – мощный инструмент анализа данных и их визуализации, реализованный как он-лайн сервис, построенный на «облачных» вычислениях.

http://advse.ru/ – сервис под слоганом «Узнай все про своих конкурентов». Позволяет в соответствии с поисковыми запросами получить сайты конкурентов, анализировать рекламные компании конкурентов в Google и Yandex.

http://spyonweb.com/ – сервис позволяет определить сайты с одинаковыми характеристиками, в том числе, использующими одинаковые идентификаторы сервиса статистики Google Analytics, IP адреса и т.п.

http://www.connotate.com/solutions – линейка продуктов для конкурентной разведки, управления информационными потоками и преобразования сведений в информационные активы. Включает как сложные платформы, так и простые дешевые сервисы, позволяющие эффективно вести мониторинг вместе с компрессией информации и получением только нужных результатов.

http://www.clearci.com/ – платформа конкурентной разведки для бизнеса различных размеров от стартапов и маленьких компаний до компаний из списка Fortune 500. Решена как saas.

http://startingpage.com/ – надстройка на Google, позволяющая вести поиск в Google без фиксации вашего IP адреса. Полностью поддерживает все поисковые возможности Google, в том числе и а русском языке.

http://newspapermap.com/ – уникальный сервис, очень полезный для конкурентного разведчика. Соединяет геолокацию с поисковиком он-лайн медиа. Т.е. вы выбираете интересующий вас регион или даже город, или язык, на карте видите место и список он-лайн версий газет и журналов, нажимаете на соответствующую кнопку и читаете. Поддерживает русский язык, очень удобный интерфейс.

http://infostream.com.ua/ – очень удобная отличающаяся первоклассной выборкой, вполне доступная для любого кошелька система мониторинга новостей «Инфострим» от одного из классиков интернет-поиска Д.В.Ландэ.

http://www.instapaper.com/ – очень простой и эффективный инструмент для сохранения необходимых веб-страниц. Может использоваться на компьютерах, айфонах, айпадах и др.

http://screen-scraper.com/ – позволяет автоматически извлекать всю информацию с веб-страниц, скачивать подавляющее большинство форматов файлов, автоматически вводить данные в различные формы. Скачанные файлы и страницы сохраняет в базах данных, выполняет множество других чрезвычайно полезных функций. Работает под всеми основными платформами, имеет полнофункциональную бесплатную и очень мощные профессиональные версии.

http://www.mozenda.com/- имеющий несколько тарифных планов и доступный даже для малого бизнеса веб сервис многофункционального веб мониторинга и доставки с избранных сайтов необходимой пользователю информации.

http://www.recipdonor.com/ - сервис позволяет осуществлять автоматический мониторинг всего происходящего на сайтах конкурентов.

http://www.spyfu.com/ – а это, если у вас конкуренты иностранные.

www.webground.su – созданный профессионалами Интернет-поиска сервис для мониторинга Рунета, включающий всех основных поставщиков информации, новостей и т.п., способен к индивидуальным настройкам мониторинга под нужды пользователя.

ПОИСКОВИКИ

https ://www .idmarch .org / – лучший по качеству выдачи поисковик мирового архива pdf документов. В настоящее время проиндексировано более 18 млн. pdf документов, начиная от книг, заканчивая секретными отчетами.

http://www.marketvisual.com/ – уникальный поисковик, позволяющий вести поиск собственников и топ-менеджмента по ФИО, наименованию компании, занимаемой позиции или их комбинации. В поисковой выдаче содержатся не только искомые объекты, но и их связи. Рассчитана прежде всего на англоязычные страны.

http://worldc.am/ – поисковик по фотографиям в свободном доступе с привязкой к геолокации.

https://app.echosec.net/ – общедоступный поисковик, который характеризует себя как самый продвинутый аналитический инструмент для правоохранительных органов и профессионалов безопасности и разведки. Позволяет вести поиск фотографий, размещенных на различных сайтах, социальных платформах и в социальных сетях в привязке к конкретным геолокационным координатам. В настоящее время подключено семь источников данных. До конца года их число составит более 450. За наводку спасибо Дементию.

http://www.quandl.com/ – поисковик по семи миллионам финансовых, экономических и социальных баз данных.

http://bitzakaz.ru/ – поисковик по тендерам и госзаказам с дополнительными платными функциями

Website-Finder – дает возможность найти сайты, которые плохо индексирует Google. Единственным ограничением является то, что для каждого ключевого слова он ищет только 30 веб-сайтов. Программа проста в использовании.

http://www.dtsearch.com/ – мощнейший поисковик, позволяющий обрабатывать терабайты текста. Работает на рабочем столе, в интернете и в интранете. Поддерживает как статические, так и динамические данные. Позволяет искать во всех программах MS Office. Поиск ведется по фразам, словам, тегам, индексам и многому другому. Единственная доступная система федеративного поиска. Имеет как платную, так и бесплатную версии.

http://www.strategator.com/ – осуществляет поиск, фильтрацию и агрегацию информации о компании из десятка тысяч веб-источников. Ищет по США, Великобритании, основным странам ЕЭС. Отличается высокой релевантностью, удобностью для пользователя, имеет бесплатные и платный вариант (14$ в месяц).

http://www.shodanhq.com/ – необычный поисковик. Сразу после появления получил кличку «Гугл для хакеров». Ищет не страницы, а определяет IP адреса, типы роутеров, компьютеров, серверов и рабочих станций, размещенных по тому или иному адресу, прослеживает цепочки DNS серверов и позволяет реализовать много других интересных функций для конкурентной разведки.

http://search.usa.gov/ – поисковик по сайтам и открытым базам всех государственных учреждений США. В базах находится много практической полезной информации, в том числе и для использования в нашей стране.

http://visual.ly/ – сегодня все шире для представления данных используется визуализация. Это первый поисковик инфографики в Вебе. Одновременно с поисковиком на портале есть мощные инструменты визуализации данных, не требующие навыков программирования.

http://go.mail.ru/realtime –поиск по обсуждениям тем, событий, объектов, субъектов в режиме реального, либо настраиваемого времени. Ранее крайне критикуемый поиск в Mail.ru работает очень эффективно и дает интересную релевантную выдачу.

Zanran – только что стартовавший, но уже отлично работающий первый и единственный поисковик для данных, извлекающий их из файлов PDF, таблиц EXCEL, данных на страницах HTML.

http://www.ciradar.com/Competitive-Analysis.aspx – одна из лучших в мире систем поиска информации для конкурентной разведки в «глубоком вебе». Извлекает практически все виды файлов во всех форматах по интересующей теме. Реализована как веб-сервис. Цены более чем приемлемые.

http://public.ru/ – Эффективный поиск и профессиональный анализ информации, архив СМИ с 1990 года. Интернет-библиотека СМИ предлагает широкий спектр информационных услуг: от доступа к электронным архивам публикаций русскоязычных СМИ и готовых тематических обзоров прессы до индивидуального мониторинга и эксклюзивных аналитических исследований, выполненных по материалам печати.

Cluuz – молодой поисковик с широкими возможностями для конкурентной разведки, особенно, в англоязычном интернете. Позволяет не только находить, но и визуализировать, устанавливать связи между людьми, компаниями, доменами, e-mail, адресами и т.п.

www.wolframalpha.com – поисковик завтрашнего дня. На поисковый запрос выдает имеющуюся по объекту запроса статистическую и фактологическую информацию, в том числе, визуализированную.

www.ist-budget.ru – универсальный поиск по базам данных госзакупок, торгов, аукционов и т.п.