Глубокий интернет: различия между версиями
0men (обсуждение | вклад) (Новая страница: «{{Зрада}} '''Глубокая паутина''' (также известна как '''невидимая сеть''') — множество веб-стра…») |
0men (обсуждение | вклад) м (удалены неиспользуемые шаблоны и избыточные вики-ссылки) |
||
| Строка 1: | Строка 1: | ||
{{Зрада}} | {{Зрада}} | ||
'''Глубокая паутина''' (также известна как '''невидимая сеть''') — множество веб-страниц [[Всемирная паутина|Всемирной паутины]], не индексируемых [[Поисковые системы|поисковыми системами]]. Термин произошел от соотв. | '''Глубокая паутина''' (также известна как '''невидимая сеть''') — множество веб-страниц [[Всемирная паутина|Всемирной паутины]], не индексируемых [[Поисковые системы|поисковыми системами]]. Термин произошел от соотв. invisible web. Наиболее значительной частью глубокой паутины является '''глубинный веб''' (от deep web, hidden web, состоящий из веб-страниц, динамически генерируемых по запросам к онлайн базам данных. Не следует смешивать понятие ''глубокая паутина'' с понятием '''тёмная паутина''' (от англ. dark web), под которым имеются в виду [[Компьютерная сеть|сетевые]] сегменты, вообще не подключённые к сети [[Интернет]]. | ||
== Суть проблемы == | == Суть проблемы == | ||
В глубокой паутине находятся [[веб-сайт|веб-страницы]], не связанные с другими [[гиперссылка]]ми — например, страницы, динамически создаваемые по запросам к [[база данных|базам данных]]. В глубокой паутине также находятся [[веб-сайт|сайты]], доступ к которым открыт только для зарегистрированных пользователей. Поисковые системы используют специальных [[поисковый робот|роботов]] ( | В глубокой паутине находятся [[веб-сайт|веб-страницы]], не связанные с другими [[гиперссылка]]ми — например, страницы, динамически создаваемые по запросам к [[база данных|базам данных]]. В глубокой паутине также находятся [[веб-сайт|сайты]], доступ к которым открыт только для зарегистрированных пользователей. Поисковые системы используют специальных [[поисковый робот|роботов]] (web crawler), которые переходят по гиперссылкам и [[индексация в поисковых системах|индексируют]] содержимое веб-страниц, на которых они оказываются. В то же время, информация из баз данных, доступная пользователям через поисковые веб-формы (но не по гиперссылкам), остается недоступной для робота, неспособного в режиме реального времени правильно заполнить форму значениями (другими словами, сформировать запрос к базе данных). Таким образом, значительная часть Всемирной паутины оказывается скрыта от поисковых роботов. Используя аналогию, информация, будучи недоступной для поисковых систем, находится «на глубине» (от англ. deep). | ||
== Масштаб == | == Масштаб == | ||
Версия 06:39, 23 июня 2017
|
Глубокая паутина (также известна как невидимая сеть) — множество веб-страниц Всемирной паутины, не индексируемых поисковыми системами. Термин произошел от соотв. invisible web. Наиболее значительной частью глубокой паутины является глубинный веб (от deep web, hidden web, состоящий из веб-страниц, динамически генерируемых по запросам к онлайн базам данных. Не следует смешивать понятие глубокая паутина с понятием тёмная паутина (от англ. dark web), под которым имеются в виду сетевые сегменты, вообще не подключённые к сети Интернет.
Суть проблемы
В глубокой паутине находятся веб-страницы, не связанные с другими гиперссылками — например, страницы, динамически создаваемые по запросам к базам данных. В глубокой паутине также находятся сайты, доступ к которым открыт только для зарегистрированных пользователей. Поисковые системы используют специальных роботов (web crawler), которые переходят по гиперссылкам и индексируют содержимое веб-страниц, на которых они оказываются. В то же время, информация из баз данных, доступная пользователям через поисковые веб-формы (но не по гиперссылкам), остается недоступной для робота, неспособного в режиме реального времени правильно заполнить форму значениями (другими словами, сформировать запрос к базе данных). Таким образом, значительная часть Всемирной паутины оказывается скрыта от поисковых роботов. Используя аналогию, информация, будучи недоступной для поисковых систем, находится «на глубине» (от англ. deep).
Масштаб
Размер глубокой паутины неизвестен и в целом трудно оценим, в первую очередь, в силу размытости самого понятия. Тем не менее, существуют относительно достоверные оценки общего числа сайтов, ведущих к онлайн базам данных: около 300 тысяч таких сайтов во всем Вебе в 2004 году и около 14 тысяч в Рунете в 2006 году.
Ключи к решению
В 2005 году компания «Yahoo!» сделала серьёзный шаг к решению этой проблемы. Компания выпустила поисковый движок «Yahoo! Subscriptions», который производит поиск по сайтам (пока немногочисленным), доступ к которым открыт только зарегистрированным участникам этих сайтов.
Это, однако, полностью не решило имеющейся проблемы. Эксперты поисковых систем по-прежнему пытаются найти технические возможности для индексации содержимого баз данных и доступа к закрытым веб-сайтам.
Одним из популярных сервисов, работающих с данными глубокой паутины, является UFOseek, изначально предназначенный для систематизации данных о паранормальных явлениях.
Специальные поисковые машины
Осторожно, ИНТЕРНЕТ!
