О сервисе WebGround

Ваша тема


Новости сайта

Литература

обложка книгиИнтернетика. Навигация в сложных сетях: модели и алгоритмы
Большакова Е.И., Клышинский Э.С., Ландэ Д.В., Носков А.А., Пескова О.В., Ягунова Е.В. Автоматическая обработка текстов на естественном языке и компьютерная лингвистикаАвтоматическая обработка текстов на естественном языке и компьютерная лингвистика (pdf)
Ягунова Е.В., Макарова О.Е., Антонова А.Ю., Соловьев А.Н. Разные методы компрессии в исследовании понимания новостного текстаРазные методы компрессии в исследовании понимания новостного текста (pdf)
Крылова И.В, Пивоварова Л.М., Савина А.В., Ягунова Е.В. Исследование новостных сегментов российской «снежной революции»: вычислительный эксперимент и интуиция лингвистовИсследование новостных сегментов российской «снежной революции»: вычислительный эксперимент и интуиция лингвистов (pdf)
Ягунова Е.В. Исследование перцептивной устойчивости фонем как элементов речевой цепиИсследование перцептивной устойчивости фонем как элементов речевой цепи (pdf)
Ягунова Е.В. Вариативность структуры нарратива и разнообразие стратегий пониманияВариативность структуры нарратива и разнообразие стратегий понимания (pdf)
Ягунова Е.В., Пивоварова Л.М. Экспериментально-вычислительные исследования художественной прозы Н.В. ГоголяЭкспериментально-вычислительные исследования художественной прозы Н.В. Гоголя (pdf)
Ягунова Е.В. Вариативность стратегий восприятия звучащего текстаВариативность стратегий восприятия звучащего текста (pdf)
Ягунова Е.В. Спонтанный нарратив у детей и у взрослыхСпонтанный нарратив у детей и у взрослых (pdf)
Ягунова Е.В. Исследование избыточности русского звучащего текстаИсследование избыточности русского звучащего текста (pdf)
Ягунова Е.В. Фонетические признаки опорных сегментов и восприятие русского текстаФонетические признаки опорных сегментов и восприятие русского текста (pdf)
Ягунова Е.В. Коммуникативная и смысловая структура текста и его восприятиеКоммуникативная и смысловая структура текста и его восприятие (pdf)
Ягунова Е.В. Где скрывается смысл бессмысленного текста?Где скрывается смысл бессмысленного текста? (pdf)
Ягунова Е.В. Эксперимент в психолингвистике: Конспекты лекций и методические рекомендацииЭксперимент в психолингвистике: Конспекты лекций и методические рекомендации (pdf)
Ягунова Е.В. Теория речевой коммуникацииТеория речевой коммуникации (pdf)
Антонова А.Ю., Клышинский Э.С., Ягунова Е.В. Определение стилевых и жанровых характеристик коллекций текстов на основе частеречной сочетаемостиОпределение стилевых и жанровых характеристик коллекций текстов на основе частеречной сочетаемости (pdf)
Ягунова Е.В. Эксперимент и вычисления в анализе ключевых слов художественного текстаЭксперимент и вычисления в анализе ключевых слов художественного текста (pdf)
Ягунова Е.В. Ключевые слова в исследовании текстов Н.В. ГоголяКлючевые слова в исследовании текстов Н.В. Гоголя (pdf)
Пивоварова Л.М., Ягунова Е.В. Информационная структура научного текста. Текст в контексте коллекцииИнформационная структура научного текста. Текст в контексте коллекции (pdf)
Савина А.Н., Ягунова Е.В. Исследование коллокаций с помощью экспериментов с информантамиИсследование коллокаций с помощью экспериментов с информантами (pdf)
Ягунова Е.В., Пивоварова Л.М. От коллокаций к конструкциямОт коллокаций к конструкциям (pdf)
Пивоварова Л.М., Ягунова Е.В. Извлечение и классификация терминологических коллокаций на материале лингвистических научных текстовИзвлечение и классификация терминологических коллокаций на материале лингвистических научных текстов (pdf)
Julia Kiseleva. Grouping Web Users based on Query LogGrouping Web Users based on Query Log (pdf)
Julia_Kiseleva_Unsupervised_Query_Segmentation_Using_Click_Data_and_Dictionaries_Information.pdfUnsupervised Query Segmentation Using Click Data and Dictionaries Information (pdf)
Четыре лекции о методе
Начала предметного анализа методов (на примере метода Ф.Бэкона)
Вариативность стратегий восприятия звучащего текста
Извлечение и классификация коллокаций на материале научных текстов. Предварительные наблюдения
Природа коллокаций в русском языке. Опыт автоматического извлечения и классификации на материале новостных текстов
Войтишек А. Повторы. Лирические рефреныПовторы. Лирические рефрены (pdf)
Войтишек А. Новое. Лирические рефреныНовое. Лирические рефрены (pdf)
Войтишек А. Всё об одном и том жеВсё об одном и том же. 500 лирических рефренов к 50-летию (pdf)
Войтишек А. Тысяча-часть-1Тысяча-часть-1 (pdf)
Войтишек А. Тысяча-часть-2Тысяча-часть-2 (pdf)
Войтишек А. АлфавитАлфавит (pdf)



1.3. Пиринговые сети

 

 

В настоящее время WWW не является самой крупной сетью по ресурсам и порождаемому интернет-трафику. Известно, что трафик, объем информационных ресурсов (в байтах), количество узлов пиринговых сетей, если их рассматривать в совокупности, существенно превосходят соответствующие показатели веб. При этом можно отметить, что проблемы поиска и уязвимости в пиринговых сетях, как крупнейшего «белого пятна» современных коммуникаций, пока остаются открытыми.

Пиринговые сети (Peer-to-peer, P2P – равный с равным)  - это  компьютерные сети, основанные на равноправии участников. В таких сетях отсутствуют выделенные серверы, а каждый узел (peer) является как клиентом, так и сервером. Впервые фраза «peer-to-peer» была использована в 1984 году П. Йохнухуйтсманом (P. Yohnuhuitsman) при разработке архитектуры Advanced Peer to Peer Networking фирмы IBM.

P2P – это сетевой протокол [14], обеспечивающий возможность создания и функционирования сети равноправных узлов, их взаимодействия. Во многих случаях P2P являются наложенными сетями, использующими существующие транспортные протоколы стека TCP/IP - TCP или UDP. Следует отметить, что на практике пиринговые сети состоят из узлов, каждый из которых взаимодействует лишь с некоторым подмножеством других узлов сети (из-за ограниченности ресурсов). Для реализации протокола P2P используются клиентские программы, обеспечивающие функциональность как отдельных узлов, так и всей пиринговой сети.

Несмотря на то, что все узлы в P2P   имеют одинаковый статус, реальные возможности их могут существенно отличаться. На практике большинство пиринговых сетей дополняются выделенными  серверами, несущими организационные функции, например авторизацию [51]. В частности, известны библиотечные пиринговые сети, в которых используются выделенные серверы, играющие  роль центров авторизации, хеширования и репликации библиографических данных [14].

Архитектура пиринговых сетей принципиально отличается от традиционной централизованной архитектуры «клиент/сервер», подразумевающей, что  сеть зависит от центральных узлов (серверов), которая обеспечивает подключенные к сети терминалы (клиенты) необходимыми сервисами. В этой централизованной архитектуре ключевая роль отводится серверам, которые определяют сеть независимо от  наличия клиентов, т.е. при падении этих серверов сеть становится нерабочей. Очевидно, что рост количества клиентов сети типа «клиент/сервер»  приводит к росту нагрузок на серверную часть, в результате чего она может оказаться перегруженной.

Децентрализованная пиринговая сеть, напротив, становится более производительной при увеличении количества узлов, подключенных к ней. Действительно, каждый узел  добавляет в сеть  P2P  свои ресурсы (дисковое пространство и вычислительные возможности), в результате суммарные ресурсы сети увеличиваются. При этом, конечно, нельзя не учитывать того факта, что на практике большинство P2P-сетей все же зависят от своих центральных узлов, например, одна из самых известных таких сетей BitTorrent зависит от так называемых «трекеров» (tracker), при падении которых эта сеть станет нерабочей.

По сравнению с клиент/серверной архитектурой (например, с веб), архитектура P2P  обладает такими преимуществами, как самоорганизованность, отказоустойчивость при потере связи с узлами сети, возможность разделения ресурсов без привязки к конкретным адресам, увеличение скорости копирования информации за счет использования сразу нескольких источников, более эффективное использование полосы пропускания, гибкая балансировка нагрузки.

Первые пиринговые сети, в частности, Gnutella, широко использовали метод BFS, называемый еще  методом размножения запросов, который ведет  к экспоненциальному росту числа сообщений запросов и, соответственно, ведет к перегрузке сети. Недостатки рассмотренного  метода инициировали разработку группы протоколов DHT (Distributed Hash Tables), в частности, протокола Kademlia, который сейчас широко используется в наиболее крупных P2P-сетях. Были введены правила, в соответствии с которыми запросы могут пересылать вверх по дереву только определенные узлы, так называемые, концентраторы, остальные узлы могут лишь посылать им запросы. Эти правила были реализованы в 2003 году как протокол новой сети Gnutella2. В соответствии с этим протоколом у концентратора есть связь с сотнями узлов и десятки соединений с другими концентраторами. Каждый узел пересылает концентратору список идентификаторов ключевых слов, по которым могут быть найдены публикуемые ей ресурсы. Для улучшения качества поиска используются также метаданные файлов - информация о содержании, рейтинги. Допускается возможность «размножения» информации о файле в сети без копирования самого файла.

В настоящее время при реализации пиринговых сетей используются самые различные  подходы. В частности, компания Microsoft разработала протоколы для P2P-сетей Scribe и Pastry. Поддержка протокола PNRP (Peer Name Resolution Protocol), также относящегося к P2P-системам, была включена в состав Windows Vista.

Одну из удачных попыток стандартизации  протоколов P2P предприняла компания Sun Microsystems в рамках проекта JXTA [28]. Этот проект реализуется с целью унифицированного создания P2P-сетей для различных платформ.

Существует несколько областей применения пиринговых сетей, объясняющих их растущую популярность, назовем некоторые из них:

-               Обмен файлами. P2P выступают альтернативой FTP-архивам, которые утрачивают перспективу ввиду значительных информационных перегрузок.

-               Распределенные вычисления. Например, такой проект с элементами P2P, как SETI@HOME, посвященный распределенному поиску внеземных цивилизаций, продемонстрировал высокий вычислительный потенциал для  распараллеливаемых задач. Вместе с тем, этому проекту свойствена централизованая раздача и прием данных. 

-               Обмен сообщениями. Как известно,  ICQ – это P2P-проект. Эта сеть также обладает элементами централизации, в частности, очень зависит от состояния сервера login.icq.com.

-               Интернет телефония. Сегодня одной из самых популярных служб  Интернет-телефонии является  Skype (www.skype.com), созданная в 2003 г. Н. Зеннстромом и Я. Фриисом, авторами известной пиринговой сети KaZaA. Построенная в архитектуре P2P служба Skype охватывает свыше 10 млн. пользователей.

-               Групповая работа. Сегодня реализованы такие сети групповой работы, как Groove Network (защищенное пространство для коммуникаций) и OpenCola (поиск информации и обмен ссылками).

Отдельного рассмотрения заслуживают файлообменные P2P-сети, которые в начале 2008 года охватывали уже более 150 млн. узлов. Сегодня в Интернет более половины всего трафика приходится на файлообменные P2P-сети. Наиболее популярные из них - это  Bittorrent, Gnutella2 и eDonkey2000.

Сеть BitTorrent была создана в 2001 году. В соответствии с протоколом BitTorrent файлы передаются не целиком, а частями, причем каждый клиент, закачивая эти части, в это же время отдает их другим клиентам, что снижает нагрузку и зависимость от каждого клиента-источника и обеспечивает избыточность данных. С целью инициализации узла в сети трекеров  (www.bittorrent.com) клиентская программа обращается к выделенному серверу, предоставляющему информацию о файлах, доступных для копирования, а также содержащем статистическую и маршрутную информацию об узлах сети. Если узел “хочет” опубликовать файл, то программа разделяет этот файл на части и создает файл метаданных (torrent file) с информацией о частях файла, их местонахождении и узла, который будет поддерживать распространение этого файла.

В 2000 г. была создана одна из первых пиринговых сетей Gnutella (www.gnutella.com). Сегодня наиболее популярна более поздняя версия этой сети -  Gnutella2 (www.gnutella2.com), созданная в 2003 году, которая реализует  открытый файлообменный P2P-протокол.

         Сеть EDonkey2000 была создана в 2000 году. Информация о наличии файлов в ней публикуется клиентом на  серверах в виде так называемых ed2k-ссылок, использующих уникальный ID ресурса. В сети EDonkey2000 выделенные серверы обеспечивают поиск узлов и информации. Существует около 200 серверов и порядка миллиарда  файлов. Число пользователей EDonkey2000 составляет более 10 млн. человек. При работе каждый клиент EDonkey2000 связан с одним из серверов. Клиент сообщает серверу, какие файлы он предоставляет в общий доступ. Каждый сервер поддерживает список всех общих файлов клиентов, подключенных к нему. Когда клиент что-то ищет, он посылает поисковый запрос своему основному серверу. В ответ сервер проверяет все файлы, которые ему известны, и возвращает клиенту список файлов, удовлетворяющих его запросу. 

Существует  много  областей,  где  успешно применяется P2P-технология, например,  параллельное программирование, кэширование данных, резервное копирование  данных.

Благодаря таким характеристикам, как живучесть, отказоустойчивость, масштабируемость, пиринговые сети находят все большее применение в системах управления производствами и организациями (например, Р2Р-технология сегодня применяется в Государственном Департаменте США). В данном случае возможный выход из строя части узлов или серверов не существенно влияют на управляемость всей системы. Общеизвестно, что система доменных имен (DNS) в сети Интернет также фактически является сетью обмена данными, построенной по принципу Р2Р [115].

Реализацией технологии Р2Р является также популярная в настоящее время система распределенных вычислений  GRID. Еще одним примером распределенных вычислений может служить проект distributed.net, участники которого занимаются легальным взломом криптографических шифров, чтобы проверить их надежность.

Помимо названных выше преимуществ пиринговых сетей, им присущ также ряд недостатков, первая группа которых связана со сложностью управления по сравнению с клиент-серверными системами. Приходится тратить значительные усилия на поддержку стабильного уровня их производительности, резервное копирование данных, антивирусную защиту, защиту от информационного шума и других злонамеренных действий пользователей.

Большая проблема – это легитимность контента, передаваемого в  P2P-сетях. Неудовлетворительное решение этой проблемы привело уже к скандальному  закрытию многих таких сетей (например, Napster в июле 2001 года). Есть и другие проблемы, имеющие социальную природу. Так в системе Gnutella, например,  70% пользователей не добавляют вообще никаких файлов в сеть. Более половины ресурсов в этой сети предоставляется  одним процентом пользователей, т.е. сеть эволюционирует в направлении клиент-серверной архитектуры.

Еще одна проблема P2P-сетей связана с качеством и достоверностью предоставляемого контента. Серьезной проблемой является  фальсификация файлов и распространение  фальшивых ресурсов. Еще одной проблемой является возможность фальсификации ID узлов. Защита распределенной сети от хакерских атак, ботнетов, вирусов и «троянских коней» является весьма сложной задачей. Зачастую информация с данными об участниках P2P-сетей хранится в открытом виде, доступном  для перехвата.