Интернетика. Навигация в сложных сетях: модели и алгоритмы
Автоматическая обработка текстов на естественном языке и компьютерная лингвистика (pdf)
Четыре лекции о методеЛандэ Дмитрий Владимирович,
Снарский Андрей Александрович,
Безсуднов Игорь Васильевич
ИНТЕРНЕТИКА
Навигация в сложных
сетях: модели и алгоритмы
Москва-2009
СОДЕРЖАНИЕ
1. СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ СЕТИ 13
1.1. Интернет – история и протоколы 13
1.2. Всемирная паутина - World Wide Web 16
1.4. Проблемы развития интернет-контента 28
2.1.1. Классическая булева модель 32
2.1.2. Расширенная булева модель 35
2.1.3. Модель нечеткого поиска 38
2.2. Векторно-пространственная модель поиска 41
2.3. Вероятностная модель поиска 44
2.4. Алгоритмы поиска в пиринговых сетях 50
2.4.1. Алгоритм поиска ресурсов по ключам 50
2.4.2. Метод широкого первичного поиска 51
2.4.3. Метод случайного широкого первичного поиска 52
2.4.4. Интеллектуальный поисковый механизм 53
2.4.5. Методы «большинства результатов по прошлой эвристике» 55
2.4.6. Метод «случайных блужданий» 56
2.5. Информационно-поисковые языки 57
2.6. Характеристики информационного поиска 59
3.2.2. Определение взаимосвязей понятий 69
3.2.3. Автоматическое реферирование 72
3.2.4. Поисковые образы документов 75
3.2.5. Выявление дублирования информации 76
3.2.6. Выявление новых событий 80
3.3. Реализации систем с элементами Text Mining 83
4. МЕТОДЫ КЛАССИФИКАЦИИ ИНФОРМАЦИИ 85
4.1.1. Формальное описание задачи классификации 86
4.1.2. Ранжирование и четкая классификация 87
4.1.3. Линейная классификация 88
4.5. Классификация на основе искусственных нейронных сетей 91
4.5.2. Искусственная нейронная сеть 93
4.5.3. Правила обучения перцептрона 96
4.5.4. Нейронная сеть как классификатор 96
4.6. Байесовский классификатор 97
4.6.1. Байесовская логистическая регрессия 97
4.6.2. Наивная байесовская модель 97
4.6.3. Байесовский подход к решению проблемы спама 99
4.6.4. Определение тональности сообщений 100
4.7. Метод опорных векторов 103
4.8. Оценка качества классификации 110
5. ЭЛЕМЕНТЫ КЛАСТЕРНОГО АНАЛИЗА 112
5.1. Латентно-семантический анализ 114
5.1.1. Матричный латентно-семантический анализ 114
5.1.2. Вероятностный латентно-семантический анализ 117
5.3. Иерархическое группирование-объединение 121
5.4. Метод суффиксных деревьев 121
5.6. Ранжирование результатов поиска 128
5.6.4. Ранжирование «по Хиршу» 137
6. ЭМПИРИЧЕСКИЕ РАСПРЕДЕЛЕНИЯ И МАТЕМАТИЧЕСКИЙ ФОРМАЛИЗМ 138
6.1. Эмпирические закономерности 138
6.1.1. Распределение Парето 138
6.1.3. Закономерность Бредфорда 145
6.2. Степенные распределения случайных величин 146
6.3. Однородные функции и скейлинг 149
7. ЭНТРОПИЯ И КОЛИЧЕСТВО ИНФОРМАЦИИ 157
7.4. Энтропия непрерывного источника информации 166
7.5. Количество информации 168
8. ОСНОВЫ ТЕОРИИ СЛОЖНЫХ СЕТЕЙ 171
8.1. Параметры сложных сетей 172
8.1.1. Параметры узлов сети 172
8.1.2. Общие параметры сети 172
8.1.3. Распределение степеней узлов 173
8.1.5. Коэффициент кластерности 175
8.1.8. Структура сообщества 177
8.4.2. Сетевая структура новостного веба 185
8.5. Визуализация сложных сетей 189
9. ЭЛЕМЕНТЫ ТЕОРИИ ПЕРКОЛЯЦИИ 191
9.1. Задача теории перколяции 191
9.2. Характеристики перколяционных сетей 193
9.3. Сеть с экспоненциально широким распределением 198
9.4. Диодные перколяционные сети 200
9.5. Перколяция на случайных сетях 203
9.6. Теория перколяции и моделирование атак на сети 206
10. МОДЕЛИ ИНФОРМАЦИОННЫХ ПОТОКОВ 208
10.2. Экспоненциальная модель 209
10.3. Логистическая модель 210
10.4. Модель диффузии информации 217
10.5. Модель самоорганизованной критичности 226
11. ЭЛЕМЕНТЫ ФРАКТАЛЬНОГО АНАЛИЗА 235
11.1. Фракталы и фрактальная размерность 235
11.2. Абстрактные фракталы 238
11.3. Информационное пространство и фракталы 243
11.4. Фракталы и временные ряды 247
11.4.2. Корреляциионный анализ 249
11.5. Мультифрактальный анализ рядов измерений 257
Обработка материалов для сайта — RCO Zoom:
Индексирование веб-сайтов — InfoStream: