О сервисе WebGround

Ваша тема


Новости сайта

Литература

обложка книгиИнтернетика. Навигация в сложных сетях: модели и алгоритмы
Большакова Е.И., Клышинский Э.С., Ландэ Д.В., Носков А.А., Пескова О.В., Ягунова Е.В. Автоматическая обработка текстов на естественном языке и компьютерная лингвистикаАвтоматическая обработка текстов на естественном языке и компьютерная лингвистика (pdf)
Ягунова Е.В., Макарова О.Е., Антонова А.Ю., Соловьев А.Н. Разные методы компрессии в исследовании понимания новостного текстаРазные методы компрессии в исследовании понимания новостного текста (pdf)
Крылова И.В, Пивоварова Л.М., Савина А.В., Ягунова Е.В. Исследование новостных сегментов российской «снежной революции»: вычислительный эксперимент и интуиция лингвистовИсследование новостных сегментов российской «снежной революции»: вычислительный эксперимент и интуиция лингвистов (pdf)
Ягунова Е.В. Исследование перцептивной устойчивости фонем как элементов речевой цепиИсследование перцептивной устойчивости фонем как элементов речевой цепи (pdf)
Ягунова Е.В. Вариативность структуры нарратива и разнообразие стратегий пониманияВариативность структуры нарратива и разнообразие стратегий понимания (pdf)
Ягунова Е.В., Пивоварова Л.М. Экспериментально-вычислительные исследования художественной прозы Н.В. ГоголяЭкспериментально-вычислительные исследования художественной прозы Н.В. Гоголя (pdf)
Ягунова Е.В. Вариативность стратегий восприятия звучащего текстаВариативность стратегий восприятия звучащего текста (pdf)
Ягунова Е.В. Спонтанный нарратив у детей и у взрослыхСпонтанный нарратив у детей и у взрослых (pdf)
Ягунова Е.В. Исследование избыточности русского звучащего текстаИсследование избыточности русского звучащего текста (pdf)
Ягунова Е.В. Фонетические признаки опорных сегментов и восприятие русского текстаФонетические признаки опорных сегментов и восприятие русского текста (pdf)
Ягунова Е.В. Коммуникативная и смысловая структура текста и его восприятиеКоммуникативная и смысловая структура текста и его восприятие (pdf)
Ягунова Е.В. Где скрывается смысл бессмысленного текста?Где скрывается смысл бессмысленного текста? (pdf)
Ягунова Е.В. Эксперимент в психолингвистике: Конспекты лекций и методические рекомендацииЭксперимент в психолингвистике: Конспекты лекций и методические рекомендации (pdf)
Ягунова Е.В. Теория речевой коммуникацииТеория речевой коммуникации (pdf)
Антонова А.Ю., Клышинский Э.С., Ягунова Е.В. Определение стилевых и жанровых характеристик коллекций текстов на основе частеречной сочетаемостиОпределение стилевых и жанровых характеристик коллекций текстов на основе частеречной сочетаемости (pdf)
Ягунова Е.В. Эксперимент и вычисления в анализе ключевых слов художественного текстаЭксперимент и вычисления в анализе ключевых слов художественного текста (pdf)
Ягунова Е.В. Ключевые слова в исследовании текстов Н.В. ГоголяКлючевые слова в исследовании текстов Н.В. Гоголя (pdf)
Пивоварова Л.М., Ягунова Е.В. Информационная структура научного текста. Текст в контексте коллекцииИнформационная структура научного текста. Текст в контексте коллекции (pdf)
Савина А.Н., Ягунова Е.В. Исследование коллокаций с помощью экспериментов с информантамиИсследование коллокаций с помощью экспериментов с информантами (pdf)
Ягунова Е.В., Пивоварова Л.М. От коллокаций к конструкциямОт коллокаций к конструкциям (pdf)
Пивоварова Л.М., Ягунова Е.В. Извлечение и классификация терминологических коллокаций на материале лингвистических научных текстовИзвлечение и классификация терминологических коллокаций на материале лингвистических научных текстов (pdf)
Julia Kiseleva. Grouping Web Users based on Query LogGrouping Web Users based on Query Log (pdf)
Julia_Kiseleva_Unsupervised_Query_Segmentation_Using_Click_Data_and_Dictionaries_Information.pdfUnsupervised Query Segmentation Using Click Data and Dictionaries Information (pdf)
Четыре лекции о методе
Начала предметного анализа методов (на примере метода Ф.Бэкона)
Вариативность стратегий восприятия звучащего текста
Извлечение и классификация коллокаций на материале научных текстов. Предварительные наблюдения
Природа коллокаций в русском языке. Опыт автоматического извлечения и классификации на материале новостных текстов
Войтишек А. Повторы. Лирические рефреныПовторы. Лирические рефрены (pdf)
Войтишек А. Новое. Лирические рефреныНовое. Лирические рефрены (pdf)
Войтишек А. Всё об одном и том жеВсё об одном и том же. 500 лирических рефренов к 50-летию (pdf)
Войтишек А. Тысяча-часть-1Тысяча-часть-1 (pdf)
Войтишек А. Тысяча-часть-2Тысяча-часть-2 (pdf)
Войтишек А. АлфавитАлфавит (pdf)

4.5. Классификация на основе искусственных нейронных сетей

 

Искуственными нейронными сетями называются вычислительные структуры, моделирующие процессы, которые обычно происходят в мозгу человека. Мозг человека содержит около 1011 нейронов. Принято считать, что кадый нейрон в мозгу человека содержит тело, аксон, 10 000 дендритов и синапсы (рис. 12).

В настоящее время искусственные нейронные сети решают задачи классификации, кластеризации, распознавания образов, аппроксимации функций, прогноза и т.п.

 

ris12-1

Рис. 12. Нейрон

 

Модель отдельного нейрона можно рассматривать как некий компьютер, действительно,  потенциал нейрона (аксона) - это функция от потенциала дендритов. Состояния нейрона - возбужденное или невозбужденное, определяются величиной этого потенциала.

        

4.5.1. Формальный нейрон

 

Рассмотрим формальную модель нейрона, приведенную на рис. 13. Входные сигналы через синапсы  и дендриты поступают в тело нейрона, при этом их значения умножаются на весовые коэффициенты, соответствующие определенным синапсам (которые могут изменяться при обучении), затем результаты суммируются [16]. На основе полученной суммы (), к которой применяется некоторая  функция , называемая активизационной,  формируется выходной сигнал нейрона .

Рис. 13. Формальный нейрон

Сигнал сумматора определяется формулой:

где  – количество синапсов,   индекс сигнала,  – входной сигнал -го дендрита,  - весо­вые показатели,  – сигнал сумматора.

Сигнал на выходе нейрона имеет следующий вид:

Чаще всего применяются следующие активизационные функции:

 

 

 

 

 

4.5.2. Искусственная нейронная сеть

 

Искуственная нейронная сеть - это ориентированный граф, вершины которого – нейроны,  распределенные по слоям, а ребра - синапсы. Каждому ребру приписаны свой вес и функция проводимости.

По архитектуре связей можно выделить два класса нейронных сетей:

-         сети прямого распространения (FeedForward) – однонаправленные с последовательными связями, где нейроны не имеют обратных связей;

-         нейронные сети с обратными связями, где выход нейронов последующего слоя направляется к нейронам предыдущего слоя.

Элемементарную нейронную сеть прямого распространения принято называть перцептроном.

Первая версия перцептрона представляла собой однослойную нейронную сеть (рис. 14), предложенную в  1958 г. нейрофизиологом Ф. Розенблаттом (F. Rosenblatt). В перцептроне каждый нейрон связан через синаптический контакт со всеми рецепторами предыдущего слоя. Перцептрон Розенблатта был способен распознавать простейшие образы. Нейрон в этой модели вычисляет взвешенную сумму элементов входного сигнала и пропускает результат через жесткую пороговую функцию, выход которой равен +1 или -1.

Ф. Розенблатт (1928 – 1971)

 

Типовой алгоритм обучения одношагового перцептрона имеет вид:

    1. Инициализация синаптических весов  и сдвига : синаптические веса принимают случайные значения.
    2. Предъявление нейрону входного сигнала  и желаемого выходного сигнала
    3. Вычисление выходного сигнала нейрона:

     

      где - шаг итерации,   - сдвиг.

4.     Настройка весовых значений:

     

      где - вес связи –го элемента входного сигнала нейрона в момент      ;  - скорость обучения;  - желаемый выходной сигнал.

Если сеть принимает правильные решения, то синаптические веса не изменяются.

5.     Переход к шагу 2.

Рис. 14. Однослойный перцептрон:

          - входные сигналы;  - весовые значения синаптических контактов;

(1), (2), (3) –нейроны;  - выходные сигналы

 

Перцептрон представляет интерес благодаря его адаптивности, которая  используется в задачах распознавания образов. Однако было доказано, что однослойные нейронные сети не способны решать многих задач (например, реализовать логическую операцию исключающего ИЛИ). Для решения этих проблем  используются многослойные нейронные сети. Многослойные сети могут образовываться каскадами слоев, в которых выход одного слоя является входом для следующего [45].

         Нейронная сеть обучается, чтобы по некоторому множеству входных сигналов выдавать необходимое  множество выходных сигналов. Каждое множество сигналов при этом рассматривается как вектор. Обучение осуществляется путем последовательного предъявления входных векторов с одновременной корректировкой весов. В процессе итеративного обучения по некоторым определенным правилам весовые значения становятся такими, что каждый входной вектор порождает необходимый выходной вектор.

 

4.5.3. Правила обучения перцептрона

 

Существует много методик обучения нейронных сетей, приведем одно из правил  обучения однослойного перцептрона - дельта-правило (или правило Видрова-Хофа). Это правило базируется на простой идее непрерывного изменения синаптических весов для уменьшения разницы («дельты»)  между значениями желаемого и текущего выходного сигнала нейрона. Алгоритм дельта-правила следующий:

1.           Подать на слой перцептрона сигнал  и вычислить .

2.           Для всех  вычислить  где необходимое (желаемое) значение   задает учитель.

3.           Если для всех  выполняется:  то обучение заканчивается.

4.           Если существует  такое, что  то происходит корректировка  следующим образом:  где  - номер нейрона, - номер синапса,  - коэффициент скорости обучения.

5.  Переход к шагу 1.

Существует множество доступных программных реализаций искусственных нейронных сетей, например Toolbooks в таком пакете, как MatLab.

 

4.5.4. Нейронная сеть как  классификатор

 

Классификатор может представлять собой нейронную сеть, входы которой соответствуют термам, а выходы - категориям. Для того чтобы классифицировать документ , весовые значения его термов  подаются на соответствующие входы сети; активация распространяется по сети, и значения, которые получены на выходах, являются результатами классификации. Типичный метод обучения такой сети - обратное распространение ошибки (back propagation). Если на одном из тренировочных документов получен неправильный ответ на одном из выходов, то ошибка распространяется обратно по сети, и весовые значения ребер корректируются так, чтобы эту ошибку уменьшить.