Справочник по нейросетям
Что такое искусственные нейронные сети? Что они могут делать? Как они работают? Как их можно использовать? Эти и множество подобных вопросов задают специалисты из разных областей.После двух десятилетий почти полного забвения интерес к искусственным нейронным сетям быстро вырос за последние несколько лет. Специалисты из таких далеких областей, как техническое конструирование, философия, физиология и психология, заинтригованы возможностями, предоставляемыми этой технологией, и ищут приложения им внутри своих дисциплин.
Это возрождение интереса было вызвано как теоретическими, так и прикладными достижениями. Неожиданно открылись возможности использования вычислений в сферах, до этого относящихся лишь к области человеческого интеллекта, возможности создания машин, способность которых учиться и запоминать удивительным образом напоминает мыслительные процессы человека, и наполнения новым значительным содержанием критиковавшегося термина «искусственный интеллект».
Искусственные нейронные сети индуцированы биологией, так как они состоят из элементов, функциональные возможности которых аналогичны большинству элементарных функций биологического нейрона. Эти элементы затем организуются по способу, который может соответствовать (или не соответствовать) анатомии мозга. Несмотря на такое поверхностное сходство, искусственные нейронные сети демонстрируют удивительное число свойств присущих мозгу. Например, они обучаются на основе опыта, обобщают предыдущие прецеденты на новые случаи и извлекают существенные свойства из поступающей информации, содержащей излишние данные.
Несмотря на такое функциональное сходство, даже самый оптимистичный их защитник не предположит, что в скором будущем искусственные нейронные сети будут дублировать функции человеческого мозга. Реальный «интеллект», демонстрируемый самыми сложными нейронными сетями, находится ниже уровня дождевого червя, и энтузиазм должен быть умерен в соответствии с современными реалиями. Однако равным образом было бы неверным игнорировать удивительное сходство в функционировании некоторых нейронных сетей с человеческим мозгом. Эти возможности, как бы они ни были ограничены сегодня, наводят на мысль, что глубокое проникновение в человеческий интеллект, а также множество революционных приложений, могут быть не за горами.
Введение
Обучение
Обобщение
Абстрагирование
Применимость
Исторический Аспект
Исторический Аспект 2
Искусственные нейронные сети сегодня
Перспективы на будущее
Искусственные нейронные сети и экспертные системы
Соображения надежности
Выводы
Основы искусственных нейронных сетей
Биологический прототип
Искусственный нейрон
Искусственный нейрон 2
Искусственный нейрон 3
Искусственный нейрон 4
Однослойные искусственные нейронные сети
Многослойные искусственные нейронные сети
Нелинейная активационная функция
Сети с обратными связями
Терминология, обозначения и схематическое изображение искусственных нейронных сетей
Терминология
Дифференциальные уравнения или разностные уравнения
Графическое представление
Обучение искусственных нейронных сетей
Цель обучения
Обучение с учителем
Обучение без учителя
Алгоритмы обучения
Пролог
Персептроны
Персептроны и зарождение искусственных нейронных сетей
Персептроны и зарождение искусственных нейронных сетей 2
Персептронная представляемость
Проблема функции ИСКЛЮЧАЮЩЕЕ ИЛИ
Проблема функции ИСКЛЮЧАЮЩЕЕ ИЛИ 2
Проблема функции ИСКЛЮЧАЮЩЕЕ ИЛИ 3
Линейная разделимость
Преодоление ограничения линейной разделимости
Преодоление ограничения линейной разделимости 2
Преодоление ограничения линейной разделимости 3
Эффективность запоминания
Обучение Персептрона
Алгоритм обучения Персептрона
Алгоритм обучения Персептрона 2
Дельта-правило
Трудности с алгоритмом обучения персептрона
Процедура обратного распространения
Введение в процедуру обратного распространения
Обучающий алгоритм обратного распространения
Сетевые конфигурации
Сетевые конфигурации 2
Многослойная сеть
Обзор обучения
Обзор обучения 2
Обзор обучения 3
Обзор обучения 4
Обзор обучения 5
Обзор обучения 6
Дальнейшие алгоритмические разработки
Применения
Предостережение
Паралич сети
Локальные минимумы
Размер шага
Временная неустойчивость
Сети встречного распространения
Введение в сети встречного распространения
Структура сети
Нормальное функционирование
Слои Кохоненна
Слой Гроссберга
Обучение слоя Кохонена
Предварительная обработка входных векторов
Предварительная обработка входных векторов 2
Предварительная обработка входных векторов 3
Выбор начальных значений весовых векторов
Выбор начальных значений весовых векторов 2
Режим интерполяции
Статистические свойства обученной сети
Обучение слоя Гроссберга
Сеть встречного распространения полностью
Приложение: сжатие данных
Обсуждение
Стохастические методы
Использование обучения
Использование обучения 2
Больцмановское обучение
Обучение Коши
Метод искусственной теплоемкости
Приложения к общим нелинейным задачам оптимизации
Обратное распространение и обучение Коши
Трудности, связанные с обратным распространением
Трудности с алгоритмом обучения Коши
Комбинирование обратного распространения с обучением Коши
Комбинирование обратного распространения с обучением Коши 2
Обсуждение
Сети Хопфилда
Конфигурации сетей с обратными связями
Бинарные системы
Бинарные системы 2
Устойчивость
Ассоциативная память
Непрерывные системы
Сети Хопфилда и машина Больцмана
Термодинамические системы
Статистичекие сети Хопфилда
Обобщенные сети
Приложения
Аналого-цифровой преобразователь
Аналого-цифровой преобразователь 2
Задача коммивояжера
Задача коммивояжера 2
Задача коммивояжера 3
Обсуждение
Локальные минимумы
Скорость
Функция энергии
Емкость сети
Выводы
Двунаправленная ассоциативная память
Структура ДАП
Структура ДАП 2
Восстановление запомненных ассоциаций
Кодирование ассоциаций
Кодирование ассоциаций 2
Емкость памяти
Непрерывная ДАП
Адаптивная ДАП
Конкурирующая ДАП
Заключение
Адаптивная резонансная теория
Архитектура APT
Описание APT
Упрощенная архитектура APT
Упрощенная архитектура APT 2
Упрощенная архитектура APT 3
Функционирование сети APT в процессе классификации
Функционирование сети APT в процессе классификации 2
Реализация APT
Обзор
Функционирование сетей APT
Функционирование сетей APT 2
Функционирование сетей APT 3
Пример обучения сети APT
Характеристики APT
Инициализация весовых векторов Т
Настройка весовых векторов Вj
Инициализация весов bij
Теоремы APT
Заключение
Оптические нейронные сети
Векторно-матричные умножители
Сети Хопфилда на базе электронно-оптических матричных умножителей
Сети Хопфилда на базе электронно-оптических матричных умножителей 2
Сети Хопфилда на базе электронно-оптических матричных умножителей 3
Голографические корреляторы
Голографические корреляторы 2
Объемные голограммы
Оптическая сеть Хопфилда, использующая объемные голограммы
Оптическая сеть Хопфилда, использующая объемные голограммы 2
Заключение
Когнитрон и неокогнитрон
Когнитрон
Структура
Структура 2
Обучение
Обучение 2
Обучение 3
Обучение 4
Обучение 5
Обучение 6
Обучение 7
Обучение 8
Неокогнитрон
Структура
Структура 2
Структура 3
Обобщение
Вычисления
Обучение
Обучение 2
Заключение
Биологические нейронные сети
Человеческий мозг: биологическая модель для искусственных нейронных сетей
Организация человеческого мозга
Нейрон
Нейрон 2
Нейрон 3
Мембрана клетки
Мембрана клетки 2
Компьютеры и человеческий мозг
Алгоритмы обучения
Обучение с учителем и без учителя
Метод обучения Хэбба
Алгоритм обучения Хэбба
Метод сигнального обучения Хэбба
Метод дифференциального обучения Хэбба
Входные и выходные звезды
Обучение входной звезды
Обучение выходной звезды
Обучение персептрона
Обучение персептрона 2
Метод обучения Уидроу-Хоффа
Методы статистического обучения
Самоорганизация
Самоорганизация 2
