Глубокое обучение на R

Описание

Глубокое обучение - Deep learning - это набор алгоритмов машинного обучения, которые моделируют высокоуровневые абстракции в данных, используя архитектуры, состоящие из множества нелинейных преобразований. Согласитесь, эта фраза звучит угрожающе. Но всё не так страшно, если о глубоком обучении рассказывает Франсуа Шолле, который создал Keras - самую мощную библиотеку для работы с нейронными сетями. Познакомьтесь с глубоким обучением на практических примерах из самых разнообразных областей. Книга делится на две части, в первой даны теоретические основы, вторая посвящена решению конкретных задач. Это позволит вам не только разобраться в основах DL, но и научиться использовать новые возможности на практике. Эта книга написана для людей с опытом программирования на R, желающих быстро познакомиться с глубоким обучением на практике, и является переложением бестселлера Франсуа Шолле "Глубокое обучение на Python", но использующим примеры на базе интерфейса R для Keras.
Перевод: Киселев Александр Н.

Оглавление

Предисловие16
Благодарности17
Об этой книге19
Об авторах23
Об иллюстрации на обложке24
Часть I. Основы глубокого обучения25
Глава 1. Что такое глубокое обучение?26
1.1. Искусственный интеллект, машинное и глубокое обучение27
1.1.1. Искусственный интеллект27
1.1.2. Машинное обучение28
1.1.3. Обучение представлению данных29
1.1.4. «Глубина» глубокого обучения31
1.1.5. Принцип действия глубокого обучения в трех картинках33
1.1.6. Какой ступени развития достигло глубокое обучение35
1.1.7. Не верьте рекламе36
1.1.8. Перспективы ИИ37
1.2. Что было до глубокого обучения: краткая история машинного обучения38
1.2.1. Вероятностное моделирование39
1.2.2. Первые нейронные сети39
1.2.3. Ядерные методы40
1.2.4. Деревья решений, случайные леса и градиентный бустинг41
1.2.5. Назад к нейронным сетям42
1.2.6. Отличительные черты глубокого обучения43
1.2.7. Современный ландшафт машинного обучения44
1.3. Почему глубокое обучение? Почему сейчас?45
1.3.1. Оборудование45
1.3.2. Данные46
1.3.3. Алгоритмы47
1.3.4. Новая волна инвестиций48
1.3.5. Демократизация глубокого обучения49
1.3.6. Ждать ли продолжения этой тенденции?49
Глава 2. Прежде чем начать: математические основы нейронных сетей51
2.1. Первое знакомство с нейронной сетью52
2.2. Представление данных для нейронных сетей56
2.2.1. Скаляры (тензоры нулевого ранга)57
2.2.2. Векторы (тензоры первого ранга)57
2.2.3. Матрицы (тензоры второго ранга)57
2.2.4. Тензоры третьего и высшего рангов58
2.2.5. Ключевые атрибуты58
2.2.6. Манипулирование тензорами в R59
2.2.7. Пакеты данных60
2.2.8. Практические примеры тензоров с данными60
2.2.9. Векторные данные61
2.2.10. Временные ряды, или последовательности61
2.2.11. Изображения62
2.2.12. Видео63
2.3. Шестеренки нейронных сетей: операции с тензорами63
2.3.1. Поэлементные операции64
2.3.2. Операции с тензорами, имеющими разные размерности65
2.3.3. Скалярное произведение тензоров65
2.3.4. Изменение формы тензора68
2.3.5. Геометрическая интерпретация операций с тензорами69
2.3.6. Геометрическая интерпретация глубокого обучения70
2.4. Механизм нейронных сетей: оптимизация на основе градиента71
2.4.1. Что такое производная?72
2.4.2. Производная операций с тензорами: градиент73
2.4.3. Стохастический градиентный спуск74
2.4.4. Объединение производных: алгоритм обратного распространения ошибки77
2.5. Взгляд назад на первый пример78
Краткие итоги главы80
Глава 3. Начало работы с нейронными сетями81
3.1. Анатомия нейронной сети82
3.1.1. Слои: строительные блоки глубокого обучения83
3.1.2. Модели: сети слоев84
3.1.3. Функции потерь и оптимизаторы: ключи к настройке процесса обучения84
3.2. Введение в Keras85
3.2.1. Keras, TensorFlow, Theano и CNTK86
3.2.2. Установка Keras87
3.2.3. Разработка с использованием Keras: краткий обзор88
3.3. Настройка рабочей станции для глубокого обучения90
3.3.1. Подготовка Keras: два варианта90
3.3.2. Запуск заданий глубокого обучения в облаке: за и против91
3.3.3. Выбор GPU для глубокого обучения91
3.4. Классификация отзывов к фильмам: пример бинарной классификации92
3.4.1. Набор данных IMDB92
3.4.2. Подготовка данных94
3.4.3. Конструирование сети94
3.4.4. Проверка решения98
3.4.5. Использование обученной сети для предсказаний на новых данных102
3.4.6. Дальнейшие эксперименты102
3.4.7. Итоги103
3.5. Классификация новостных лент: пример классификации в несколько классов103
3.5.1. Набор данных Reuters104
3.5.2. Подготовка данных105
3.5.3. Конструирование сети106
3.5.4. Проверка решения107
3.5.5. Предсказания на новых данных108
3.5.6. Другой способ обработки меток и потерь109
3.5.7. Важность использования достаточно больших промежуточных уровней109
3.5.8. Дальнейшие эксперименты110
3.5.9. Итоги110
3.6. Предсказание цен на дома: пример регрессии111
3.6.1. Набор данных с ценами на жилье в Бостоне111
3.6.2. Подготовка данных112
3.6.3. Конструирование сети113
3.6.4. Оценка решения методом перекрестной проверки по K блокам114
3.6.5. Подведение итогов118
Краткие итоги главы118
Глава 4. Основы машинного обучения120
4.1. Четыре раздела машинного обучения120
4.1.1. Контролируемое обучение121
4.1.2. Неконтролируемое обучение121
4.1.3. Самоконтролируемое обучение122
4.1.4. Обучение с подкреплением122
4.2. Оценка моделей машинного обучения124
4.2.1. Тренировочные, проверочные и контрольные наборы данных124
4.2.2. Что важно помнить128
4.3. Обработка данных, конструирование признаков и обучение признаков128
4.3.1. Предварительная обработка данных для нейронных сетей129
4.3.2. Конструирование признаков131
4.4. Переобучение и недообучение133
4.4.1. Уменьшение размера сети133
4.4.2. Добавление регуляризации весов137
4.4.3. Добавление прореживания138
4.5. Обобщенный процесс решения задач машинного обучения141
4.5.1. Определение задачи и создание набора данных141
4.5.2. Выбор меры успеха142
4.5.3. Выбор протокола оценки143
4.5.4. Предварительная подготовка данных143
4.5.5. Разработка модели более совершенной, чем базовый случай144
4.5.6. Масштабирование по вертикали: разработка модели с переобучением145
4.5.7. Регуляризация модели и настройка гиперпараметров146
Краткие итоги главы147
Часть II. Глубокое обучение на практике149
Глава 5. Глубокое обучение для распознавания образов150
5.1. Введение в сверточные нейронные сети150
5.1.1. Операция свертывания153
5.1.2. Выбор максимального значения из соседних (max-pooling)159
5.2. Обучение сверточной нейронной сети с нуля на небольшом наборе данных161
5.2.1. Целесообразность глубокого обучения для решения задач с небольшими наборами данных162
5.2.2. Загрузка данных162
5.2.3. Конструирование сети165
5.2.4. Предварительная обработка данных167
5.2.5. Расширение данных170
5.3. Использование предварительно обученной сверточной нейронной сети174
5.3.1. Выделение признаков175
5.3.2. Дообучение185
5.3.3. Итоги190
5.4. Визуализация знаний, заключенных в сверточной нейронной сети190
5.4.1. Визуализация промежуточных активаций191
5.4.2. Визуализация фильтров сверточных нейронных сетей198
5.4.3. Визуализация тепловых карт активации класса203
Краткие итоги главы208
Глава 6. Глубокое обучение для текста и последовательностей209
6.1. Работа с текстовыми данными210
6.1.1. Прямое кодирование слов и символов212
6.1.2. Использование векторного представления слов214
6.1.3. Объединение всего вместе: от исходного текста к векторному представлению слов221
6.1.4. Итоги227
6.2. Рекуррентные нейронные сети228
6.2.1. Рекуррентный уровень в Keras231
6.2.2. Слои LSTM и GRU234
6.2.3. Пример использования слоя LSTM из Keras238
6.2.4. Подведение итогов239
6.3. Улучшенные методы использования рекуррентных нейронных сетей240
6.3.1. Задача прогнозирования температуры240
6.3.2. Подготовка данных243
6.3.3. Базовое решение без привлечения машинного обучения247
6.3.4. Базовое решение c привлечением машинного обучения248
6.3.5. Первое базовое рекуррентное решение250
6.3.6. Использование рекуррентного прореживания для борьбы с переобучением252
6.3.7. Наложение нескольких рекуррентных уровней друг на друга254
6.3.8. Использование двунаправленных рекуррентных нейронных сетей255
6.3.9. Что дальше260
6.3.10. Подведение итогов260
6.4. Обработка последовательностей с помощью сверточных нейронных сетей261
6.4.1. Обработка последовательных данных с помощью одномерной сверточной нейронной сети262
6.4.2. Выбор соседних значений в одномерной последовательности данных263
6.4.3. Реализация одномерной сверточной сети263
6.4.4. Объединение сверточных и рекуррентных сетей для обработки длинных последовательностей265
6.4.5. Подведение итогов270
Краткие итоги главы270
Глава 7. Лучшие практики глубокого обучения продвинутого уровня272
7.1. За рамками последовательной модели: функциональный API фреймворка Keras273
7.1.1. Введение в функциональный API276
7.1.2. Модели с несколькими входами278
7.1.3. Модели с несколькими выходами280
7.1.4. Ориентированные ациклические графы уровней283
7.1.5. Повторное использование экземпляров слоев288
7.1.6. Модели как слои289
7.1.7. Подведение итогов290
7.2. Исследование и мониторинг моделей глубокого обучения с использованием обратных вызовов Keras и TensorBoard290
7.2.1. Применение обратных вызовов для воздействия на модель в ходе обучения291
7.2.2. Введение в TensorBoard: фреймворк визуализации TensorFlow294
7.2.3. Подведение итогов300
7.3. Извлечение максимальной пользы из моделей300
7.3.1. Шаблоны улучшенных архитектур300
7.3.2. Оптимизация гиперпараметров304
7.3.3. Ансамблирование моделей306
7.3.4. Подведение итогов308
Краткие итоги главы309
Глава 8. Генеративное глубокое обучение310
8.1. Генерирование текста с помощью LSTM312
8.1.1. Краткая история генеративных рекуррентных сетей312
8.1.2. Как генерируются последовательности данных?313
8.1.3. Важность стратегии выбора314
8.1.4. Реализация посимвольной генерации текста на основе LSTM316
8.1.5. Подведение итогов321
8.2. DeepDream322
8.2.1. Реализация DeepDream в Keras323
8.2.2. Подведение итогов328
8.3. Нейронная передача стиля329
8.3.1. Функция потерь содержимого331
8.3.2. Функция потерь стиля331
8.3.3. Нейронная передача стиля в Keras332
8.3.4. Подведение итогов338
8.4. Генерирование изображений с вариационными автокодировщиками338
8.4.1. Выбор шаблонов из скрытых пространств изображений340
8.4.2. Концептуальные векторы для редактирования изображений341
8.4.3. Вариационные автокодировщики342
8.4.4. Подведение итогов349
8.5. Введение в генеративно-состязательные сети350
8.5.1. Реализация простейшей генеративно-состязательной сети352
8.5.2. Набор хитростей352
8.5.3. Генератор354
8.5.4. Дискриминатор355
8.5.5. Состязательная сеть355
8.5.6. Как обучить сеть DCGAN356
8.5.7. Подведение итогов359
Краткие итоги главы359
Глава 9. Заключение360
9.1. Краткий обзор ключевых понятий361
9.1.1. Разные подходы к ИИ361
9.1.2. Что делает глубокое обучение особенным среди других подходов к машинному обучению361
9.1.3. Как правильно воспринимать глубокое обучение362
9.1.4. Ключевые технологии363
9.1.5. Обобщенный процесс машинного обучения364
9.1.6. Основные архитектуры сетей365
9.1.7. Пространство возможностей370
9.2. Ограничения глубокого обучения372
9.2.1. Риск очеловечивания моделей глубокого обучения373
9.2.2. Локальное и экстремальное обобщение375
9.2.3. Итоги377
9.3. Будущее глубокого обучения377
9.3.1. Модели как программы378
9.3.2. За границами алгоритма обратного распространения ошибки и дифференцируемых уровней380
9.3.3. Автоматизированное машинное обучение381
9.3.4. Непрерывное обучение и повторное использование модульных подпрограмм382
9.3.5. Долгосрочная перспектива384
9.4. Как не отстать от прогресса в быстро развивающейся области385
9.4.1. Практические решения реальных задач на сайте Kaggle385
9.4.2. Знакомство с последними разработками на сайте arXiv385
9.4.3. Исследование экосистемы Keras386
9.5. Заключительное слово387
Приложение А. Установка Keras и его зависимостей в Ubuntu388
A.1. Обзор процесса установки388
A.2. Установка системных библиотек388
A.3. Настройка поддержки GPU389
A.3.1. Установка CUDA389
A.3.2. Установка cuDNN390
A.3.3. Настройка окружения для CUDA390
A.4. Установка Keras и TensorFlow391
Приложение B. Запуск RStudio Server на экземпляре EC2 GPU393
B.1. Зачем использовать AWS для глубокого обучения?393
B.2. Когда нежелательно использовать AWS для глубокого обучения?393
B.3. Настройка экземпляра AWS GPU394
B.3.1. Установка R и RStudio Server396
B.3.2. Настройка CUDA397
B.3.3. Подготовка библиотек для Keras397
B.4. Настройка доступа к RStudio Server398
B.5. Установка Keras399

Глубокое обучение на R

Скачать

Описание

Оглавление

Ещё от Шолле Франсуа