Глубокое обучение на Python

Описание

Глубокое обучение — Deep learning — это набор алгоритмов машинного обучения, которые мо- делируют высокоуровневые абстракции в данных, используя архитектуры, состоящие из множества нелинейных преобразований. Согласитесь, эта фраза звучит угрожающе. Но всё не так страшно, если о глубоком обучении рассказывает Франсуа Шолле, который создал Keras — самую мощную библиотеку для работы с нейронными сетями. Познакомьтесь с глубоким обучением на практических примерах из самых разнообразных областей. Книга делится на две части: в первой даны теоретиче- ские основы, вторая посвящена решению конкретных задач. Это позволит вам не только разобраться в основах DL, но и научиться использовать новые возможности на практике. Обучение — это путешествие длиной в жизнь, особенно в области искусственного интеллекта, где неизвестностей гораздо больше, чем определенности.

Оглавление

Предисловие16
Благодарности17
Об этой книге19
Кому адресована эта книга19
Содержание книги20
Требования к программному/аппаратному обеспечению21
Исходный код22
Форум книги22
От издательства22
Об авторе23
Об иллюстрации на обложке24
Часть I Основы глубокого обучения25
Глава 1. Что такое глубокое обучение?26
1.1. Искусственный интеллект, машинное и глубокое обучение27
1.1.1. Искусственный интеллект27
1.1.2. Машинное обучение28
1.1.3. Обучение представлению данных29
1.1.4. «Глубина» глубокого обучения31
1.1.5. Принцип действия глубокого обучения в трех картинках33
1.1.6. Какой ступени развития достигло глубокое обучение35
1.1.7. Не верьте рекламе36
1.1.8. Перспективы ИИ37
1.2. Что было до глубокого обучения: краткая история машинного обучения38
1.2.1. Вероятностное моделирование38
1.2.2. Первые нейронные сети39
1.2.3. Ядерные методы39
1.2.4. Деревья решений, случайные леса и градиентный бустинг41
1.2.5. Назад к нейронным сетям42
1.2.6. Отличительные черты глубокого обучения43
1.2.7. Современный ландшафт машинного обучения44
1.3. Почему глубокое обучение? Почему сейчас?45
1.3.1. Оборудование45
1.3.2. Данные46
1.3.3. Алгоритмы47
1.3.4. Новая волна инвестиций48
1.3.5. Демократизация глубокого обучения48
1.3.6. Ждать ли продолжения этой тенденции?49
Глава 2. Прежде чем начать: математические основы нейронных сетей51
2.1. Первое знакомство с нейронной сетью51
2.2. Представление данных для нейронных сетей55
2.2.1. Скаляры (тензоры нулевого ранга)56
2.2.2. Векторы (тензоры первого ранга)56
2.2.3. Матрицы (тензоры второго ранга)56
2.2.4. Тензоры третьего и высшего рангов57
2.2.5. Ключевые атрибуты57
2.2.6. Манипулирование тензорами с помощью Numpy59
2.2.7. Пакеты данных59
2.2.8. Практические примеры тензоров с данными60
2.2.9. Векторные данные60
2.2.10. Временные ряды или последовательности61
2.2.11. Изображения61
2.2.12. Видео62
2.3. Шестеренки нейронных сетей: операции с тензорами63
2.3.1. Поэлементные операции63
2.3.2. Расширение64
2.3.3. Скалярное произведение тензоров65
Изменение формы тензора68
2.3.5. Геометрическая интерпретация операций с тензорами69
2.3.6. Геометрическая интерпретация глубокого обучения70
2.4. Механизм нейронных сетей: оптимизация на основе градиента71
2.4.1. Что такое производная?72
2.4.2. Производная операций с тензорами: градиент73
2.4.3. Стохастический градиентный спуск74
2.4.4. Объединение производных: алгоритм обратного распространения ошибки77
2.5. Оглядываясь на первый пример78
Краткие итоги главы79
Глава 3. Начало работы с нейронными сетями81
3.1. Анатомия нейронной сети82
3.1.1. Слои: строительные блоки глубокого обучения83
3.1.2. Модели: сети слоев84
3.1.3. Функции потерь и оптимизаторы: ключи к настройке процесса обучения84
3.2. Введение в Keras85
3.2.1. Keras, TensorFlow, Theano и CNTK86
3.2.2. Разработка с использованием Keras: краткий обзор87
3.3. Настройка рабочей станции для глубокого обучения89
3.3.1. Jupyter Notebook: предпочтительный способ проведения экспериментов с глубоким обучением90
3.3.2. Подготовка Keras: два варианта90
3.3.3. Запуск заданий глубокого обучения в облаке: за и против91
3.3.4. Выбор GPU для глубокого обучения91
3.4. Классификация отзывов к фильмам: пример бинарной классификации92
3.4.1. The IMDB dataset92
3.4.2. Подготовка данных93
3.4.3. Конструирование сети94
3.4.4. Проверка решения98
3.4.5. Использование обученной сети для предсказаний на новых данных101
3.4.6. Дальнейшие эксперименты101
3.4.7. Подведение итогов102
3.5. Классификация новостных лент: пример классификации в несколько классов102
3.5.1. Набор данных Reuters103
3.5.2. Подготовка данных104
3.5.3. Конструирование сети105
3.5.4. Проверка решения106
3.5.5. Предсказания на новых данных108
3.5.6. Другой способ обработки меток и потерь109
3.5.7. Важность использования достаточно больших промежуточных слоев109
3.5.8. Дальнейшие эксперименты110
3.5.9. Подведение итогов110
3.6. Предсказание цен на дома: пример регрессии111
3.6.1. Набор данных с ценами на жилье в Бостоне111
3.6.2. Подготовка данных112
3.6.3. Конструирование сети112
3.6.4. Оценка решения методом перекрестной проверки по K блокам113
3.6.5. Подведение итогов118
Краткие итоги главы118
Глава 4. Основы машинного обучения120
4.1. Четыре раздела машинного обучения120
4.1.1. Контролируемое обучение121
4.1.2. Неконтролируемое обучение121
4.1.3. Самоконтролируемое обучение122
4.1.4. Обучение с подкреплением122
4.2. Оценка моделей машинного обучения124
4.2.1. Тренировочные, проверочные и контрольные наборы данных124
4.2.2. Что важно помнить128
4.3. Обработка данных, конструирование признаков и обучение признаков128
4.3.1. Предварительная обработка данных для нейронных сетей129
4.3.2. Конструирование признаков130
4.4. Переобучение и недообучение132
4.4.1. Уменьшение размера сети133
4.4.2. Добавление регуляризации весов136
4.4.3. Добавление прореживания138
4.5. Обобщенный процесс решения задач машинного обучения140
4.5.1. Определение задачи и создание набора данных140
4.5.2. Выбор меры успеха141
4.5.3. Выбор протокола оценки142
4.5.4. Предварительная подготовка данных142
4.5.5. Разработка модели, более совершенной, чем базовый случай143
4.5.6. Масштабирование по вертикали: разработка модели с переобучением144
4.5.7. Регуляризация модели и настройка гиперпараметров145
Краткие итоги главы146
Часть II. Глубокое обучение на практике147
Глава 5. Глубокое обучение в технологиях компьютерного зрения148
5.1. Введение в сверточные нейронные сети148
5.1.1. Операция свертывания151
5.1.2. Выбор максимального значения из соседних (max-pooling)157
5.2. Обучение сверточной нейронной сети с нуля на небольшом наборе данных159
5.2.1. Целесообразность глубокого обучения для решения задач с небольшими наборами данных159
5.2.2. Загрузка данных160
5.2.3. Конструирование сети163
5.2.4. Предварительная обработка данных165
5.2.5. Расширение данных169
5.3. Использование предварительно обученной сверточной нейронной сети173
5.3.1. Выделение признаков174
5.3.2. Дообучение184
5.3.3. Подведение итогов190
5.4. Визуализация знаний, заключенных в сверточной нейронной сети191
5.4.1. Визуализация промежуточных активаций191
5.4.2. Визуализация фильтров сверточных нейронных сетей198
5.4.3. Визуализация тепловых карт активации класса204
Краткие итоги главы209
Глава 6. Глубокое обучение для текста и последовательностей210
6.1. Работа с текстовыми данными211
6.1.1. Прямое кодирование слов и символов213
6.1.2. Векторное представление слов215
6.1.3. Объединение всего вместе: от исходного текста к векторному представлению слов221
6.1.4. Подведение итогов228
6.2. Рекуррентные нейронные сети228
6.2.1. Рекуррентный слой в Keras231
6.2.2. Слои LSTM и GRU235
6.2.3. Пример использования слоя LSTM из Keras238
6.2.4. Подведение итогов240
6.3. Улучшенные методы использования рекуррентных нейронных сетей240
6.3.1. Задача прогнозирования температуры241
6.3.2. Подготовка данных244
6.3.3. Базовое решение без привлечения машинного обучения247
6.3.4. Базовое решение c привлечением машинного обучения248
6.3.5. Первое базовое рекуррентное решение250
6.3.6. Использование рекуррентного прореживания для борьбы с переобучением251
6.3.7. Наложение нескольких рекуррентных слоев друг на друга253
6.3.8. Использование двунаправленных рекуррентных нейронных сетей254
6.3.9. Что дальше258
6.3.10. Подведение итогов259
6.4. Обработка последовательностей с помощью сверточных нейронных сетей260
6.4.1. Обработка последовательных данных с помощью одномерной сверточной нейронной сети260
6.4.2. Выбор соседних значений в одномерной последовательности данных261
6.4.3. Реализация одномерной сверточной сети262
6.4.4. Объединение сверточных и рекуррентных сетей для обработки длинных последовательностей264
6.4.5. Подведение итогов268
Краткие итоги главы268
Глава 7. Лучшие практики глубокого обучения продвинутого уровня270
7.1. За рамками модели Sequential: функциональный API фреймворка Keras270
7.1.1. Введение в функциональный API274
7.1.2. Модели с несколькими входами275
7.1.3. Модели с несколькими выходами277
7.1.4. Ориентированные ациклические графы уровней280
7.1.5. Повторное использование экземпляров слоев284
7.1.6. Модели как слои285
7.1.7. Подведение итогов286
7.2. Исследование и мониторинг моделей глубокого обучения с использованием обратных вызовов Keras и TensorBoard286
7.2.1. Применение обратных вызовов для воздействия на модель в ходе обучения287
7.2.2. Введение в TensorBoard: фреймворк визуализации TensorFlow290
7.2.3. Подведение итогов296
7.3. Извлечение максимальной пользы из моделей297
7.3.1. Шаблоны улучшенных архитектур297
7.3.2. Оптимизация гиперпараметров301
7.3.3. Ансамблирование моделей303
7.3.4. Подведение итогов305
Краткие итоги главы306
Глава 8. Генеративное глубокое обучение307
8.1. Генерирование текста с помощью LSTM309
8.1.1. Краткая история генеративных рекуррентных сетей309
8.1.2. Как генерируются последовательности данных?310
8.1.3. Важность стратегии выбора311
8.1.4. Реализация посимвольной генерации текста на основе LSTM313
8.1.5. Подведение итогов318
8.2. DeepDream318
8.2.1. Реализация DeepDream в Keras320
8.2.2. Подведение итогов326
8.3. Нейронная передача стиля326
8.3.1. Функция потерь содержимого327
8.3.2. Функция потерь стиля328
8.3.3. Нейронная передача стиля в Keras329
8.3.4. Подведение итогов336
8.4. Генерирование изображений с вариационными автокодировщиками336
8.4.1. Выбор шаблонов из скрытых пространств изображений336
8.4.2. Концептуальные векторы для редактирования изображений338
8.4.3. Вариационные автокодировщики339
8.4.4. Подведение итогов346
8.5. Введение в генеративно-состязательные сети346
8.5.1. Реализация простейшей генеративно-состязательной сети348
8.5.2. Набор хитростей349
8.5.3. Генератор350
8.5.4. Дискриминатор351
8.5.5. Состязательная сеть352
8.5.6. Как обучить сеть DCGAN353
8.5.7. Подведение итогов355
Краткие итоги главы356
Глава 9. Заключение357
9.1. Краткий обзор ключевых понятий358
9.1.1. Разные подходы к ИИ358
9.1.2. Что делает глубокое обучение особенным среди других подходов к машинному обучению358
9.1.3. Как правильно воспринимать глубокое обучение359
9.1.4. Ключевые технологии360
9.1.5. Обобщенный процесс машинного обучения361
9.1.6. Основные архитектуры сетей362
9.1.7. Пространство возможностей367
9.2. Ограничения глубокого обучения369
9.2.1. Риск очеловечивания моделей глубокого обучения370
9.2.2. Локальное и экстремальное обобщение372
9.2.3. Подведение итогов373
9.3. Будущее глубокого обучения374
9.3.1. Модели как программы375
9.3.2. За границами алгоритма обратного распространения ошибки и дифференцируемых слоев377
9.3.3. Автоматизированное машинное обучение377
9.3.4. Непрерывное обучение и повторное использование модульных подпрограмм378
9.3.5. Долгосрочная перспектива380
9.4. Как не отстать от прогресса в быстроразвивающейся области381
9.4.1. Практические решения реальных задач на сайте Kaggle381
9.4.2. Знакомство с последними разработками на сайте arXiv382
9.4.3. Исследование экосистемы Keras383
9.5. Заключительное слово383
Приложение A Установка Keras и его зависимостей в Ubuntu384
A.1. Установка пакетов научных вычислений для Python385
A.2. Настройка поддержки GPU386
A.3. Установка Theano (необязательно)387
A.4. Установка Keras388
Приложение B Запуск Jupyter Notebook на экземпляре EC2 GPU389
B.1. Что такое Jupyter Notebook? Зачем запускать Jupyter Notebook на AWS GPU?389
B.2. Когда нежелательно использовать Jupyter на AWS для глубокого обучения?390
B.3. Настройка экземпляра AWS GPU390
B.3.1. Настройка Jupyter393
B.4. Установка Keras394
B.5. Настройка перенаправления локальных портов395
B.6. Доступ к Jupyter из браузера на локальном компьютере395

Глубокое обучение на Python

Скачать

Описание

Оглавление

Ещё от Шолле Франсуа