Redes Neuronales & Deep Learning

803 Pages·2018·42.563 MB·Spanish

by  Fernando Berzal

Fernando Berzal
REDES NEURONALES
& DEEP LEARNING

R E D E S N E U R O N A L E S & D E E P L E A R N I N G

F E R N A N D O B E R Z A L
R E D E S N E U R O N A L E S &
D E E P L E A R N I N G
GRANADA 2018
http://deep-learning.ikor.org
Copyright © 2018 Fernando Berzal
License information: LATEX Tufte-style book template licensed under the Apache License, Version 2.0 (the
“License”); you may not use this file except in compliance with the License. You may obtain a copy of the
Licenseathttp://www.apache.org/licenses/LICENSE-2.0.Unlessrequiredbyapplicablelaworagreedtoin
writing, software distributed under the License is distributed on an “as is” basis, without warranties
or conditions of any kind, either express or implied. See the License for the specific language governing
permissions and limitations under the License.
Índice
PARTE I. REDES NEURONALES ARTIFICIALES 1
Inteligencia Artificial 3
Definiciones de I.A. 8
Los problemas de la I.A. 10
Técnicas heurísticas 22
Aprendizaje automático 27
Aplicaciones del aprendizaje automático 30
Tipos de aprendizaje automático 34
Aprendizaje supervisado 35
Sistemas de recuperación de información 38
Sistemas de pregunta-respuesta 39
Sistemas de recomendación 40
Nada es gratis 41
Aprendizaje no supervisado 42
Clustering 43
Reglas de asociación 49
¿Otras formas de aprendizaje? 51
Aprendizaje por refuerzo 52
Aprendizaje por asociación 54
Aprendizaje por imitación 56
Su uso en aprendizaje automático 57
viii
Evaluación de los resultados del aprendizaje 59
Métricas de evaluación 60
Precisión y tasa de error 61
Medidas sensibles a costes 63
Evaluación de rankings 65
Predicciones cuantitativas 71
Otras medidas 76
Métodos de evaluación 79
Conjuntos de entrenamiento, validación y prueba 81
Muestreo sin reemplazo: Validación cruzada 84
Muestreo con reemplazo: Bootstrapping 86
Finalización del modelo 87
Descomposición del error en sesgo y varianza 88
Técnicas de aprendizaje 95
Técnicas simbólicas: I.A. simbólica 97
Árboles de decisión 98
Inducción de reglas y listas de decisión 101
Técnicas analógicas: Reconocimiento de patrones 102
Vecinos más cercanos 104
Máquinas de vectores de soporte (SVM) 108
Técnicas bayesianas: Modelos probabilísticos 110
Naïve Bayes 113
Redes bayesianas 114
Redes de Markov 116
Técnicas evolutivas: Computación evolutiva 117
Algoritmos genéticos 120
Programación evolutiva 122
Estrategias de evolución 123
Programación genética 124
ix
Técnicas conexionistas: I.A. conexionista 125
Combinación de múltiples modelos: Ensembles 129
Bagging 131
Boosting 132
Stacking 133
Selección y extracción de características 134
Selección de características 136
Extracción de características 137
Ingeniería de características 140
Deep Learning 141
Características clave del deep learning 145
Limitaciones del deep learning 153
Problemas derivados del sobreaprendizaje 154
Las redes neuronales como cajas negras 156
Inspiración biológica 160
Plasticidad 163
Organización jerárquica 166
Percepción 170
Modelos de neuronas y redes neuronales artificiales 185
Neuronas o elementos de procesamiento 187
Funciones de activación 194
Función de activación lineal 195
Función escalón 196
Función lineal con saturación 196
Función de activación sigmoidal 197
Función de activación lineal rectificada 201
Funciones de base radial 203
x
Arquitecturas de las redes neuronales artificiales 204
Redes feed-forward 204
Redes competitivas 206
Redes recurrentes 207
Simulación de neuronas biológicas 210
PARTE II. ENTRENAMIENTO DE REDES 213
Perceptrones 215
La neurona de McCulloch y Pitts 215
Modelo computacional de McCulloch y Pitts 216
Modelo neuronal de McCulloch y Pitts 217
Ejemplo: Percepción fisiológica del calor y del frío 220
Reconocimiento de patrones con redes neuronales 221
El algoritmo de aprendizaje del perceptrón 226
Interpretación geométrica 229
Corrección del algoritmo de aprendizaje del perceptrón 231
Variantes y aplicaciones del perceptrón 235
Actualizaciones de los pesos 236
Tasas de aprendizaje 236
Zonas muertas 237
El perceptrón sigmoidal: Entradas y salidas continuas 239
El algoritmo del bolsillo: Clases no linealmente separables 240
El perceptrón de estabilidad óptima 242
El perceptrón multiclase 243
El perceptrón promedio 245
El perceptrón estructurado 248
Limitaciones del perceptrón 251
La función XOR 252
¿Son dos bits iguales? 253
¿Tienen dos patrones el mismo número de bits? 254
El libro de Minsky y Papert 255
Epílogo: Cómo resolver el problema XOR con perceptrones 256