Antes de aprender la retropropagación, entendemos:
¿Qué son las redes naturales artificiales?
Una red neuronal es un grupo de unidades de E / S conectadas en el que pesa cada conexión a sus programas informáticos. Le ayuda a crear modelos predictivos a partir de grandes bases de datos. Este modelo se basa en el sistema nervioso humano. Te ayuda a hacer comprensión de imágenes, aprendizaje humano, habla por computadora, etc.
¿Qué es la retropropagación?
En el corazón del desprendimiento de retina se encuentra el núcleo del entrenamiento de la red neuronal. El método consiste en ajustar un número de red neuronal en función de la tasa de error encontrada en la Época anterior (es decir, iteración). El ajuste adecuado de los pesos le permite reducir las tasas de error y hacer que el modelo sea confiable aumentando la generalización.
La propagación hacia atrás es una forma corta de «proliferación de errores hacia atrás». Es un método estándar para entrenar redes neuronales artificiales. Este método ayuda a calcular el gradiente funcional de pérdida para todos los pesos de la red.
En este tutorial, aprenderá:
Cómo funciona la retropropagación: un algoritmo simple
Considere el siguiente diagrama
- Entradas X, alcance a través de la ruta preconectada
- Las entradas se modelan utilizando pesos reales de W. Los pesos generalmente se seleccionan al azar.
- Calcule la salida para cada neurona desde la capa de entrada, a las capas ocultas, a la capa de salida.
- Calcular el error en las salidas
ErrorB= Actual Output – Desired Output
- Regrese de la capa de salida a la capa oculta para ajustar los pesos a fin de reducir el error.
Siga repitiendo el proceso hasta lograr el resultado deseado
¿Por qué necesitamos reprocesamiento?
Los beneficios más notables de la retropropagación son:
- El reprocesamiento es rápido, sencillo y fácil de programar
- No tiene parámetros de ajuste distintos del número de entradas
- Es un método flexible ya que no requiere conocimientos previos de la red
- Es un método estándar que generalmente funciona bien
- No se requieren comentarios especiales sobre los aspectos de la función que se deben aprender.
¿Qué es una red Feed Forward?
Una red neuronal de alimentación es una red neuronal artificial donde los nodos nunca están en un ciclo. Este tipo de red neuronal tiene una capa de entrada, capas ocultas y una capa de salida. Es el primer y más simple tipo de red neuronal artificial.
Tipos de redes de retropropagación
Hay dos tipos de redes de retropropagación:
- Reacción estática
- Reprocesamiento recurrente
Reacción estática:
Es un tipo de red de reprocesamiento que produce un mapeo de entradas estáticas para salida estática. Es útil para resolver problemas de clasificación estática, como el reconocimiento óptico de caracteres.
Reprocesamiento recurrente:
Se realiza un reprocesamiento repetitivo hasta que se alcanza un valor fijo. Luego, el error se calcula y se multiplica al revés.
La principal diferencia entre estos dos métodos es: el mapeo rápido está en regresión estática mientras que no es estático en circulación repetitiva recurrente.
Historia de la retropropagación
- En 1961, J. Kelly, Henry Arthur y E. Bryson derivaron el concepto básico de posprocesamiento continuo.
- En 1969, Bryson y Ho introdujeron un método de optimización del sistema dinámico de varias etapas.
- En 1974, Werbos mencionó la posibilidad de aplicar este principio en una red neuronal artificial.
- En 1982, a Hopfield se le ocurrió la idea de una red neuronal.
- En 1986, con el esfuerzo de David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, la retropropagación ganó reconocimiento.
- En 1993, WAN se convirtió en la primera persona en ganar un concurso internacional de reconocimiento de patrones con la ayuda del método de reprocesamiento.
Puntos clave de retropropagación
- Simplifica la estructura de la red de acuerdo con los elementos de conexión ponderados que tienen el menor efecto en la red especializada.
- Debe estudiar un grupo de valores de entrada y activación para desarrollar la relación entre las capas de entrada y las unidades ocultas.
- Ayuda a evaluar el impacto de una variable de entrada particular en la salida de la red. La información obtenida de este análisis debe reflejarse en reglas.
- El reprocesamiento es especialmente útil para redes neuronales profundas que trabajan en proyectos que son propensos a errores, como el reconocimiento de imágenes o de voz.
- La retropropagación aprovecha la cadena y las reglas de potencia permiten que el reprocesamiento funcione con cualquier número de salidas.
Buenas prácticas de retropropagación
El reprocesamiento se puede explicar con la ayuda de la analogía de «Lace Shoe»
Tensión demasiado pequeña
- No del todo restringido y muy suelto.
Demasiada tension
- Demasiadas restricciones (yendo demasiado lejos)
- Tomando demasiado tiempo (proceso relativamente lento)
- Mayor probabilidad de rotura
Para dibujar un cordón más que otro;
Las desventajas de usar la retropropagación
- El rendimiento real del reprocesamiento en un problema particular depende de los datos de entrada.
- El posprocesamiento puede ser muy sensible a los datos de ruido
- Debe utilizar el enfoque basado en matrices para el reprocesamiento en lugar del mini lote.
Resumen
- Una red neuronal es un grupo de unidades de E / S conectadas en las que pesa cada conexión a sus programas informáticos.
- La propagación hacia atrás es una forma corta de «proliferación de errores hacia atrás». Es un método estándar para entrenar redes neuronales artificiales.
- El reprocesamiento es rápido, sencillo y fácil de programar
- Una red neuronal de alimentación es una red neuronal artificial.
- Dos tipos de redes de retropropagación son 1) Propagación estática 2) Reprocesamiento repetitivo
- En 1961, J. Kelly, Henry Arthur y E. Bryson derivaron el concepto básico de posdespliegue continuo.
- La retropropagación simplifica la estructura de la red al eliminar las conexiones ponderadas que tienen el menor efecto en la red especializada.
- Es especialmente útil para redes neuronales profundas que trabajan en proyectos que son propensos a errores, como el reconocimiento de imágenes o de voz.
- La principal desventaja de la retropropagación es que puede ser sensible a los datos de ruido.