Back-propagation:

En este tipo de redes, el problema a la hora de entrenarlas estriba en que sólo conocemos la salida de la red y la entrada, de forma que no se pueden ajustar los pesos sinápticos asociados a las neuronas de las capas ocultas, ya que no podemos inferir a partir del estado de la capa de salida como tiene que ser el estado de las capas ocultas.
 

El sistema de entrenamiento mediante back-propagation consiste en:

• Empezar con unos pesos sinápticos cualquiera (generalmente elegidos al azar).
• Introducir unos datos de entrada (en la capa de entradas) elegidos al azar entre los datos de entrada que se van a usar para el entrenamiento.
• Dejar que la red genere un vector de datos de salida (propagación hacia delante).
• Comparar la salida generada por al red con la salida deseada.
• La diferencia obtenida entre la salida generada y la deseada (denominada error) se usa para ajustar los pesos sinápticos de las neuronas de la capa de salidas.
• El error se propaga hacia atrás (back-propagation), hacia la capa de neuronas anterior, y se usa para ajustar los pesos sinápticos en esta capa.
• Se continua propagando el error hacia atrás y ajustando los pesos hasta que se alcance la capa de entradas.

 
El método por el cual el error es propagado hacia atrás fue descubierto por D.E. Rumelhart, G.E. Hinton y R.J. Williams en 1986, y casi al mismo al tiempo por Parker (1985) y Le Cun (1985). 

- Problemas del sistema:

Esto se debe a que la función que mide la eficiencia de las redes con capas ocultas, en la mayoría de los casos, es una función compleja que presenta muchos mínimos locales. Y el mejor conjunto de pesos sinápticos es aquel que hace que la función alcance un mínimo global.