Egy neurális hálózat kiképzéséhez több százszor annyi memória kell, mint a puszta használata, ahol a hálózat minden egyes rétege elfelejtheti, hogy mit csinált, amint átadja az információt a következő rétegnek.