De video van Fukushima (1986) toont een CNN die handgeschreven cijfers herkent [3], drie jaar vóór de video van LeCun (1989). Tijdlijn van CNN's genomen uit [5]: ★ 1969: Kunihiko Fukushima publiceerde gerectificeerde lineaire eenheden of ReLUs [1] die nu uitgebreid worden gebruikt in CNN's. ★ 1979: Fukushima publiceerde de basisarchitectuur van CNN met convolutielagen en downsamplinglagen [2]. Hij noemde het neocognitron. Het werd getraind met onbewaakte leerrules. De rekencapaciteit was 100 keer duurder dan in 1989, en een miljard keer duurder dan vandaag. ★ 1986: De video van Fukushima over het herkennen van handgeschreven cijfers [3]. ★ 1988: Wei Zhang et al hadden de eerste "moderne" 2-dimensionale CNN getraind door backpropagation, en pasten het ook toe op tekenherkenning [4]. De rekencapaciteit was ongeveer 10 miljoen keer duurder dan vandaag. ★ 1989-: latere werken door anderen [5]. REFERENTIES (meer in [5]) [1] K. Fukushima (1969). Visuele functie-extractie door een gelaagd netwerk van analoge drempelelementen. IEEE Transactions on Systems Science and Cybernetics. 5 (4): 322-333. Dit werk introduceerde gerectificeerde lineaire eenheden of ReLUs, nu wijdverspreid gebruikt in CNN's en andere neurale netwerken. [2] K. Fukushima (1979). Neuraal netwerkmodel voor een mechanisme van patroonherkenning dat niet wordt beïnvloed door verschuiving in positie—Neocognitron. Trans. IECE, vol. J62-A, no. 10, pp. 658-665, 1979. De eerste diepe convolutionele neurale netwerkarchitectuur, met afwisselende convolutielagen en downsamplinglagen. In het Japans. Engelse versie: 1980. [3] Film geproduceerd door K. Fukushima, S. Miyake en T. Ito (NHK Science and Technical Research Laboratories), in 1986. YouTube: [4] W. Zhang, J. Tanida, K. Itoh, Y. Ichioka. Verschuivingsinvariante patroonherkenning neurale netwerk en zijn optische architectuur. Proc. Jaarlijkse Conferentie van de Japan Society of Applied Physics, 1988. Eerste "moderne" backpropagation-getrainde 2-dimensionale CNN, toegepast op tekenherkenning. [5] J. Schmidhuber (AI Blog, 2025). Wie heeft convolutionele neurale netwerken uitgevonden?