Publication details

Iterative principles of recognition in probabilistic neural networks

Journal Article

Grim Jiří, Hora Jan


serial: Neural Networks vol.21, 6 (2008), p. 838-846

research: CEZ:AV0Z10750506

project(s): 2C06019, GA MŠk, 1M0572, GA MŠk, GA102/07/1594, GA ČR

keywords: Probabilistic neural networks, Distribution mixtures, EM algorithm, Recognition of numerals, Recurrent reasoning

abstract (eng):

When considering the probabilistic approach to neural networks in the framework of statistical pattern recognition we assume approximation of class-conditional probability distributions by finite mixtures of product components. The mixture components can be interpreted as probabilistic neurons in neurophysiological terms and, in this respect, the fixed probabilistic description contradicts the well known short-term dynamic properties of biological neurons. By introducing iterative schemes of recognition we show that some parameters of probabilistic neural networks can be /released/ for the sake of dynamic processes without disturbing the statistically correct decision making. In particular, we can iteratively adapt the mixture component weights or modify the input pattern in order to facilitate correct recognition. Both procedures are shown to converge monotonically as a special case of the well known EM algorithm for estimating mixtures.

abstract (cze):

Pravděpodobnostní přístup patří k nejnovějším metodám návrhu neuronových sítí. Základní paradigma pravděpodobnostního přístupu je jiné než v případě standardních metod. Návrh „klasické“ neuronové sítě zpravidla vychází z formálního modelu neuronu a předpokládá nějaký způsob propojení neuronů v síti. Adaptace neuronové sítě pro daný účel (rozpoznávání vstupních objektů, aproximaci výstupní funkce a pod.) probíhá na základě nějakého algoritmu učení, který je navržen heuristicky, nebo je odvozen z vhodně zvoleného kriteria optimální funkce sítě.

RIV: IN