Principe de l'énergie libre

Le principe de l'énergie libre est un énoncé précis qui explique comment les systèmes biologiques (ou non) se maintiennent en état de non-équilibre quasi-stationnaire en se limitant à un nombre limité d'états. Ce principe établit que les systèmes biologiques minimisent une fonction énergie libre de leurs états internes, qui impliquent des convictions sur des états cachés dans leur environnement. La minimisation implicite de l'énergie libre variationnelle est formellement liée aux méthodes bayésiennes variationnelles et a été introduite à l'origine par Karl Friston comme explication de la perception incarnée dans les neurosciences, où elle est aussi connue sous le nom d'inférence active.

En termes généraux, le principe de l'énergie libre est utilisé pour décrire un système tel que défini comme étant enfermé dans une couverture de Markov - essaie de minimiser la différence entre son modèle du monde et la perception de ses capteurs. Cette différence peut être qualifiée de « surprise » et minimisée par une mise à jour constante du modèle du monde. En tant que tel, le principe est basé sur l'idée bayésienne du cerveau comme « moteur d'inférence ». Friston a ajouté une deuxième voie à la minimisation : l'action. En changeant activement le monde dans l'état attendu, les systèmes peuvent aussi minimiser l'énergie libre du système. Friston suppose que c'est le principe de toute réaction biologique.

Friston considère que son principe s'applique aussi bien aux troubles mentaux qu'à l'intelligence artificielle. Les implémentations de l'IA basées sur le principe de l'inférence active ont montré des avantages par rapport à d'autres méthodes.

Contexte

L'idée que les systèmes biologiques auto-organisés - comme une cellule ou un cerveau - peuvent être compris comme minimisant l'énergie libre variationnelle est basée sur les observations de Helmholtz sur l'inférence inconsciente et les traitements ultérieurs en psychologie et en apprentissage automatique. L'énergie libre variationnelle est fonction de certains résultats et d'une densité de probabilité sur leurs causes (cachées). Cette densité variationnelle est définie par rapport à un modèle probabiliste qui génère des résultats à partir des causes. Dans ce contexte, l'énergie libre fournit une approximation (limite supérieure) des données probantes du modèle bayésien. Sa minimisation peut donc être utilisée pour expliquer l'inférence et l'apprentissage bayésiens. Lorsqu'un système échantillonne activement les résultats pour minimiser l'énergie libre, il effectue implicitement une inférence active et maximise les preuves pour son modèle (génératif).

Cependant, l'énergie libre est aussi une limite supérieure sur l'auto-information (ou surprise) des résultats, où la moyenne à long terme de la surprise est l'entropie. Cela signifie que si un système agit pour minimiser l'énergie libre, il placera implicitement une limite supérieure sur l'entropie des résultats - ou états sensoriels - qu'il échantillonne.

Relation avec d'autres théories

L'inférence active est étroitement liée au théorème du bon régulateur et aux comptes-rendus connexes de l'auto-organisation, tels que l'auto-assemblage, la formation de motifs, l'autopoïèse et la practopoièse. Elle aborde les thèmes de la cybernétique, la synergétique et l'embodiment. Puisque l'énergie libre peut être exprimée comme l'énergie attendue (des résultats) sous la densité variationnelle moins son entropie, elle est également liée au principe d'entropie maximale. Enfin, parce que la moyenne temporelle de l'énergie est l'action, le principe de l'énergie libre variationnelle minimale est un principe de moindre action.

Définition

Formulation continue

Ces schémas illustrent la partition des états en états internes et en états cachés ou externes séparés par une couverture de Markov - comprenant des états sensoriels et actifs. Le panneau inférieur montre cette partition telle qu'elle serait appliquée à l'action et à la perception dans le cerveau, où les états actifs et internes minimisent une énergie libre fonctionnelle des états sensoriels. L'auto-organisation des états internes qui s'ensuit correspond alors à la perception, tandis que l'action couple les états du cerveau aux états externes. Le panneau supérieur montre exactement les mêmes dépendances mais réarrangées de sorte que les états internes sont associés aux états intracellulaires d'une cellule, tandis que les états sensoriels deviennent les états de surface de la membrane cellulaire recouvrant les états actifs (par exemple, les filaments d'actine du cytosquelette).

L'inférence active repose sur le tuple $(\Omega ,\Psi ,S,A,R,q,p)$,

• Un échantillon de l'espace $\Omega$– à partir de laquelle les fluctuations aléatoires $\omega \in \Omega$sont tirées
• États cachés ou externes $\Psi :\Psi \times A\times \Omega \to \mathbb {R}$ – qui provoquent des états sensoriels et dépendent de l'action
• États sensoriels $S:\Psi \times A\times \Omega \to \mathbb {R}$ – une cartographie probabiliste à partir de l'action et des états cachés
• Action $A:S\times R\to \mathbb {R}$ – qui dépend des états sensoriels et internes
• États internes $R:R\times S\to \mathbb {R}$ – qui provoquent l'action et dépendent des états sensoriels
• Densité générative $p(s,\psi |m)$ – sur des états sensoriels et cachés sous un modèle génératif $m$
• Densité variationnelle $q(\psi |\mu )$ – sur des états cachés $\psi \in \Psi$ paramétrée par des états internes $\mu \in R$

Action et perception

L'objectif est de maximiser la preuve du modèle $p(s|m)$ ou de minimiser la surprise $-\log p(s|m)$. Il s'agit généralement d'une marginalisation insoluble sur les états cachés, donc la surprise est remplacée par une énergie libre variationnelle supérieure liée. Cependant, cela signifie que les états internes doivent également minimiser l'énergie libre, car l'énergie libre est une fonction des états sensoriels et internes :

$a(t)={\underset {a}{\operatorname {arg\,min} }}\{F(s(t),\mu (t))\}$

$\mu (t)={\underset {\mu }{\operatorname {arg\,min} }}\{F(s(t),\mu ))\}$

${\underset {\mathrm {free-energy} }{\underbrace {F(s,\mu )} }}={\underset {\mathrm {energy} }{\underbrace {E_{q}[-\log p(s,\psi \mid m)]} }}-{\underset {\mathrm {entropy} }{\underbrace {H[q(\psi |\mu )]} }}={\underset {\mathrm {surprise} }{\underbrace {-\log p(s|m)} }}+{\underset {\mathrm {divergence} }{\underbrace {D_{\mathrm {KL} }[q(\psi |\mu )\|p(\psi \mid s,m)]} }}\geq {\underset {\mathrm {surprise} }{\underbrace {-\log p(s|m)} }}$

Ceci induit une double minimisation par rapport à l'action et aux états internes qui correspondent respectivement à l'action et à la perception.

La minimisation de l'énergie libre

Minimisation de l'énergie libre et auto-organisation

La minimisation de l'énergie libre a été proposée comme caractéristique des systèmes auto-organisés, lorsqu'elle est présentée comme des systèmes dynamiques aléatoires. Cette formulation repose sur une couverture de Markov (comprenant des états d'action et des états sensoriels) qui sépare les états internes et externes. Si les états internes et l'action minimisent l'énergie libre, alors ils placent une limite supérieure sur l'entropie des états sensoriels

$\lim _{T\to \infty }{\frac {1}{T}}{\underset {\mathrm {free-action} }{\underbrace {\int _{0}^{T}F(s(t),\mu (t))dt} }}\geq \lim _{T\to \infty }{\frac {1}{T}}\int _{0}^{T}{\underset {\mathrm {surprise} }{\underbrace {-\log p(s(t)|m)} }}dt=H[p(s|m)]$

En effet, dans les hypothèses ergodiques, la moyenne à long terme des surprises est l'entropie. Cette limite résiste à une tendance naturelle au désordre - du type associé à la deuxième loi de la thermodynamique et au théorème de fluctuation.

Minimisation de l'énergie libre et inférence bayésienne

Toutes les inférences bayésiennes peuvent être exprimées en termes de minimisation de l'énergie libre, par exemple lorsque l'énergie libre est minimisée par rapport aux états internes, la divergence de Kullback-Leibler entre la densité variationnelle et la densité postérieure sur les états cachés est minimisée. Cela correspond à une inférence bayésienne approximative - lorsque la forme de la densité variationnelle est fixe - et à une inférence bayésienne exacte sinon. La minimisation de l'énergie libre fournit donc une description générique de l'inférence et du filtrage bayésiens (p. ex. filtre de Kalman). Elle est également utilisée dans la sélection de modèles bayésiens, où l'énergie libre peut être utilement décomposée en complexité et précision :

${\underset {\mathrm {free-energy} }{\underbrace {F(s,\mu )} }}={\underset {\mathrm {complexity} }{\underbrace {D_{\mathrm {KL} }[q(\psi |\mu )\|p(\psi |m)]} }}-{\underset {\mathrm {accuracy} }{\underbrace {E_{q}[\log p(s|\psi ,m)]} }}$

Les modèles avec un minimum d'énergie libre fournissent une explication précise des données, sous les coûts de complexité (c.f., le rasoir d'Ockham et les traitements plus formels des coûts de calcul)). Ici, la complexité est la divergence entre la densité variationnelle et les croyances antérieures sur les états cachés (c'est-à-dire les degrés effectifs de liberté utilisés pour expliquer les données).

Minimisation de l'énergie libre et thermodynamique

L'énergie libre variationnelle est une information théorique fonctionnelle et se distingue de l'énergie libre thermodynamique (Helmholtz). Cependant, le terme de complexité de l'énergie libre variationnelle partage le même point fixe que l'énergie libre de Helmholtz (dans l'hypothèse où le système est fermé thermodynamiquement mais non isolé). En effet, si les perturbations sensorielles sont suspendues (pour une période de temps suffisamment longue), la complexité est minimisée (car la précision peut être négligée). À ce stade, le système est en équilibre et les états internes minimisent l'énergie libre de Helmholtz, par le principe de l'énergie minimale.

Minimisation de l'énergie libre et théorie de l'information

La minimisation de l'énergie libre équivaut à maximiser l'information mutuelle entre les états sensoriels et les états internes qui paramètrent la densité variationnelle (pour une densité variationnelle à entropie fixe). Ceci relie la minimisation de l'énergie libre au principe de la redondance minimale et aux traitements connexes utilisant la théorie de l'information pour décrire le comportement optimal.

Minimisation de l'énergie libre en neurosciences

La minimisation de l'énergie libre fournit un moyen utile de formuler des modèles normatifs (optimaux de Bayes) d'inférence neuronale et d'apprentissage sous incertitude et souscrit donc à l'hypothèse bayésienne du cerveau. Les processus neuronaux décrits par la minimisation de l'énergie libre dépendent de la nature des états cachés : $\Psi =X\times \Theta \times \Pi$ qui peuvent comprendre des variables dépendantes du temps, des paramètres invariants dans le temps et la précision (variance inverse ou température) des fluctuations aléatoires. La minimisation des variables, des paramètres et de la précision correspond respectivement à l'inférence, à l'apprentissage et au codage de l'incertitude.

Inférence perceptuelle et catégorisation

La minimisation de l'énergie libre formalise la notion d'inférence inconsciente dans la perception et fournit une théorie normative (bayésienne) du traitement neuronal. La théorie des processus associés de la dynamique neuronale est basée sur la minimisation de l'énergie libre par la descente de gradient. Ceci correspond au filtrage bayésien généralisé (où ~ désigne une variable en coordonnées de mouvement généralisées et $D$ est un opérateur de matrice dérivée) :

${\dot {\tilde {\mu }}}=D{\tilde {\mu }}-\partial _{\tilde {\mu }}F(s,{\tilde {\mu }})$

Habituellement, les modèles génératifs qui définissent l'énergie libre sont non linéaires et hiérarchiques (comme les hiérarchies corticales dans le cerveau). Parmi les cas particuliers de filtrage généralisé, on peut citer le filtrage de Kalman, qui est formellement équivalent au codage prédictif – une métaphore populaire pour le message qui passe dans le cerveau. Dans les modèles hiérarchiques, le codage prédictif implique l'échange récurrent d'erreurs de prédiction ascendantes (bottom-up) et descendantes (top-down) qui est compatible avec l'anatomie et la physiologie des systèmes sensoriel et moteur.

Apprentissage perceptif et mémoire

Dans le codage prédictif, l'optimisation des paramètres du modèle par une montée en gradient sur l'intégrale temporelle de l'énergie libre (action libre) se réduit à une plasticité associative ou Hebbienne et est associée à une plasticité synaptique dans le cerveau.

Précision perceptuelle, attention et prépondérance

L'optimisation des paramètres de précision correspond à l'optimisation du gain des erreurs de prédiction (c.f. gain de Kalman). Dans les implémentations neuronalement plausibles du codage prédictif, cela correspond à l'optimisation de l'excitabilité des cellules pyramidales superficielles et a été interprété en termes de gain attentionnel.

Inférence active

Lorsque la descente en pente est appliquée à l'action ${\dot {a}}=-\partial _{a}F(s,{\tilde {\mu }})$ le contrôle moteur peut être compris en termes d'arcs réflexes classiques qui sont engagés par des prédictions descendantes (corticospinales). Ceci fournit un formalisme qui généralise la solution du point d'équilibre - au problème des degrés de liberté - aux trajectoires de mouvement.

Inférence et contrôle optimal

L'inférence active est liée au contrôle optimal en remplaçant les fonctions de valeur ou de coût à emporter par des croyances préalables sur les transitions d'état ou le débit. Ceci exploite le lien étroit entre le filtrage bayésien et la solution à l'équation de Bellman. Cependant, l'inférence active commence par (prend le pas sur) le débit $f=\Gamma \cdot \nabla V+\nabla \times W$ qui sont spécifiés par des fonctions de valeur scalaire $V(x)$ et vectorielle $W(x)$ de l'espace d'état (c.f. la décomposition de Helmholtz). Ici, $\Gamma$ est l'amplitude des fluctuations aléatoires et le coût est $c(x)=f\cdot \nabla V+\nabla \cdot \Gamma \cdot V$. Les antécédents de dépassement du flux $p({\tilde {x}}|m)$ induisent une priorité sur les états $p(x|m)=\exp(V(x))$ qui est la solution aux équations de Kolmogorov avancées appropriées. En revanche, la régulation optimale optimise le débit, compte tenu d'une fonction de coût, en supposant que $W=0$ (c'est-à-dire que le débit n'est pas bouclé ou qu'il présente un bilan détaillé). Habituellement, il s'agit de résoudre les équations de Kolmogorov rétrogrades.

Inférence active et théorie (des jeux) de la décision optimale

Les problèmes de décision optimale (habituellement formulés comme des processus de décision de Markov partiellement observables) sont traités par inférence active en absorbant les fonctions d'utilité dans des croyances antérieures. Dans ce paramètre, les états qui ont une utilité élevée (faible coût) sont les états qu'un agent s'attend à occuper. En équipant le modèle générateur d'états cachés qui contrôlent le modèle, les politiques (séquences de contrôle) qui minimisent l'énergie libre variationnelle conduisent à des états d'utilité élevée.

Neurobiologiquement, les neuromodulateurs comme la dopamine sont considérés pour rapporter la précision des erreurs de prédiction en modulant le gain des cellules principales codant l'erreur de prédiction. Cela est étroitement lié au rôle de la dopamine dans la déclaration des erreurs de prévision en soi, mais en est formellement distinct et dans les comptes rendus informatiques connexes.

Inférence active et neurosciences cognitives

L'inférence active a été utilisée pour aborder un éventail de questions dans les neurosciences cognitives, la fonction cérébrale et la neuropsychiatrie, notamment l'observation de l'action, les neurones miroirs, les saccades et la recherche visuelle, les mouvements oculaires, le sommeil, les illusions, l'attention, la sélection des actions, l'hystérie et la psychose.

Voir aussi

• Perception spécifique à l'action
• Affordance
• Autopoïèse
• Approches bayésiennes de la fonction cérébrale
• Théorie de la décision
• Embodiment
• Énergie libre
• Commande optimale
• Practopoïèse
• Codage prédictif
• Auto-organisation
• Synergétique (Haken)
• Méthodes bayésiennes variationnelles

Liens externes

• Sciences du comportement et du cerveau (Andy Clark)