Archives mensuelles : mai 2006

8 – Irréversibilité et perte d’information

Au cours du 19ème siècle, il apparaît de plus en plus clairement qu’un gaz est formé de particules très petites appelées molécules et que ces molécules sont constamment en mouvement. La chaleur est donc bien une forme d’énergie mécanique. C’est l’énergie cinétique des molécules en mouvement. Celles-ci forment un système mécanique complexe dont on ne peut étudier l’évolution que statistiquement. C’est ce que fait l’écossais James Clerk Maxwell suivi en cela par l’autrichien Ludwig Boltzmann. La température devient une grandeur statistique. C’est une mesure de l’énergie cinétique moyenne des molécules. Ces deux quantités sont proportionnelles. Le coefficient de proportionnalité s’appelle maintenant la constante de Boltzmann. C’est Boltzmann qui découvre la nature statistique de l’entropie.
<br /><br />
<table width= »450″ >
<tr align= »center »>
<td>
<img src= »Boltzmann.jpg » alt= »Ludwig Boltzmann » width= »230″ />
</td>
<td>
Ludwig Boltzmann.
</td>
</tr>
</table>
<br />

 

Reprenons l’exemple précédent du gaz qui se détend irréversiblement à travers un piston qui fuit. Ce gaz est formé de molécules qui obéissent aux lois de la mécanique établies par Newton. Or, ces lois sont réversibles. Boltzmann réalise que si, à un moment donné, on inverse la vitesse de ces molécules, alors chacune d’elles va effectuer le parcours en sens inverse et le gaz va revenir à son état initial, c’est-à-dire que son entropie va diminuer. Ce phénomène n’est donc pas impossible. Il est seulement hautement improbable qu’il se produise naturellement. C’est d’autant plus improbable que les molécules d’un gaz sont plus nombreuses. Dans un gaz qui ne contiendrait que 3 ou 4 molécules, il ne serait pas impossible de les retrouver occasionnellement, au hasard de leur mouvement, toutes du même coté du piston. Dans un gaz qui contient des milliers de milliards de milliards de molécule, c’est tout simplement statistiquement impossible. On sait maintenant manipuler des ensembles de quelques molécules. On observe effectivement des fluctuations aléatoires d’entropie. Celle-ci peut donc occasionnellement diminuer mais en valeur moyenne elle ne diminue pas<a href= » http://www.aip.org/pt/vol-58/iss-7/p43.html »>(1)</a>.

Il faut donc distinguer l’état microscopique d’un gaz (défini par la position et la vitesse de chacune de ces molécules) de son état macroscopique (défini par des grandeurs statistiques comme la pression et la température). Lorsqu’on supprime des contraintes (en créant par exemple une fuite dans le piston), l’état microscopique d’un système va évoluer réversiblement en accord avec les lois de Newton, mais son état macroscopique va évoluer irréversiblement d’un état peu probable vers un état statistiquement plus probable. Dans un système formé d’un très grand nombre de molécules, c’est toujours l’état le plus probable qui est observé (même nombre de molécules de chaque coté du piston). L’incertitude devient une certitude. L’état statistiquement le plus probable étant celui d’entropie maximale, l’entropie apparaît comme une mesure de cette probabilité.

Ainsi l’irréversibilité provient de notre impossibilité de connaître et de contrôler le mouvement de chacune des molécules. Nous verrons que l’entropie est aussi une mesure ce manque d’information, c’est-à-dire de notre ignorance. On peut imaginer que si l’on connaissait avec suffisamment de précision la position et la vitesse de chacune des molécules de l’air qui nous entoure, alors on pourrait prédire le temps qu’il va faire (et reconstituer le temps qu’il a fait) pendant des années. Mais nous ne connaissons que la pression, la température, et la vitesse du vent en certains points du globe. Cela limite nos prévisions à quelques jours. La moindre erreur s’amplifie et rend toute prévision illusoire. C’est l’image symbolique du battement d’aile d’un papillon qui peut être à l’origine d’un cyclone. Vu l’immensité du nombre de molécules l’évolution qu’on observe, est toujours l’évolution macroscopiquement la plus probable, c’est-à-dire celle qui maximise l’entropie. C’est aussi celle qui minimise notre possibilité de prévoir l’avenir. Quand l’entropie augmente, le passé s’estompe et l’avenir devient imprévisible.

Le déterminisme du XIXème siècle était fondé sur l’idée qu’on pouvait théoriquement connaître avec une précision infinie la position et la vitesse de toutes les particules de l’univers et donc prévoir entièrement son évolution future. La mécanique quantique a définitivement éliminé cette possibilité en établissant la relation d’incertitude de Heisenberg qui dit que toute amélioration de la précision sur la position d’une molécule se traduit par une dégradation de la précision sur sa vitesse et vice-versa. L’information que l’on peut avoir sera donc toujours limitée par la mécanique quantique. Notre degré d’ignorance est maintenant parfaitement établi. On peut mesurer l’entropie de façon absolue. C’est la fin du déterminisme et le rétablissement du libre arbitre. Contrairement à ce que pensait Einstein, Dieu joue effectivement aux dés: le hasard est inscrit dans les lois de la nature.

L’américain Claude Shannon fut le premier à relier la notion d’entropie à celle d’information. Il le fit pendant la dernière guerre mondiale alors qu’il travaillait aux laboratoires Bell sur les moyens de communication. Il cherchait alors à établir une théorie mathématique de l’information, notion qui paraissait jusque là subjective. Il remarqua que l’information dépend de notre connaissance à priori. Un événement certain n’apporte aucune information. L’information dépend donc de la probabilité d’un événement. Plus celui-ci est improbable plus l’information qu’il apporte est élevée.

Le jeu du portrait illustre parfaitement la théorie de Shannon. Ce jeu consiste à deviner le nom d’une personne ou d’un objet à partir de réponses par oui ou par non. Celui qui pose le plus petit nombre de questions à gagné. La stratégie consiste à maximiser l’information contenue dans la réponse. Une réponse prévisible n’apportant pas d’information, il faut donc poser des questions telles que la réponse soit la plus imprévisible possible. Pour cela, il faut que les deux réponses possibles (oui ou non) aient la même probabilité 1/2. On obtient alors le maximum d’information que peut apporter une variable binaire, c’est-à-dire une variable qui ne peut prendre que deux valeurs (oui ou non, 0 ou 1).

La quantité d’information apportée par une telle variable binaire est prise par Shannon comme unité de mesure de l’information. Il lui donne le nom de bit, contraction de l’anglais “binary unit”. Son expression mathématique de la quantité d’information est (au signe près) en tout point semblable à l’expression de Boltzmann pour l’entropie. L’entropie est donc effectivement une information au sens de Shannon. C’est l’information que l’on perd dans une transformation irréversible (quand l’information diminue l’entropie augmente). La théorie de Shannon est à la base de toutes les nouvelles technologies de l’information et de la communication (NTIC), notamment les méthodes de compression de l’information.

Ainsi le monde est à la fois prévisible et imprévisible. Il est prévisible en ce sens qu’il obéit à des lois strictes, immuables et parfaitement identifiables. Les mêmes causes produisent toujours le même effet. Mais il est en même temps imprévisible parce que notre connaissance du monde est fondamentalement limitée et que la moindre incertitude sur cette connaissance rend caduque toute prévision à long terme. L’avenir réserve toujours des surprises.

(1) voir (en anglais): http://www.aip.org/pt/vol-58/iss-7/p43.html