Bien qu’abstraite, la notion d’énergie nous est devenue familière grâce à sa production industrielle sous des formes variées: énergie thermique, hydroélectricité, énergie nucléaire, etc… Encore plus abstraite, la notion d’information nous devient elle aussi peu à peu familière grâce aux progrès des ordinateurs et à leur utilisation dans la vie courante. Ceux-ci deviennent chaque jour plus compacts et plus puissants de sorte qu’on peut se demander jusqu’où le progrès technique peut aller.

Un des problèmes rencontrés par les ingénieurs est le dégagement de chaleur. Je revois encore la machine IBM 650 de l’observatoire de Meudon que j’ai utilisée pour mon travail de thèse au début des années 60. Comparable en plus lent à ce qu’on appelle de nos jours une calculette programmable, cette énorme machine à lampe dégageait une telle chaleur qu’une demi douzaine de climatiseurs étaient nécessaires pour refroidir la grande salle qui la contenait. Bien que beaucoup plus faible, la chaleur dégagée par les circuits intégrés modernes reste suffisante pour empêcher la fabrication de circuits compacts à trois dimensions. La question s’est donc posée de savoir s’il existe une limite inférieure fondamentale à la dissipation d’énergie d’un ordinateur.

Les opérations effectuées par les ordinateurs peuvent toutes se décomposer en opérations logiques élémentaires faisant partie de ce que les mathématiciens appellent l’algèbre de Boole, du nom du logicien britannique George Boole. Elles s’appliquent à des variables dites booléennes pouvant prendre seulement deux valeurs 0 ou 1. Certaines de ces opérations sont réversibles. Par exemple la négation est une opération réversible notée NON (ou NOT). Elle remplace la valeur 0 par 1 et la valeur 1 par 0. D’autres opérations booléennes sont irréversibles, par exemple l’opération ET (ou AND). Appliquée à deux variables booléennes, cette opération donne pour résultat 1 si et seulement si les deux variables sont égales à 1. Le résultat 0 pouvant être obtenu de plusieurs façons différentes, cette opération est clairement irréversible.

Dans un ordinateur les opérations booléennes sont effectuées par des systèmes physiques. Si l’opération est réversible, elle pourra être effectuée par un système subissant une transformation réversible. On a vu (article 7) qu’une telle transformation idéale se fait sans dégagement de chaleur. Par contre une opération irréversible sera en général effectuée par un système physique dissipatif, c’est-à-dire dégageant de la chaleur.

Des chercheurs comme Edward Fredkin ont montré qu’il est possible de développer une logique dite “conservative” dans laquelle toutes les opérations logiques sont réversibles, sauf l’effacement du contenu d’une mémoire qui reste évidemment irréversible. L’inconvénient de la logique conservative est de produire des résultats supplémentaires non désirés appelés “déchets numériques”. Ces résultats encombrent la mémoire de l’ordinateur et ne peuvent être effacés sans dissipation d’énergie. Une solution à ce problème est de sauver les résultats désirés et d’inverser le calcul puisque celui-ci est réversible. Les déchets numériques sont alors “recyclés”. L’ordinateur se retrouve dans l’état initial prêt à effectuer de nouveaux calculs. C’est l’équivalent informatique du cycle de Carnot, le cycle réversible du moteur thermique idéal.

Inversement, un ensemble de particules en interaction, comme celles d’un gaz dans un moteur thermique, peut être considéré comme un ordinateur effectuant des opérations logiques. Pour le montrer, Fredkin a développé un modèle théorique dit de “boules de billard”. Dans ce modèle idéal, les boules de billard se déplacent sans frottement et les chocs sont purement élastiques. Les trajectoires sont alors parfaitement réversibles. La figure ci-dessous montre que le choc de deux boules de billard est effectivement l’équivalent d’une opération logique réversible. On observe les boules A et B sur les trajectoires en trait plein si et seulement si elles sont toutes deux présentes. On ne les observe sur les trajectoires en pointillé que si l’une d’entre elle est présente. On remarque l’abondance de résultats non-nécessairement désirés (déchets numériques).

Choc entre deux particules considéré comme une opération logique

Mais l’univers n’est-il pas un ensemble de particules en interaction? Dans ce cas l’univers est, comme le pense Fredkin, un immense ordinateur. Mais que calcule-t-il? Le lecteur assidu de ce blog aura sans doute deviné la réponse. L’univers suit un algorithme d’optimisation. Il cherche constamment à maximiser la dissipation d’énergie (ou taux de production d’entropie).

Dans le cas d’un système isolé, la solution est triviale. L’algorithme répartit également l’énergie entre toutes les particules ou, plus généralement, entre tous les degrés de liberté du système. Les variations de température, de pression ou de toute autre variable macroscopique s’estompent. Intégralement convertie en chaleur, l’énergie libre disparait. Le système tend vers ce qu’on appelle l’équilibre thermodynamique.

Si, par contre, le système est soumis à des différences de température, de pression ou de concentration chimique, et que ces différences ou gradients sont maintenus par un apport constant d’énergie, alors la solution est loin d’être triviale. Apparaît ce que nous avons appelé des structures dissipatives auto-organisées. Le système cherche toujours à atteindre l’équilibre thermodynamique mais sa trajectoire dans l’espace des phases (article 24) est limitée par la contrainte ainsi imposée. Elle reste confinée dans un volume restreint.

Dans le cas d’un gaz soumis à un certain gradient de pression ou de température, on voit apparaître des mouvements cycliques (articles 10 et 11). Lorsqu’on augmente le gradient, des mouvements de fréquence plus élevée apparaissent. C’est l’évolution vers le chaos décrite à l’article 20. Dans l’espace des phases, la trajectoire du système est d’abord périodique comme un son simple devenant de plus en plus riche en harmoniques. Au stade du chaos, la trajectoire n’est plus périodique. Elle remplit peu à peu l’espace restreint disponible sans jamais passer deux fois par le même point. Prédit en 1971 par un physicien mathématicien David Ruelle, ce phénomène baptisé “attracteur étrange” avait été découvert empiriquement dès 1963 par un météorologue, Edward Lorenz à partir de simulations numériques. David Ruelle ignorait cette découverte publiée dans une revue de météorologie. En 1976, un astronome français Michel Hénon en publiait un autre exemple l’attracteur de Hénon.

Les interactions entres molécules ne se limitent pas aux chocs. Des réactions chimiques peuvent se produire. En présence d’un fort gradient de concentration, des cycles chimiques peuvent apparaitre et s’auto-entretenir. Nous avons vu que la vie est apparue ainsi. Il n’est donc pas étonnant de retrouver des phénomènes similaires dans la reproduction des êtres vivants (suite logistique de l’article 20). Quelques années plus tard un autre physicien théoricien Mitchell Feigenbaum montrait effectivement l’universalité de cette évolution vers le chaos. Nous serions ainsi nous-mêmes des attracteurs étranges. Confinés dans l’espace, nous restons semblables à nous mêmes mais jamais parfaitement identiques. Notre cheminement est imprévisible.

Liens internet:
http://www.columbia.edu/acis/history/650.html
http://fr.wikipedia.org/wiki/Algèbre_de_Boole_(logique)
http://fr.wikipedia.org/wiki/George_Boole
http://en.wikipedia.org/wiki/Edward_Fredkin
http://fr.wikipedia.org/wiki/Cycle_de_Carnot
http://fr.wikipedia.org/wiki/David_Ruelle
http://fr.wikipedia.org/wiki/Attracteur_Étrange
http://fr.wikipedia.org/wiki/Edward_Lorenz
http://fr.wikipedia.org/wiki/Attracteur_de_Hénon
http://fr.wikipedia.org/wiki/Mitchell_Feigenbaum

La logique conservative est décrite dans un article en anglais de Fredkin et Toffoli disponible sur l’internet: http://www.cs.princeton.edu/courses/archive/fall05/frs119/papers/fredkin_toffoli82.pdf

Revenons aux notions de thermodynamique élémentaire que nous avons introduites à l’article 6. L’énergie mécanique peut être intégralement convertie en chaleur, une forme d’énergie associée au mouvement microscopique désordonné des molécules. Mais la chaleur ne peut être que partiellement convertie en travail mécanique. Elle ne peut l’être qu’en présence de différences de températures, c’est-à-dire de variations d’un paramètre macroscopique observable et contrôlable, la température.

Cela a amené l’américain J. Willard Gibbs à distinguer deux sortes d’énergie, l’énergie libre et l’énergie liée. L’énergie libre, entièrement convertible en travail mécanique, est celle associée aux paramètres macroscopiques de l’espace des phases décrit dans notre précédent article. Par opposition, l’énergie liée est celle associée aux paramètres microscopiques inobservables. Lorsqu’on mélange de l’eau chaude et de l’eau froide, les différences de température initiales s’estompent. Il y a bien conservation de l’énergie, mais l’énergie libre associée à des différences macroscopiques de température se transforme irréversiblement en énergie liée, associée au mouvement microscopique inobservable et incontrôlable des molécules. Les thermodynamiciens expriment ce fait en disant que l’entropie du mélange a augmenté.

On comprend ainsi la relation découverte par Claude Shannon entre l’entropie et l’information (article 8). Le transfert d’énergie de paramètres observables à des paramètres inobservables se traduit en effet par une perte d’information. Comme il y a augmentation d’entropie, cela veut dire qu’un gain d’entropie est l’équivalent d’une perte d’information. Cette équivalence entre information et entropie (ou plutôt son opposé appelé négentropie) paraît maintenant claire. Elle pose cependant un problème car l’information telle que Shannon l’a définie (voir article 8) est liée à la notion de probabilité.

Pour un physicien toute grandeur physique est nécessairement une quantité objective, c’est-à-dire indépendante de l’observateur. Le problème est alors de savoir si une probabilité peut être considérée comme une quantité objective. C’est malheureusement difficilement le cas. Lorsqu’un météorologue estime la probabilité de beau temps, il fonde ses prévisions sur un ensemble d’observations ayant une précision limitée. Cela entraîne qu’un observateur différent fera des prévisions peut-être similaires à court terme mais qui pourront devenir très différentes à long terme. La probabilité dépend donc de l’observateur.

Le problème vient du fait qu’on est en présence d’information incomplète. Le physicien américain E. T. Jaynes a montré que cela n’empêchait pas de raisonner objectivement. Pour cela on part d’une probabilité à priori qui est effectivement “subjective” dans la mesure où deux observateurs différents disposent d’observations différentes et on l’affine au fur et à mesure que de nouvelles observations deviennent disponibles. On obtient ainsi une probabilité à posteriori de plus en plus objective. C’est ainsi que la science progresse. La méthode générale pour y parvenir porte le nom d’estimation bayesienne du nom du mathématicien et pasteur anglais Thomas Bayes.

Le fait que l’entropie dépend de l’information à priori que possède l’observateur apparaît clairement dans ce qu’on appelle le paradoxe de Gibbs. Considérons une enceinte isolée formée de deux compartiments séparés par une cloison amovible. Initialement, ces deux compartiments contiennent de l’oxygène gazeux à la même température et à la même pression. Il y a équilibre thermodynamique. L’expérimentateur retire alors la cloison en la faisant lentement glisser parallèlement à elle-même sans fournir de travail mécanique. Il y a toujours équilibre thermodynamique. L’état macroscopique du gaz n’a pas changé. Son entropie est restée la même.

L’expérimentateur apprend alors que les compartiments contenaient deux isotopes différents (1). L’un contenait de l’oxygène 16, l’autre de l’oxygène 18. Lorsqu’il a retiré la cloison ces deux isotopes se sont mélangés. Cette transformation étant irréversible, l’entropie du gaz a augmenté. La variation d’entropie est finie et aisément calculable. Dans le premier cas les molécules d’oxygène étaient considérées par l’observateur comme indiscernables. Dans le second cas, elles sont considérées comme discernables. La variation d’entropie dépend donc de la connaissance à priori qu’a notre observateur sur le gaz et de sa capacité à en discerner les molécules.

Le fait que l’entropie a un aspect subjectif n’avait pas échappé au physicien écossais James Clerk Maxwell. Celui-ci avait en effet entrevu une possibilité de mettre en défaut le second principe de la thermodynamique. Imaginons à nouveau une enceinte isolée formée de deux compartiments séparés par une cloison. Les deux compartiments contiennent le même gaz à la même température et à la même pression. La cloison est percée d’un petit orifice capable de laisser passer une molécule à la fois. Maxwell imagine un “démon” capable de contrôler le passage à travers l’orifice en faisant glisser une cloison, toujours sans travail mécanique (figure ci-dessous).

Le démon de Maxwell (2)

Il laisse par exemple passer les molécules rapides vers la droite mais pas vers la gauche et laisse passer les molécules lentes vers la gauche mais pas vers la droite. Il peut ainsi faire naître une différence de température entre les deux compartiments ce qui est bien contraire au second principe. Pour reprendre notre exemple précédent, ce même démon pourrait tout aussi bien séparer ainsi l’oxygène 16 de l’oxygène 18. De façon générale, il est capable de diminuer l’entropie d’un système isolé ce que le second principe ne permet pas.

Il doit cette prouesse à sa capacité d’observer et de contrôler des paramètres à l’échelle microscopique. Comme l’a montré le physicien français Léon Brillouin la diminution d’entropie du gaz correspond très exactement à la quantité d’information collectée par le démon et enregistrée sous la forme d’un changement d’état du gaz. En diminuant l’entropie de ce système, il rend possible la production de travail mécanique. Par exemple, il peut permettre à un moteur thermique de fonctionner à partir des différences de températures qu’il aura ainsi créée.

C’est un fait général que toute collecte d’information entraîne une diminution d’entropie donc une “libération” d’énergie susceptible de se dissiper. Ce fait a des conséquences considérables. La suite de ce blog sera consacrée à leur examen.

(1) Un même élément chimique peut avoir des atomes de masses différentes parce contenant un nombre de neutrons différent. Ainsi l’atome d’oxygène 18 contient deux neutrons de plus que l’atome d’oxygène 16.
(2) Dessin tiré de Darling & Hulburt, American Journal of Physics, 23-7, 1955.

Liens internet:
http://en.wikipedia.org/wiki/Josiah_Willard_Gibbs
http://fr.wikipedia.org/wiki/Énergie_libre
http://fr.wikipedia.org/wiki/Claude_Shannon
http://en.wikipedia.org/wiki/Edwin_Thompson_Jaynes
http://fr.wikipedia.org/wiki/Thomas_Bayes
http://fr.wikipedia.org/wiki/Paradoxe_de_Gibbs
http://fr.wikipedia.org/wiki/James_Clerk_Maxwell
http://fr.wikipedia.org/wiki/Démon_de_Maxwell
http://fr.wikipedia.org/wiki/Léon_Brillouin