Table Of ContentInformation, complexité et hasard
Langue, Raisonnement, Calcul
Collection dirigée par Mario Borillo et Frédéric Nef
La collection Langue, Raisonnement, Calcul rassemble des ouvrages consacrés
à l'étude des langages et des raisonnements, qu'ils soient naturels ou formels,
ou de programmation. Au carrefour des sciences cognitives, de la linguistique,
de l'informatique, de la théorie formelle des activités symboliques (dialogue,
argumentation, apprentissage) cette collection a pour ambition de contribuer à
faire émerger une nouvelle problématique scientifique.
Titres parus
Jean-Marie PIERREL, Dialogue oral homme-machine, 1987.
Jacques JAYEZ, L'inférence en langue naturelle, 1988.
Gérard SABAH, L'intelligence artificielle et le langage, vol. 1 : Représentation
des connaissances, 1988 ; vol. 2 : Processus de compréhension, 1989.
Frédéric NEF, Logique et Langage, Essais de logique intensionnelle, 1988.
Stanislaw LESNIEWSKI, Sur les fondements de la mathématique, trad.
G. KALINOWSKI, 1989.
Jacques MOESCHLER, Modélisation du dialogue. Représentation de l'inférence
argumentative, 1989.
Philip MILLER et Thérèse TORRIS, éds., Formalismes syntaxiques pour le
traitement automatique du langage naturel, 1990.
M. LOTHAIRE, éd., Mots, Mélanges offerts à M.P. SCHUTZENBERGER, 1990.
Jacques PITRAT, Métaconnaissance, futur de l'intelligence artificielle, 1990.
Paul GOCHET, Pascal GRIBOMONT, Logique, méthodes pour l'informatique
fondamentale, vol. 1, 1990.
Paul GOCHET, Pascal GRIBOMONT, Logique, méthodes formelles pour l'étude des
programmes, vol. 2, 1994.
Jean-Pierre DESCLÉS, Langages applicatifs, langues naturelles et cognition,
1990.
Eric GRÉGOIRE, Logiques non monotones et intelligence artificielle, 1990.
Jean-François NOGIER, Génération automatique de langage et graphes
conceptuels, 1991.
Archibald MICHIELS, Traitement du langage naturel et Prolog, 1991.
Stéphane BOU CHERON, Théorie de l'apprentissage-de l'approche formelle aux
enjeux cognitifs-, 1992.
Eric BILANGE, Dialogue personne-machine, modélisation et réalisation
informatique, 1992.
Bruno BACHIMONT, Le contrôle dans les systèmes à base de connaissances
contribution à l'épistémologie de l'intelligence artificielle, 1992.
Emmanuel SAINT-JAMES, La programmation applicative (de LISP à la machine
en passant par le lambda-calcul), 1993.
Jean-Paul Delahaye
Information, complexité
et hasard
DERMES
© Hermès, Paris, 1994
Editions Hermès
14, rue Lantiez
75017 Paris
ISBN 2-86601-410-3
ISSN 0988-0569
Table des matières
Chapitre 1 : L'information ..........................................................
13
1.1. Int:rOOuction ................................................................................... 13
1.2. Les théories de 1' information ............................................................. 15
1.2.1. Des exemples à prendre au sérieux .......................................... 15
1.2.2. Le contenu brut en information .............................................. 16
1.2.3. La théorie algorithmique de l'information ................................. 16
1.2.4. Les complexités descriptionnelles ........................................... 17
1.2.5. La théorie de l'information pour la transmission de Shannon. ....... 19
1.2.6. La notion de profondeur logique de Bennett.. ............................. 21
1.2.7. Un programme compilé est de l'information de valeur. ................ 22
1.2.8. Théories pragmatiques de la valeur de l'information .................... 22
1.3. La physique et les théories de l'information .......................................... 23
1.3 .1. Le problème de l'échelle de base, et du codage ........................... 23
1.3.2. Le problème du cotlt thermodynamique de l'information .............. 24
1.4. La biologie et les théories de l'information. .......................................... 25
1.5. Conclusion .................................................................................... 27
Chapitre 2 : Les suites aléatoires ................................................
29
2.1. Int:r00uction ................................................................................... 29
2.1.1. Une identification difficile ..................................................... 29
2.1.2. L'importance de la notion de fonction récursive ......................... 30
2.1.3. Les thèses concurrentes ........................................................ .30
2.1.4. Organisation de la présentation .............................................. .32
2.2. L'analyse du concept de suite infmie aléatoire ....................................... 32
2.2.1. L'aléatoire comme absence de loi effective de production ............ .33
2.2.2. L'aléatoire défini à partir des fréquences limites ......................... .35
2.2.3. L'aléatoire défini à partir des tests statistiques effectifs ............... .38
2.2.4. L'aléatoire défini comme imprévisibilité absolue ...................... .38
2.2.5. L'aléatoire défini comme incompressibilité ............................... 39
2.3. Des collectifs de von Mises à l'accord actuel ......................................... 40
2.3.1. von Mises et l'axiomatisation de Kolmogorov .......................... 40
2.3.2. La première théorie algorithmique de l'information. .................... 43
2.3.3. La défmition de Martin-LOf ................................................... 47
2.3.4. La seconde théorie algorithmique de l'information ...................... 49
2.4. La situation actuelle ........................................................................ 49
2 INFORMATION, COMfLEXITÉ Er HASARD
2.5. Comparaison entre la thèse de Martin-LOf et la thèse de Church ............... 51
2.5.1. Arguments par les exemples .................................................. 52
2.5. 2. Arguments par les contre-exemples ......................................... 53
2.5.3. Arguments d'analyse conceptuelle ........................................... 54
2.5.4. Argument de la confluence des définitions ................................5 5
2.5.5. Arguments de robustesse ....................................................... 56
2.5.6. Résistance au temps et aux propositions concurrentes ................. 57
2.5. 7. Arguments d'effectivité, de fécondité et d'utilité ......................... 58
2.6. Trois doutes ................................................................................... 59
2.6.1. l..es relativismes .................................................................. 60
2.6.2. Une approche moins ontologique ............................................ 62
2.6.3. Une définition non classique qui réhabiliterait von Mises ............ 63
2.7. Conclusion .................................................................................... 64
Chapitre 3 : Cinq classes d'idées ...............................................
65
3.1. Introductioo ................................................................................... 65
3.2. Notions de base .............................................................................. 67
3.2.1. Parties deN, suites de 0 et 1, nombres réels, etc. ....................... 67
3.2.2. Formules de l'arithmétique .................................................... 68
3.2.3. Machines de Turing ............................................................. 69
3.2.4. Calculateurs, calculateurs universels ........................................ 69
3.2.5. Complexité d'une suite ......................................................... 71
3.2.6. Systèmes formels ................................................................ 73
3.2.7. Le nombre oméga ................................................................ 73
3.3. l..es définitions fondamentales et le schéma général d'inclusion ................. 74
3.3.1. En.sembles récursifs ............................................................. 74
3.3.2. l..es ensembles récursivement énumérables ................................ 74
3.3 .3. l..es ensembles approximables ................................................ 7 6
3.3.4. l..es ensembles incompressibles .............................................. 82
3.3.5. La partition de P(N) en cinq classes ......................................... 84
3.3.6. La version homogène de la classification .................................. 85
3.3.7. l..e calcul de oméga .............................................................. 85
3.4. D'autres classes d'idées ..................................................................... 90
3.4.1. Ensembles productifs, créatifs, simples .................................... 90
3.4.2. La hiérarchie arithmétique ..................................................... 91
3.4.3. l..es nombres normaux, algébriques, prédictibles, etc. .................. 95
Chapitre 4: La complexité organisée ...................................... 97
4.1. Simplicité, complexité ..................................................................... 97
4.2. La complexité aléatoire .................................................................... 98
4.3. Première tentative pour exprimer le "contenu en calcul" ........................ 100
4.4. Deuxième tentative pour exprimer le "contenu en calcul" ...................... 101
4.5. Troisième tentative pour exprimer le "contenu en calcul" ...................... 101
4.6. Plan, génome, compressibilité, profondeur ......................................... 102
TABLE DES MATIÈRES 3
4. 7. Le statut des énoncés à propos de la profondeur ................................... 105
4.8. Autres résultats en faveur de l'identification de Bennett.. ....................... 106
4.8.1. Théorènle d'invariance ........................................................ 106
4.8.2. L'origine probable d'un objet profond .................................... 107
4.8.3. La loi de croissance lente .................................................... 107
4.8.4. Apparition de la complexité organisée ................................... 108
4.8.5. Compatibilité avec la thermodynamique. ................................ 108
4.8.6. Non-additivité ................................................................... 109
4.9. Résultats de limitation sur la profondeur de Bennett ............................. 109
4.10. Comparaison avec d'autres propositions ............................................. 114
4.10.1 Propriétés fonctionnelles de la vie ......................................... 114
4.10.2 Notions tirées de la thermodynamique .................................... l14
4.1 0.3 Pouvoir computationnel universel ........................................ 115
4.10.4 Complexité de Kolmogorov ................................................ 115
4.10.5 Contenu commun d'information à longue distance ................... 115
4.10.6 Autosimilarité et fractals ..................................................... l16
4.10.7 La profondeur thermodynamique ........................................... 116
4.10.8 La définition de la vie de Chaitin .......................................... 116
4.11. Généralisations ............................................................................. 117
4.12. Conclusion .................................................................................. 118
Chapitre 5 : Modèles formels pour 1' induction. ..................
121
5.1. Introduction ................................................................................. 121
5.1.1. Deviner une fonction appartenant à une classe donnée ............... 121
5.1.2. Induction de polynômes ...................................................... 124
5.1.3. Identification à la limite. ..................................................... 124
5.1.4. L'identification par énumération de M. Gold ........................... 125
5.1.5. Programmation de l'induction .............................................. 128
5.1.6. Reformulation du résultat de M. Gold .................................... 128
5.1. 7. Un double raisonnement diagonal ......................................... 130
5.1.8. Pas d'algorithme d'induction absolu. ...................................... 131
5.1.9. Ne pas demander stabilisation, et accepter des erreurs ................ 133
5.2. La thèse de Wiehagen. .................................................................... 135
5.2.1. L'énumération est universelle dans le cas non calculable. ........... 135
5.2.2. L'énumération est-elle universelle ? ....................................... 135
5.2.3. Le problème des numérotations ............................................ 137
5.2.4. Réponse à une question de Boucheron .................................... 138
5.3. Normes derationalité ..................................................................... 139
5.3 .1. La norme de consistance ..................................................... 139
5.3.2. Falsifiabilité maximale et monotonie .................................... 140
5.3.3. Quelques inclusions et égalités remarquables ........................... 142
4 INFORMATION, COMPLEXITÉ Er HASARD
5.4. Récentes tendances en inférence inductive ........................................... 147
5.4.1. Rapports avec l'intelligence artificielle, modèle de Valiant. ........ l47
5.4.2. Inférence dans des structures du premier ordre .......................... 148
5.5. Portée philosophique des résultats de l'inférence inductive ..................... 148
5. 5.1. Le schéma doublement posé ................................................ 148
5.5.2. Réalisme ......................................................................... 149
5.5.3. L'infini ............................................................................ 149
5.5.4. Choisir une classe ? .......................................................... 149
5.5.5. Limitation au départ de l'étendue des classes ............................ 150
5.5.6. Fonctions d'induction quelconques ........................................ 150
5.5.7. Robustesse ....................................................................... 151
5.5.8. Problèmes d'effectivité ........................................................ 151
5.6. Conclusions ................................................................................. 155
5.6.1. La conception Gôdélienne des mathématiques .......................... 155
5.6.2. Leçons élémentaires et nouvelles questions ............................. 156
Chapitre 6: L'importance des indécidables .........................
159
6.1. Introduction ................................................................................. 160
6.1.1. Importance philosophique et importance mathématique ............. 160
6.1.2. Comment définir un indécidable de Gôdel ............................... 161
6.2. Qassification des indécidables de Gôdel ............................................. 162
6.2.1. Les indécidables du premier théorème d'incomplétude ................ 162
6.2.2. Les indécidables du second théorème d'incomplétude ................. 163
6.2.3. Les indécidables de Gôdel de la théorie de la récursivité ............. 165
6.2.4. Les indécidables de la théorie des ensembles immunes .............. 167
6.2.5. Les indécidables purifiés. Équations diophantiennes .................. 169
6.2.6. Les indécidables de la théorie des ensembles ............................ 172
6.2. 7. Les indécidables de Paris-Harrington et Friedman ..................... 174
6.3. Le sens des résultats récents de la théorie de la preuve ........................... 178
6.3.1. Réductibilité et extensions conservatives ................................ 178
6.3.2. Le programme des <<reverse mathematics» .............................. 180
6.3.3. Deux sortes au moins d'indécidables de Gôdel.. ........................ 180
6.4. Conclusion .................................................................................. 181
Annexe: Quelques systèmes formels .......................................................... 183
Chapitre 7 : Calculabilité et physique ....................................
185
7 .1. Introduction ................................................................................. 185
7.2. Le non-récursif en logique et en arithmétique ...................................... 187
7.2.1. Rappels de quelques résultats classiques tirés de lalogique ......... 187
7 .2.2. Versions purement arithmétiques .......................................... 187
7.3 Le non-récursif chez les automates .................................................... 189
7.3 .1. Les machines de Turing ...................................................... 189
7.3.2. Les automates finis ............................................................ 190
TABLE DES MATIÈRES 5
7 .4. Le non-récursif dans les espaces discrets ............................................. 190
7 .4.1. Le monde des automates ..................................................... 190
7.4.2. Granularité, effet d'échelle ................................................... 191
7.4.3. Situations initiales ............................................................ 191
7.4.4. Le problème de la discrétisation de la physique classique ........... 191
7 .5. Le non-récursif et l'aléatoire ............................................................ 192
7.6. Le non-récursif et le continu ............................................................ 193
7.6.1. Les suites de Specker ......................................................... 193
7.6.2. Les résultats de Pour-El et Richards ...................................... 194
7. 7. Le lien avec le réalisme .................................................................. 194
7.8. Parallèles entre le finitisme,le déterminisme et le récursivisme .............. 196
7.9. Récursivisme local et récursivisme global .......................................... 198
7.10. Conclusion .................................................................................. 199
Chapitre 8 : Le monde est-il récursif ? ................................ 2o1
8.1. Introduction ................................................................................. 202
8.2. Discrétisation ............................................................................... 203
8.3. Récursivité globale, et récursivité par tranches .................................... 204
8.4. La récursivité du comportement ultime des points ............................... 207
8.5. Déterminisme ............................................................................... 209
8.6. Localité ....................................................................................... 210
8.7. Homogénéité ................................................................................ 211
8.8. Finitude et réseaux d'automates ........................................................ 212
8.9. Liens entre récursivité du monde et récursivité des lois ......................... 213
8.10. Récursivité des états instantanés dans des univers à lois récursives .......... 215
8.11. Récursivité du comportement individuel des points .............................. 216
8.12. Déterminisme, récursivité et effet d'échelle ......................................... 218
8.13. Simplification et évolution des systèmes isolés .................................. 220
8.14. Entropie et seconde loi de la thermodynamique .................................... 220
8.15. Conclusions ................................................................................. 222
Annexes ............................................................................................... 223
Chapitre 9: La solution des paradoxes sémantiques .......... 229
9 .1. Quelques paradoxes sémantiques ....................................................... 230
9.2. La théorie de la vérité de Tarski ........................................................ 231
9.3. Le renouveau d'intérêt provoqué par Kripke ........................................ 233
9 .4. Les théories russellienne et austinienne ............................................. 238
9 .4.1. La conception russellienne de la vérité ................................... 239
9.4.2. La conception austinienne de la vérité .................................... 243
9.4.3. Limites du modèle austinien ................................................ 247
9.5. Conclusions ................................................................................. 248
Bibliographie ......................................................................................... 251
Index ................................................................................................. 267
