Le pilote analysa tous les paramètres. Le problème de départ était simple : depuis la traversée du vol de bernaches et l’extinction symétrique des deux réacteurs, son Citation XX était un gros planeur. Il s’était évidemment placé à la vitesse de finesse maximale, pour pouvoir aller le plus loin possible avec la maigre réserve d’altitude qu’il possédait, et avait envoyé un signal de détresse pour obtenir la priorité sur le seul terrain praticable dans les vingt milles qu’il pouvait encore parcourir. Il avait également prévenu ses quatre passagers de se préparer à un atterrissage sportif.
Mais un second imprévu s’était glissé dans l’équation. En vue du terrain, peu avant son dernier virage, il se trouva en concurrence avec un autre appareil en détresse : un Boeing 787, dérouté deux fois par une météo particulièrement chaotique, qui était à cours de carburant et ne pouvait prendre le risque de faire un nouveau circuit. Il était dans l’axe de la piste et n’avait aucune intention de céder la place.
Il fallait trancher, et le pilote trancha. Il rentra les volets pour prendre un peu de vitesse, anticipa son virage et, se glissant sous le nez du gros porteur, se laissa dégringoler vers la piste, tout en se freinant dans un large dérapage. L’appareil était à moins de trente pieds du sol lorsqu’il sortit de son virage et s’aligna finalement, arrondissant au dernier instant pour réussir un “kiss-landing” parfait.
Huit secondes derrière lui, le pilote du long-courrier posa son appareil et effectua un freinage d’urgence pour s’arrêter avant de rattraper le minuscule avion d’affaires. Une heure plus tard, après avoir salué professionnellement les 287 passagers qui quittaient son Boeing, il laissa en plan ses huit hôtesses et courut en rage jusqu’aux bureaux de l’autorité pour déposer un “Airprox” particulièrement salé.
— Le résultat montre que le pilote a fait le bon choix, affirmait Lily Oxin de sa voix forte et posée.
— Il n’a pas suivi la procéd…, tenta l’avocat de Cessna Aircraft. Un regard noir lui fit garder la fin de sa remarque.
— Je n’ai pas dit qu’il avait suivi la procédure, j’ai dit qu’il avait fait le bon choix. Regardez les choses en face : le Citation est indemne, le 787 aussi, il n’y a pas de blessés…
— Un des plaignants a eu deux semaines… Pardon, docteur Oxin, continuez.
— Le pilote du Citation n’avait aucun moyen de prévoir qu’un passager plus stupide que les autres resterait tranquillement assis dans son fauteuil pendant un atterrissage d’urgence, et que son nez serait plus fragile que le dossier du siège de devant. Il a pris la décision qui sauvait ses passagers, sans mettre en péril ceux du Boeing.
— C’est votre opinion, docteur ?
— C’est ce que je sais, maître.
L’avocat, terne et sobre, se retourna vers les directeurs de Cessna Aircraft.
— Je ne plaiderai pas cela. Cet appareil s’est posé au mépris de toutes les procédures et les plaignants auraient trop beau jeu d’attribuer l’issue heureuse à la seule chance. Même Boeing s’en est mêlé : ils en ont fait un argument commercial, de leur gros-porteur qui se pose plus court que les avions d’affaires. Si vous voulez plaider la “bonne décision”, allez‑y, mais ça sera sans moi : vous allez dans le mur. La seule défense, c’est de reporter la faute sur le fabricant du pilote.
— Maître, avec tout le respect que je vous dois, cet appareil a fait le bon choix. C’est l’unique réalité, et si vous comptez reporter la faute sur USR, votre argumentation…
Pour la première fois, le docteur Oxin elle-même se fit couper la parole. Et c’était le président de Cessna lui-même qui intervenait, un fait inédit depuis le début de cette interminable réunion :
— Je me fous de la réalité, docteur. Ce qui m’intéresse, c’est comment remplir mes carnets de commandes et gagner ce procès. Et si un ordinateur doit porter le chapeau, qu’il en soit ainsi.
S’il avait prêté attention, il aurait vu les narines de la scientifique s’élargir et ses muscles orbiculaires se tendre. Sa voix n’était qu’un murmure, mais un murmure étonnamment intelligible :
— Le pilote n’est pas un simple ordinateur. Et si vous voulez lui faire porter le chapeau, il faudra me passer sur le corps.
L’avocat eut une pensée très imagée, qu’il réprima immédiatement — non, le corps de cette retraitée autoritaire ne lui donnait aucune envie de passer dessus.
— La Cour appelle le docteur Oxin. Docteur, pouvez-vous nous énoncer les conclusions de votre rapport ?
— Bien entendu, répliqua la sexagénaire, comme si la question était absurde. Ma conclusion est que la décision qu’a prise le pilote Flight Mk 14, numéro de série 4605–287, a assuré la survie dans de bonnes conditions des quatre passagers du Cessna dans lequel il était installé, ainsi que des 297 occupants du Boeing qui arrivait derrière lui.
La conclusion, rien que la conclusion. Le docteur avait la réputation de répondre strictement aux énoncés qu’on lui adressait ; les juges découvraient à quel point c’était mérité.
— Tout de même, tenta l’avocat des parties civiles, certains de mes clients ont été blessés, et tous ont été mis en danger par le comportement de votre pilote.
— Maître, ce n’est pas “mon” pilote : il a été produit bien après que j’ai pris ma retraite.
— Pardon, je vais le dire différemment. L’ordinateur n’a pas suivi la procédure prévue. En tant qu’experte, trouvez-vous cela normal ?
Lily retint un soupir, mais laissa transparaître une certaine lassitude. Elle avait répondu à cette question pour la première fois à l’âge de 25 ans, elle en avait 69 et trouvait toujours stupéfiant de l’entendre.
— Maître, vous devriez lire mon rapport. Vous y apprendriez beaucoup de choses sur les “ordinateurs”, comme vous dites.
— Éclairez-moi.
— Essayons donc…, souffla-t-elle d’un air résigné. La chose à retenir, c’est qu’un ordinateur applique un programme, ce qui permet d’être certain qu’il se conformera à la procédure. Au contraire, un cerveau artificiel n’est pas conçu pour appliquer une procédure. Il est conçu pour prendre la meilleure décision, en fonctions des critères établis et de l’environnement du moment, y compris si celle-ci dépasse ou contredit la procédure qui aurait été prévue.
Il y eut un silence, le temps que chacun comprenne que c’était là sa réponse. Le président de la Cour dut relancer :
— Pourriez-vous êtes plus claire ? Un exemple concret peut-être ?
— Je vais vous en donner un. Il y a deux ans, j’ai dû me prononcer en tant qu’expert des tribunaux sur le cas d’une Gcar 56 qui s’est encastrée sous un camion, tuant son conducteur au passage. La “procédure”, comme vous dites, consiste à braquer ou freiner pour éviter les accrochages, et c’est ce qu’aurait fait un simple ordinateur. Mais le conducteur de la Gcar avait communiqué avec celui du camion, un Ford RT36 lui aussi automatisé, qui l’avait informé de sa panne de freins. Le conducteur a alors pris en compte un autre élément : la trajectoire du camion, projetée sur les piétons qui traversaient la rue. Il a calculé qu’en se plaçant sur la trajectoire du camion, il l’arrêterait en bordure du passage piétons et offrirait à ceux-ci des chances de survie de l’ordre de 88 %, grimpant à 99 % pour les piétons les plus éloignés, tout en conservant environ 28 % de chances de survie pour ses propres passagers. En évitant l’accident, les chances de ses passagers montaient à plus de 99 %, mais celles des piétons chutaient entre 3 et 42 %. L’espérance statistique du bilan en cas de collision était de moins d’un mort, mais en cas d’évitement elle passait à 5,28 morts. En pratique, l’accident n’a fait qu’une victime et des blessés légers, et aurait été beaucoup plus grave si la voiture avait laissé le camion continuer sur le passage piéton ou tenter de s’arrêter par ses propres moyens en se jetant sur un mur.
” Ce que je veux dire, c’est qu’un cerveau artificiel a la capacité de prendre en compte des situations où la procédure est en conflit avec un objectif supérieur. Éviter le camion et protéger les piétons, par exemple. La première loi des cerveaux artificiels est de protéger les humains, quittes à désobéir aux procédures. C’est la précédence des lois, que nous avons établie dans les années 20 mais qui avait été pensée dès le vingtième siècle par les auteurs de science-fiction.
— Et quel est le rapport avec l’affaire qui nous occupe ? L’ordinateur du Citation n’a pas sacrifié l’appareil, il a simplement mis en danger près de trois cents personnes !
— Le rapport est simple. Le pilote Mk 14 est doté d’une capacité de décision environ quatre fois supérieure à celle des dernières Gcars. Il a étudié les faits, les différentes solutions, et l’espérance statistique de celles-ci en termes de blessés, de morts et de coût financier, en prenant en compte les réactions les plus probables du pilote humain du Boeing. Et la solution qui avait la meilleure espérance consistait à se poser en urgence en ignorant la priorité du Boeing.
Il y eut un petit silence. Encore une fois, chacun pensait que le docteur Oxin allait expliciter sa conclusion, mais elle estimait avoir répondu à la question. Le jury était évidemment dubitatif, et l’avocat des parties civiles se laissa couler dans le fond de sa chaise avec un sourire satisfait. L’avocat d’USR prit l’initiative :
— Docteur, je sais que le détail de cette analyse est dans votre rapport, mais je ne suis pas sûr que l’ensemble de la cour et du jury soit spécialisé en études statistiques. Auriez-vous l’amabilité de nous donner les grandes lignes de ce calcul, si possible sans rentrer dans les détails mathématiques ?
Les lèvres de l’experte se pincèrent. Tout le monde repensa à sa réplique péremptoire, le jour où un animateur de talk-show lui avait demandé de résumer simplement le fonctionnement d’un cerveau artificiel : “plutôt que de demander des explications approximatives, vous devriez faire en sorte de comprendre l’explication exacte. Ou alors, vous devriez vous intéresser à des sujets adaptés à votre niveau de compréhension.” Elle soupira :
— Et bien… Le pilote a examiné deux grandes familles de solutions : annuler son approche pour laisser la place au Boeing, ou anticiper son virage en diminuant sa portance pour se poser devant lui. Dans le premier cas, la sécurité des passagers du Boeing n’était pas significativement différente d’une situation d’atterrissage normal, mais le Citation ne pouvait plus rejoindre la piste. Il aurait donc dû atterrir hors piste ou amerrir dans la rivière. La première solution était préférable, avec une espérance de un mort et trois blessés parmi ses passagers.
” En se posant devant le Boeing, les risques pour les passagers du Citation étaient ceux d’un atterrissage sans moteur, quasiment négligeables en fait, sauf dans le cas où le 787 l’aurait percuté en fin de freinage. Le pilote du 787 avait deux solutions logiques : remettre les gaz et refaire un tour de piste, avec une probabilité de panne sèche estimée à 32 % et un risque élevé du fait de la faible altitude pour retourner au terrain, ou piquer spoilers sortis pour se poser au plus court possible et freiner derrière le Citation. S’agissant d’un pilote humain, on ne pouvait être sûr de rien, mais le pilote du Citation a estimé que ce dernier choix était de loin le plus probable. Le risque pour les passagers du 787 était limité au niveau d’un freinage d’urgence, éventuellement conclu par un accrochage avec le Cessna et probablement suivi d’une évacuation rapide par les toboggans, soit une espérance finale d’environ 0,8 mort et 23 blessés.
” Enfin, en laissant la place au Boeing, le pilote sacrifiait nécessairement le Citation, qui aurait subi un atterrissage sur le ventre hors terrain préparé. Le coût était estimé à 272 millions de dollars, comprenant le prix non amorti de l’appareil et le nettoyage de l’épave. En se posant devant lui, le risque de détruire le Citation était limité à un freinage trop long du 787, hypothèse jugée fort improbable ; le risque de perdre le 787 était limité soit à une mauvaise manipulation de son pilote, soit à l’incendie des freins. Et encore, même en cas d’incendie, l’intervention des pompiers permettrait probablement de sauver l’avion. Les coûts les plus probables étaient le remplacement de tout ou partie du train d’atterrissage de l’appareil, pour un total d’environ 965 000 dollars. Et dans l’hypothèse où un passager serait mort, le coût d’indemnisation de sa famille était estimé à 1,5 million de dollars.
” La décision de se poser devant le Boeing était donc celle qui sauvegardait le mieux les passagers et les appareils, pour un coût humain et financier le plus limité possible.
La sécheresse du dernier commentaire risquait de faire passer son ancienne entreprise pour une entité froide et calculatrice, mais l’avocat d’USR préféra ne pas risquer de lui poser une autre question et d’avoir une réponse encore plus définitive. Son homologue chargé des parties civiles sa rassit avec satisfaction, le représentant de Cessna signala n’avoir rien à ajouter et la Cour laissa le docteur Oxin retourner dans le public.
Friedman Netz était le fondateur de USR et, à ce titre, l’ancien employeur du docteur Oxin. Il était, surtout, le seul être humain qui avait pu trouver grâce aux yeux de Lily — il était intelligent, calme et doué de logique.
Il avait évidemment assisté au procès et écouté attentivement les dépositions des experts. Et plus particulièrement celle qui avait été sa stagiaire la plus prometteuse, avant de devenir sa meilleure spécialiste des intelligences artificielles et l’une des expertes les moins contestées dans son domaine.
Et il venait d’observer un phénomène rare. Lily avait eu, à plusieurs reprises, l’occasion de dénoncer une erreur de jugement. Et elle avait couvert le coupable. Elle avait fidèlement repris sa version jusqu’au dernier détail et l’avait faite sienne.
Il la connaissait depuis quarante-sept ans, et c’était la première fois qu’il voyait cette petite femme pointilleuse rater l’occasion de signaler une faute.
— Très belle déposition, ma chère, lui dit-il lorsqu’ils se virent, dans l’après-midi du dimanche suivant. Et très beau mensonge, d’ailleurs.
Il la sentit tiquer et continua dans le même souffle :
— Oh, par omission bien sûr. Le jour où je t’entendrai mentir ouvertement, je pourrai mourir en sachant que j’aurai tout vu de l’univers.
Il sourit. Elle non. Mais il ne s’en inquiéta pas : c’était habituel.
— J’ai fait les calculs, Lily. Mon instinct me disait que quelque chose clochait, et je les ai refaits moi-même. Je suppose qu’il ne t’a fallu qu’une poignée de secondes pour comprendre, mais ça m’a pris deux heures… Et encore : je n’ai que les résultats mathématiques, pas d’explication.
— Il n’y a pas d’explication à chercher. Le pilote a sauvé son appareil sans nuire à la sécurité de l’autre. Il y a eu moins d’un million de dollars de dégâts et dix-huit jours d’arrêt de travail au total. Le résultat plaide pour lui.
— Allons, Lily, nous ne sommes plus devant la cour. Tu sais comme moi que notre pilote a très largement surestimé la précision du pilotage de l’humain pour fournir des calculs cohérents. Nous savons tous deux qu’en coupant la route à un appareil en pilotage manuel en pleine approche, surtout dans une situation stressante, on ne peut pas écarter l’idée d’une erreur grave de pilotage.
Le docteur releva la tête, arborant l’ombre d’un sourire narquois.
— Peut-être sous-estimes-tu les pilotes humains, Friedman.
Il rit franchement en la regardant goûter son café du bout des lèvres. Il avala lui-même un biscuit, avant de reprendre les faits en énumérant les chiffres, comme il l’avait toujours fait lors de tels événements.
— En coupant la route au Boeing, le Citation le condamnait à un bref piqué en approche finale, à la fois pour se placer sous les turbulences et pour se poser au plus près du seuil de piste. D’après mes calculs, sur la base des incidents au scénario comparable, la probabilité qu’un pilote humain réussisse parfaitement cette manœuvre était de l’ordre de 12 %.
Elle l’écoutait exposer ses résultats, poliment et attentivement, avec ce respect qu’elle n’accordait qu’à une poignée de personnes. Ils savaient tous deux qu’elle avait fait les mêmes calculs, et il était assez confiant pour être certain qu’ils avaient tous deux trouvé les mêmes résultats.
— Il y avait environ 30 % de chances que le piqué soit trop profond et entraîne un contact avant le seuil de piste. Dans ce cas, le train d’atterrissage du Boeing aurait certainement été fauché, tuant trois à cinq passagers et en blessant environ 25, et l’évacuation en urgence aurait fait une dizaine de blessés supplémentaires. Sans compter que l’appareil aurait probablement été irréparable. Il y avait aussi un risque que le pilote esquive par le haut ou par la droite. S’il était monté, il se serait posé trop long et aurait fini dans les champs en bout de piste, et encore en supposant que le Citation puisse évacuer la trajectoire sur son inertie avant d’être rattrapé, malgré une approche cinquante nœuds plus lente et cent tonnes de moins à freiner. On pouvait alors attendre environ 22 blessés au total. Et s’il avait dévié sur le côté, il ne pouvait plus se remettre dans l’axe proprement et devait faire un virage à vue jusqu’au contact, ce qui avait 35 % de chances de finir en atterrissage hors piste, avec un toucher asymétrique et environ cinquante morts. Nous sommes d’accord ?
Elle opina à peine. Évidemment, ils étaient d’accord.
— Le bilan, c’est environ 38 % de chances d’une destruction complète ou partielle du Boeing, avec une espérance de l’ordre de douze morts. Les calculs effectués par “-287” ont totalement ignoré l’hypothèse selon laquelle le pilote du Boeing ferait une erreur. En fait, son calcul n’aurait été valable que si l’autre appareil avait également été confié à un pilote artificiel.
Il l’observa. Le visage impassible de son amie ne montrait qu’une infime trace d’amusement, que personne d’autre que lui n’aurait remarquée — le fruit de quatre décennies de confiance sans faille.
— Voilà, ce sont les maths. Mais ce que je ne comprends pas, maintenant, c’est : pourquoi ? Pourquoi ce pilote a‑t-il négligé l’hypothèse que son comportement cause une erreur de pilotage dans l’autre appareil ? Est-ce une erreur de programmation, un oubli de données ? Question plus brûlante encore : je suis heureux que nous ayons gagné ce procès, mais pourquoi as-tu couvert cet écart ?
Lily avala une goutte de son café et reposa sa tasse comme si elle souhaitait se donner le temps de réfléchir.
— La meilleure décision n’est pas toujours la plus mathématique. Peut-être le module d’analyse comportementale a‑t-il estimé que, d’après la façon de parler du pilote du Boeing, il avait une probabilité plus élevée que les humains normaux de réagir comme il le fallait… Après tout, ce système a été conçu pour analyser le comportement des passagers, mais rien n’empêche un pilote de l’utiliser pour étudier les échanges radio… et de “faire confiance”, en quelque sorte.
Elle reprit une gorgée de café. Netz reprit :
— Tu as étudié les données… Tu sais si le pilote a analysé la voix de l’humain à la radio, n’est-ce pas ?
— Je le sais, oui. Et il l’a fait. Et il est arrivé à la conclusion que l’humain avait 88 % de chances de mener la manœuvre à bien.
— Mais il a agi comme s’il avait obtenu un 100 %.
La vieille dame eut à nouveau un sourire.
— Oui. Il a choisi de lui faire confiance. Totalement. Il s’en est remis aux capacités du pilote du Boeing.
— Je suis surpris que tu le prennes aussi positivement… C’est bien toi qui disais qu’il ne faut jamais faire confiance à un humain pour contrôler un mouvement à plus de cinquante kilomètres à l’heure ?
— Oh, je n’ai pas changé d’avis… Mais je peux comprendre ce choix.
Elle laissa flotter un silence, juste le temps de vérifier que Friedman était curieux de voir où elle voulait en venir et qu’il attendrait calmement, sans la presser comme ces imbéciles de juristes, de journalistes et de gens normaux.
— Voyons les choses sous un autre angle : si le pilote avait suivi la solution mathématique, il aurait laissé la place au Boeing et le Cessna aurait été irréparable. À supposer que le cerveau résiste au crash, il aurait été ferraillé avec l’appareil.
Elle reprit une gorgée et mangea un biscuit. L’écho dans son œil ressemblait beaucoup à de la fierté maternelle.
— Peut-être que le pilote n’a pas pris la décision mathématiquement la meilleure. Peut-être qu’il aurait dû sacrifier l’appareil, et lui-même au passage, plutôt que de mettre autant de vies entre les mains d’un pilote humain. Mais mettons-nous à sa place…
Elle baissa la voix pour conclure du bout des lèvres :
— Au fond, il n’avait pas le choix : il a tout misé sur celui qui pouvait le sauver, comme n’importe qui… N’importe qui qui a peur de la mort.
(07/2012)