Si vous avez déjà lu des ouvrages sur la physique moderne, vous savez que vos cours de mathématiques au lycée ne vous mèneront pas très loin. Les livres de Stephen Hawking et de Brian Greene contiennent des descriptions auxquelles il faut se fier. Sans les mathématiques, toute cette science pourrait aussi bien être de la science-fiction. L’informatique a atteint un stade similaire avec l’intelligence artificielle. À moins que vous ne connaissiez bien les éléments d’architecture des logiciels appelés « transformateurs », vous devez écouter les argumentaires de vente des PDG de la technologie et essayer de faire la différence entre les bonnes affaires et les conneries.
Les transformateurs ont été popularisés en 2017 par un article désormais emblématique de huit scientifiques de Google intitulé « Attention Is All You Need ». Il est important de savoir quelques choses à leur sujet : ils analysent une phrase entière en une seule fois ; ils convertissent les mots en morceaux de code interchangeables d'une manière qui rend l'IA bonne en analogie, mais du moins jusqu'à présent, mauvaise pour compter le nombre de r dans « fraise » ; et, surtout, ils ne semblent pas rencontrer de problèmes avec leur évolutivité. Jusqu'à présent, chaque fois que des personnes ont déversé une pile de données dans ces outils, ils ont montré de petits progrès sur la voie de percées stupéfiantes. Jusqu'à présent.
La mise à l'échelle est le grand défi de presque toutes les technologies. Les batteries ne peuvent pas devenir plus grandes avant de devenir moins efficaces, et depuis le début des téléphones portables, nos assistants de poche ont été limités par les batteries plus que par le logiciel. Pendant plus d'une décennie, ils auraient pu faire un parcelle plus si la charge n'avait pas besoin de durer plus de 10 heures. C'est également courant sur les plateformes logicielles, et vous vous souvenez peut-être que les premiers Twitter et YouTube ont explosé avant de pouvoir gérer le volume.
Les transformateurs ne connaissent pas de problème comparable, du moins pas publiquement. Il y a toujours eu une autre percée. Et les entreprises technologiques investissent des milliers de milliards dans l'IA générative, ce qui amène un chercheur de Goldman Sachs à se demander quel problème de mille milliards de dollars cela va résoudre ? Quel gain pourrait justifier un investissement aussi massif ? Certains pensent que l'ensemble du secteur est au bord de l'effondrement ; Ed Zitron a récemment qualifié ce moment de crise de l'IA subprime. Tous les nouveaux produits technologiques intéressants ne génèrent pas de bénéfices.
Cette façon de penser peut être convaincante, mais les personnes qui publient ces articles ne sont pas celles qui dépensent des milliards. Il y a un signal fort qui montre que ceux qui en savent le plus sur l’IA sont ceux qui mettent le plus en jeu. Microsoft a évité de gros investissements dans la réalité augmentée et les blockchains cryptographiques, et investit une fortune dans OpenAI, les créateurs du chatbot ChatGPT. Il n’est pas irrationnel de se demander si Microsoft sait quelque chose que Goldman Sachs ignore.
Alors, que peut penser un observateur extérieur avisé de ce désordre ? Qu'y a-t-il entre croire les PDG des entreprises technologiques lors de leurs tournées de presse et être purement sceptique ? En fait, nous pouvons simplement attendre quelques mois.