Attention

Explication detaillee

L’attention est le mecanisme cognitif qui permet aux humains de filtrer l’information. Lorsque vous lisez un contrat de travail, vous ne retenez pas chaque virgule avec la meme intensite. Vous portez une attention privilegiee aux clauses de rupture, aux modalites de remunération variable et aux periodes d’essai. Les mots de liaison, les formules de politesse et les mentions legales standard recueillent une attention moindre. Ce processus de filtrage selectif est exactement ce que les chercheurs en intelligence artificielle ont cherche a reproduire mecaniquement.

Le concept a emerge en 2014 dans le domaine de la traduction automatique. Dzmitry Bahdanau et ses collegues de l’Universite de Montreal proposent un mecanisme qui permet au reseau de neurones de se concentrer sur des mots specifiques de la phrase source lorsqu’il genere chaque mot de la traduction. Si le systeme traduit le verbe 'donner' en anglais, il accorde une attention particuliere au sujet et a l’objet de la phrase originale pour choisir entre 'give', 'offer' ou 'grant'. Cette idee simple resout un probleme fondamental: comment transmettre l’information pertinente a travers les couches successives d’un reseau de neurones.

En 2017, le mecanisme d’attention connait une mutation decisive avec les transformers. Les auteurs d’Attention Is All You Need generalisent le principe en attention dite 'auto-referencee' (self-attention): chaque mot d’un texte peut desormais interroger directement chaque autre mot, sans passer par une representation intermediaire compressee. C’est comme si, dans une reunion, chaque participant pouvait poser une question a chaque autre participant simultanement, plutot que de passer par un rapporteur unique qui resumerait les positions.

L’attention se formalise mathematiquement par le calcul d’une matrice de scores. Pour chaque paire de mots dans une phrase, le modele evalue leur compatibilite. Ces scores sont convertis en probabilites par une fonction softmax, puis utilises pour calculer une moyenne ponderee des representations des mots. Le resultat est une nouvelle representation pour chaque mot, enrichie par le contexte qui lui est le plus pertinent. Cette operation est repetee plusieurs fois en parallele par differentes 'tetes d’attention', chacune specialisée dans un type de relation: syntaxique, semantique, temporelle ou rhetorique.

L’importance professionnelle de ce mecanisme reside dans sa capacite a capturer les dependances a longue distance. Dans un rapport financier de cinquante pages, une mention de 'provision pour risque' au chapitre 3 peut etre eclairee par une discussion sur la conjoncture au chapitre 12. L’attention permet au modele d’etablir ce lien, la ou les architectures sequentielles l’auraient oublie. Pour un cadre dirigeant, cela signifie que les outils d’analyse documentaire bases sur les transformers fournissent des syntheses qui prennent en compte l’ensemble du dossier, pas seulement ses paragraphes les plus recents.

L’attention a egalement permis l’emergence de l’interpretabilite dans les modeles de deep learning. En visualisant les poids d’attention, les chercheurs peuvent expliquer pourquoi un modele a pris une decision. Si un systeme de scoring de candidatures accorde une attention demesuree au prenom du candidat plutot qu’a ses competences, cette anomalie devient detectable et correctible. Cette transparence, bien que partielle, constitue une avancee cruciale pour l’adoption industrielle des systemes d’IA dans des secteurs regules comme la banque, la sante ou le recrutement.

Les evolutions recentes du mecanisme d’attention visent a reduire sa complexite quadratique. La linear attention, les mecanismes a noyaux, et les approches basees sur des patterns structures comme les dilated attention ou les sliding windows reduisent la complexite a O(n) ou O(n log n). Ces avancees permettent de traiter des documents de plusieurs centaines de milliers de tokens, ouvrant des applications comme l’analyse de corpus legislatifs complets ou la consultation de bases de donnees medicale integrees. La recherche sur les mecanismes d’attention biologiquement plausibles cherche egalement a rapprocher les architectures artificielles de la cognition humaine.

L’attention sparse, ou l’on ne calcule les relations que pour un sous-ensemble de tokens pertinents, represente une piste prometteuse pour reduire la complexite. Les modeles BigBird et Longformer utilisent des patterns d’attention hybrides combinant attention locale, attention globale sur quelques tokens cles, et attention aleatoire. Ces architectures traitent des sequences de 4096 tokens et plus avec une efficacite lineaire, ouvrant des applications sur des documents longs comme les contrats ou les actes legislatifs.