Dans les éditions précédentes, nous avons vu comment les Transformers avec attention multi-têtes permettent à chaque point d'un signal d'interroger tous les autres, capturant des relations globales que LSTM ou CNN ne pouvaient pas facilement percevoir. La question naturelle se pose : ce mécanisme peut-il fonctionner avec des images et du texte simultanément ? La réponse est oui — c'est exactement ce qu'un modèle multimodal fait. Mais avant de supposer qu'un modèle unique peut tout faire sur le terrain, il est important de comprendre ce que cela signifie en pratique.
Un modèle multimodal applique le même mécanisme d'attention à différents types d'entrée. Le texte est divisé en tokens de mots, les images en patches convertis en vecteurs, et les séries numériques en fenêtres temporelles également vectorisées. Tous ces tokens entrent dans le mécanisme Q/K/V, où ils s'interrogent mutuellement pour construire une représentation riche.
La principale différence avec les modèles spécialisés n'est pas l'architecture mais l'entraînement : il a appris à relier les motifs visuels avec les descriptions textuelles et les signatures numériques des données de processus. Cette relation intermodale fournit une capacité de raisonnement général.
Séparer la détection et l'interprétation permet de tirer parti du meilleur de chaque modèle : la précision dans l'inspection et la capacité de raisonnement contextuel et corrélationnel.
Un modèle multimodal général n'a jamais vu les défauts spécifiques de votre ligne, de l'éclairage ou de la caméra. Il peut détecter des anomalies mais ne peut pas les classifier de manière fiable sans entraînement spécifique. De plus, déployer et maintenir un LLM multimodal nécessite une infrastructure avancée et peut être opaque pour les équipes techniques devant auditer chaque décision.
Une architecture à deux couches est la solution la plus pratique. La première couche, un modèle spécialisé (CNN, YOLO, autoencodeur), détecte les défauts avec une grande précision et génère des données structurées. La deuxième couche reçoit ces données ainsi que les logs et le contexte, répondant aux requêtes en langage naturel pour une analyse à la demande.
Pour les usines sans ressources en science des données, un LLM multimodal peut être un point de départ pour extraire des insights sans construire de modèles à partir de zéro. Pour les équipes matures, des modèles ML classiques bien configurés offrent plus de contrôle et d'auditabilité. Aucun ne remplace les systèmes de détection ; ils les complètent.
Cette architecture améliore l'analyse sans toucher à ce qui fonctionne déjà. La décision reste humaine ; le modèle informe mais ne remplace pas le jugement d'ingénierie.