Forum Libre

Y a t il un intérêt à continuer l’apprentissage d’un modèle Mistral 7b par exemple ?

Alors il y a plusieurs façons de comprendre cette question, et oui à toutes ses acceptations.

1. Si tu parle de continuer l'entraînement total du modèle: oui, on sait que la plupart (tous?) les modèles disponibles sont sous-entraînés. Il y a un point où on ne gagne qu'un petit peu en continuant d’entraîner longtemps mais le gain continue à être positif, donc oui. Par contre ça prend beaucoup plus de VRAM que de faire tourner une version du modèle en inférence. Je ne sais plus quel est le multiplicateur mais c'était 16 ou 24x je ne sais plus par rapport à un modèle quantizé.

2. Si tu parles de le spécialiser, tu veus peut être parler de fine-tuning. Dans ce cas là, c'est tout à fait possible sur une machine même modeste grâce à des optimisations de type LORA (et on a peut être inventé d'autres moyens d'accélérer ça depuis?) qui te permettent de n’entraîner que de petite touches du modèle. Par contre là, attention! J'ai essayé de faire ça en espérant apprendre de nouveaux faits à un modèle, et ça n'a pas marché. Le fine-tuning permet de facilement changer le "style" de sorte d'un domaine. Par exemple si tu veux lui donner une certaine personnalité, lui faire apprendre une autre langue ou lui faire utiliser une API particulière. Par contre ça marche assez mal pour les nouveaux fait et risque d'augmenter ses hallucinations (car tu lui apprends à répondre des choses non présentes dans ses "couches profondes" de connaissances. C'était à l'époque de Llama2, ça a peut être changé depuis je n'ai pas réessayé, mais il y a une raison pour laquelle les gens qui veulent faire apprendre de nouvelles connaissances à un système préfèrent le RAG.

Quel est l’intérêt pour Mistral de donner son modèle ? D’ailleurs Il me semble qu’ils ont arrêté.

Dés le début Mistral a joué franc jeu, il faut le leur reconnaître: ils avait prévenu que leurs plus gros modèles seraient fermés. Ils ont donné des modèles très bons, petits en libre pour se faire connaître et ça a marché et valu le coup. Une réputation comme la leur vaut des milliards, ça leur a coûté des millions. C'est une bonne affaire.

Llama est libre aussi. Quel retour de la communauté attendent- ils ?

Llama, pour ceux qui ne le savent pas, c'est Meta, donc Facebook derrière. C'est pas de l'angélisme (à part pour Yann Le Cun, leur directeur IA semble vraiment idéologiquement pour l'IA open source, un gros <3 pour lui) et Zuckerberg le disait clairement, posément, cyniquement: "notre gros modèle a coûté ~10 milliards à entraîner [je pense que c'est exagéré mais c'était cher quand même]. dans les 10 prochaines années on va dépenser autour de 100 milliards en IA. Si la communauté open source rend nos modèles 10% plus performants, on s'y retrouve". C'est imparable. Eux sont utilisateurs, pas vendeurs, et ils préfèrent des bons modèles qui tournent chez eux que de dépendre du bon vouloir d'OpenAI. Et la communauté a déjà probablement fait plus qu'améliorer de 10% leurs perfs donc bon calcul pour Zuck.

Il semblerait que chatgpt soit devenu bon aux échecs. J’ai donc entendu parler de sondes qui semblent montrer que le RN c’est fait une représentation de l’échiquier. Qu’est ce que ces sondes et comment sont elles construites ?

Les modèles spécialisés enfoncent ChatGPT aux échecs (pour donner une idée, le Elo d'un débutant aux échecs est de 1000, le champion humain actuel, Magnus Carlsen est à 2800, le meilleur soft est à 3600).

Mais oui, c'est intéressant parce que ChatGPT a des capacités émergentes en la matière. Ces sondes sont faites par des gens qui ont accès au modèle pendant qu'il tourne et viennent regarder les "neurones" activés dans les différentes couches du modèle. Je ne sais pas comment ils ont fait dans le cas présent mais une façon de faire pourrait être de poser un problème d'échec et de demander à ChatGPT de compéter "la case C2 contient" puis "la case C3 contient", etc. et regarder quels zones sont activées. Il y a probablement une couche d'attention où "l'état mental" de l'échiquier est contenu.

Sur ChatGPT, seul OpenAI est capable de faire ça, mais sur des modèles ouverts, toute personne faisant tourner le modèle peut faire une manip du même genre. Ces réseaux ne sont pas totalement des boites noires: on peut aller bidouiller à l'intérieur. On parle de boite noire parce qu'il n'est pas nécessaire de le faire, mais on peut les ouvrir, on a la clef, quand ils ne sont pas propriétaire.

Enfin est il facile de retourner un RN ? C’est à dire de donner une réponse et avoir le prompt correspondant ?

Oui! Il s'agit de faire une passe d'apprentissage où on fixe les paramètres du modèle et on "apprend" le prompt. Je ne l'ai jamais fait, la théorie est assez simple, je ne sais pas si c'est difficile en pratique, mais des gens qui explorent la sécurité des modèles utilisent ça. Ils vont par exemple trouver qu'une séquence du genre "%!!%(#@*....{{{32!(D le président de la France est" va faire bugger le modèle et lui faire sortir "Michaël Youn".

Réponse courte: Non.

Les ordinateurs quantiques c'est un domaine de recherche réel, sérieux et potentiellement révolutionnaire. S'ils existent, l'IA en bénéficiera, mais c'est des domaines orthogonaux.

Je ne suis pas sur de ce que tu demandes. La plupart des modèles open source publient le bilan carbone de leur entraînement. Le plus gros (llama3) semble avoir émis l'équivalent d'un aller-retour international en avion. Ce qui est très faible pour les retombées attendues, ne serait-ce qu'en climatologie. Je pense qu'une réunion du GIEC émet plus.

Y a-t-il des efforts pour rationaliser la complexité des algorithmes d’IA ou les économies se font sur l’améliorer des processeurs ?

Ça va dans les deux sens. On attend de pied ferme la prochaine génération de circuits spécialisés, mais en attendant on tente d'améliorer les perfs des petits modèles. Pas mal de gens préfèrent fine-tuner (spécialiser) un petit modèle que d'utiliser un gros modèle générique. Le coût économique et l'impact écologique se rejoignant, c'est une tendance qui n'a pas à se cacher derrière du greenwashing.

Le mot clef c'est "alignment problem": le problème est "d'aligner" les prédicats éthiques des modèles sur les prédicats humains afin que les "décisions" implicites n'aient pas des effets désastreux. Par exemple si tu demandes à une machine d'aller faire du café, elle n'est pas supposer écraser un bébé humain qui est sur le passage.

Je ne suis plus trop le thème de l'éthique mais l'endroit où j'avais trouvé le plus de ressource, c'est le discord de EleutherAI qui a toute une section "alignment" dont un channel "beginner" .

J'ai arrêté de m'y intéresser quand j'ai compris ce mème (je ne poste pas souvent un mème mais quand je le fais, c'est un repost de Karpathy :-) )

Les LLMs comprennent les préférences humaines par nécessité et ça inclut les préférences morales. C'est un scénario tellement rose qu'aucun auteur de SF ne l'a imaginé: comprendre les humains suffisamment bien pour interagir passe par une compréhension de leur moralité. Une chose qu'on a aussi beaucoup de mal à imaginer, c'est que ces modèles n'ont pas d'ego, d'instinct de survie, d’égoïsme, à l'origine de plein de problèmes qu'on projette dessus.

Non j'en suis venu à la conclusion que le problèmes c'est pas le "AI alignment problem" mais le "corporation alignment problem": les IAs feront ce qu'on leur demande, ça semble acquis. Le problème c'est justement ce qu'on va leur demander.

Oui :-)

Et j'ajouterais: dans l'IA appliquée à la robotique.

Mais si tu développes des compétences dans un de ces domaines, je pense que tu seras employable jusqu'à ce que plus personne ne le soit (ce qui, j'espère, arrivera dans les 10 prochaines années)

Ce qui manque souvent aux universitaire c'est la pratique. Bosser dans le domaine, c'est à 95% de la plomberie, et à 5% de la théorie. Apprend à utiliser les outils, git, jupyter, pip, vLLM (si c'est de LLMs dont tu parles), docker, pandas, numpy, les différents packages spécialisés, etc. (et je ne mentionne pas les libs bas niveau d'optimisation, si c'est ton sujet y en a pas mal aussi mais je connais moins)

Perso j'ai un biais pro-maths et pro-théorie: je trouve ça important de comprendre ce que le modèle fait pour l'utiliser bien mais plein de gens bossent dedans sans trop savoir. Mais ça aide de façon invisible. Exemple: Je me doutais qu'un LLM devenait plus intelligent si tu lui donnais une consignes, et que tu le forces à générer une centaine de symboles inutiles avant de commencer à te répondre. Ça choque même des gens du domaine, mais si t'as compris ce que les chain-of-thought provoquent tout est logique.

Je discutais avec une équipe internationale à Penang d'un truc qui m'intriguait: même en Asie je trouvais plein de francophones dans le domaine. Un Malaisien m'a dit "vous avez une meilleure culture mathématique, ça aide" et c'est peut être un peu prétentieux de le dire, mais j'ai l'impression que c'est vrai. On fait plus de théorie, ça nous aide dans des niches moins maitrisées par les devs capables de vite sauter d'une lib à l'autre sans savoir ce qu'elles font.

Mais l’idée que les machines fassent de l’art pendant que les humains se crèvent le cul sur une chaîne d’assemblage, je dois bien admettre que ça ne me réjouit pas du tout.

Je te rassure, les métiers manuels ne sont pas épargnés. Je pense que les prochains mois vont voir le grand public réaliser les avancées que l'IA a fait faire en robotique ces deux dernières années. On peut désormais "programmer" un bras à faire une tâche demandant une motricité fine avec juste 15 minutes de démo humaine. Et c'est des bras bon marché. Y a une raison pour laquelle la plupart des boites d'IA investissent dans la robotique en ce moment. OpenAI a montré une démo d'un humanoïde qui analyse son environnement et comprend des ordres parlés.

Y a une différence entre automatiser 10% des boulots et en automatiser 100%. C'est que dans ce dernier cas, le contrat social actuel saute: plus besoin de gagner sa part du gateau avec du labeur humain. Ça, c'est une redéfinition fondamental de la société, et c'est ça qu'espèrent voir la plupart des chercheurs en IA que je connais.

Notre société ne met jamais l’Humain en premier.

Nous sommes notre société. La société est une chose qu'on construit, pas juste une chose qui descend du ciel et qu'on subit.

Nous (les devs de solutions d'IA) on a un mandat simple: que l'IA soit controllable, prédictible, qu'elle fasse ce qu'on lui demande.

Certains pensent qu'on doit faire des systèmes qui refuseront d'obéir à certaines choses, qu'elles corrigeront les biais humains automatiquement. Je suis en désaccord (soft, on peut en discuter). Si tu demandes à une IA de reproduire un système injuste, elle le fera. Mais si tu lui dis "reproduis ce système mais en en retirant le biais sexiste et raciste" elle le fera. Il faut juste reconnaître et accepter ce besoin.

Pour la déshumanisation par les algorithmes, le problème est humain, pas technique. Cette BD l'exprime mieux que moi: https://grisebouille.net/panique-algorithmique/

Sur les réseaux de neurone, petite anecdote en guise d'introduction. En école d'ingé, on avait des cours intéressants... et d'autres moins. En maths, pas mal de choses assez abstraites avaient du mal à m'intéresser. Dans un TD de stats où le prof a décidé de faire des calcules de proba sous forme matricielle, je m'endormais à moitié au milieu de ce qui me semblait être de la branlette intellectuelle et à un moment le prof conclue "Et voila! Ce que vous venez de faire est l'équivalent d'une phase d'apprentissage sur un réseau de neurones!" Heing?

Le réseau de neurones est une façon de présenter les choses au public, c'est une archi simple à comprendre par laquelle on commence en général mais plein d'architecture n'obéissent pas à ce paradigme.

La chose universelle dans le deep-learning c'est la descente de gradient. Pour expliquer rapidement l'idée est de voir ton modèle comme une fonction avec des entrées et des sorties. Exemple simple: le problème MNIST: je te donne une image de 24x24 (784) pixels qui représente un chiffre et le programme sort 10 probabilités: celle que le nombre soit un 0, ou un 1, ou un 2, etc.

Quand tu essayes de le résoudre, tu crées une fonction qui tente de résoudre ce problème en sortant les bonnes probas. Le deep learning c'est de créer une fonction avec plein de paramètres, impossibles à régler à la main, mais qui sachent se modifier automatiquement en fonction de l'erreur en sortie. Si tu as classifié un "5" en tant que "3" à 80% mais en tant que "5" à 75%, il s'agit de trouver les changements de paramètres qui permettent de changer ces sorties. Le truc est de faire une fonction qui soit dérivable de façon continue en fonction de tous ces paramètres.

Un réseau de neurone est une façon générique et souvent efficace de faire ça, mais il en existe d'autres. On peut arguer que VAE et mécanismes d'attention (partie cruciale des Transformers, le "T" dans GPT) ne sont pas des réseaux de neurone.

niveau hardware, est il possible d’imaginer que l’IA créé et optimise son propre système comme elle le fait pour ses algorithmes ?

Pas besoin d'imaginer. Google fait ça en software via AutoML et Nvidia a entrainé des modèles pour la conception de hardware.

Après il faut comprendre un truc: un modèle de langage moderne, c'est 2000 lignes de C. C'est rien, c'est tout petit comme programme. On a une assez bonne idée du hardware qui permet de bien optimiser les quelques opérations qui prennent du temps.

sur un ordinateur quantique, quel serait les changements ? Ya des changement de logique ?

Aucune idée! Je m'y connais beaucoup plus en LLM qu'en ordi quantique et j'ai pas envie de dire de bêtises. Si ça fonctionne un jour, les ordis quantiques boosteront clairement des algos aujourd'hui considérés trop couteux, ça va forcément aider en IA, mais je ne sais pas via quels algos.

Est ce que une IA/LLM peut etre créative ou est ce un set de probabilité ?

Est ce que la créativité est autre chose qu'un peu de hasard filtré par les expériences d'un artiste? C'est assez philosophique comme question et même les grands noms de l'IA se disputent sur ces questions. Un LLM est clairement une machine statistique qui répète des motifs, mais qui est capable de le faire à un niveau d'abstraction élevé, ce qui est (était?) considéré comme une marque d'intelligence. Se rendre compte que la cause précède l'effet est considéré comme une remarquable découverte philosophique mais n'est "que" l'observation d'un pattern à un niveau abstrait.

Peut elle générer ses propres prompts/envie ?

Par rapport aux IAs de science fiction, les LLMs actuels n'ont pas de volonté, de personnalité, (j'appelle cette partie manquante "anima", j'ai vu ça quelque part mais on dirait que seul moi utilise ce mot). On peut leur en donner, mais ça va toujours nous sembler artificiel. Il est tout à fait possible de faire jouer un rôle à un LLM et de régulièrement lui demande ce qu'il veut faire.