Les grands modèles de langage et les transformeurs

Les inscriptions sont ouvertes! Ce semestre thématique se déroulera à Berkeley, en Californie. Nous encourageons les chercheuses et chercheurs canadiens intéressés à participer à ces ateliers (virtuellement ou en personne) pour établir des collaborations et participer à ces discussions déterminantes. Un nombre limité de bourses de voyage est disponible, faites votre demande de financement dès que possible.

IVADO vous invite à Berkeley, en Californie, pour participer à un semestre thématique organisé conjointement avec le Simons Institute for the Theory of Computing. L’objectif principal de ce rendez-vous exceptionnel est de tenter de comprendre la révolution en cours dans les transformeurs et les grands modèles de langage (LLMs) à travers un prisme large. Le semestre thématique, comprenant trois ateliers collaboratifs offerts à compter de février 2025, offre une occasion unique de collaborer et d’approfondir les échanges avec des expertes et experts de renommée mondiale, dans un cadre détendu qui facilite la discussion, le débat et la pollinisation intellectuelle croisée.

Au niveau conceptuel, les LLMs changent profondément le paysage des théories du langage humain, du cerveau et du calcul, et de la nature de l’intelligence humaine. En linguistique, ils offrent une nouvelle manière de penser la grammaire, la sémantique et la représentation conceptuelle. En neurosciences, les modèles vectoriels proposent une nouvelle approche des modèles computationnels du cerveau. En sciences cognitives, ils remettent en question nos notions sur les éléments essentiels de l’intelligence humaine.

Ce programme explorera des questions très concrètes sur les transformeurs en tant que modèles de calcul. Cela inclut des idées algorithmiques pour réduire la complexité de l’entraînement à presque linéaire par rapport à la longueur de l’entrée, ainsi que des lois d’échelle étudiant comment la perte d’entropie croisée varie avec la taille du modèle, la taille des données et la quantité de calcul. Le programme explorera également comment les lois d’échelle pourraient aider à comprendre les résultats de haut niveau tels que l’émergence de compétences complexes dans les modèles LLM.

Au niveau pratique, il est clair que les LLMs auront un impact substantiel sur la société humaine, et les questions d’alignement, de confiance et de sécurité joueront un rôle central. L’alignement fait référence à l’écart entre les valeurs humaines complexes et les mécanismes qui dirigent la prise de décision de l’IA. Les questions connexes incluent la fiabilité (comment savons-nous que le modèle fera ce qu’il est censé faire?), l’interprétabilité (pouvons-nous identifier avec certitude pourquoi un algorithme d’apprentissage automatique fournit une réponse spécifique?), la sécurité (pouvons-nous nous protéger contre les actions destructrices des algorithmes de ML ou des humains les utilisant?), la sécurité (pouvons-nous protéger les données et les systèmes contre les adversaires?), et l’équité (pouvons-nous nous protéger contre les biais?). La dimension légale et réglementaire des développements technologiques en IA, ainsi que son interaction pratique avec les capacités et la conception des grands modèles de langage, seront un autre domaine clé d’enquête.

Ce semestre thématique est la deuxième partie d’un programme spécial d’un an sur les grands modèles de langage et les transformeurs, couvrant l’année académique 2024-2025 et lancé au Simons Institute for the Theory of Computing.

Les trois ateliers prévus au printemps 2025 se dérouleront sur le campus du Simons Institute en Californie, et mettront en lumière les efforts collaboratifs entre les deux institutions. En tant que coorganisateur du semestre thématique, IVADO offre un support financier aux chercheuses et chercheurs canadiens qui assisteront aux ateliers suivants :

1. LLMs, Cognitive Science, Linguistics, and Neuroscience (Lundi 3 au vendredi 7 février 2025)
2. The Future of Language Models and Transformers (Lundi 24 au vendredi 28 mars 2025)
3. Safety-guaranteed LLMs (Lundi 14 au vendredi 18 avril)

Veuillez soumettre le formulaire d’inscription ci-dessous pour vous inscrire aux ateliers du semestre thématique “Les grands modèles de langage et les transformeurs” organisé au printemps 2025 par IVADO et le Simons Institute for the Theory of computing. Ces ateliers se tiendront à Berkeley en Californie, États-Unis.

Vous pouvez vous inscrire à un ou à tous les ateliers en utilisant le formulaire ci-dessous.

Participation en personne : 

IVADO offre des bourses de voyage de $3000 CAD par atelier, proposées en priorité, aux étudiantes et étudiants au doctorat, aux chercheuses et chercheurs postdoctoraux, ainsi qu’aux chercheuses et chercheurs en début de carrière, qui résident au Canada et désirent se rendre en Californie afin de participer en personne aux ateliers. Cette initiative vise à favoriser la participation de ceux et celles qui souhaitent bénéficier de cette occasion d’échange avec des expertes et experts renommés, et d’autres pairs dans le domaine.

Il est  vivement conseillé de soumettre votre candidature le plus tôt possible, le nombre de bourses disponibles étant limité. Pour postuler à la bourse de voyage, inscrivez-vous aux activités via le formulaire ci-dessous, puis soumettez une demande de bourse en cliquant ici. 

Veuillez noter que dans le cas d’une participation en personne, les places seront limitées. Les sièges seront attribués sur la base du premier arrivé, premier servi. Dans le cas où l’auditorium serait complet, une salle supplémentaire sera ouverte pour que les participants puissent visionner la diffusion en direct de l’atelier.

Participation en ligne : 

L’accès à la diffusion en direct de l’atelier sera envoyé par courriel aux personnes inscrites. Cette URL peut être utilisée pour un accès immédiat à la diffusion en direct et aux conférences enregistrées. Veuillez ne pas partager l’URL de la playlist jusqu’à ce que les enregistrements des conférences soient rendus publics sur SimonsTV, environ 12 à 15 jours après l’atelier.

Inscription :

Deux à trois jours après votre inscription, vous recevrez un courriel de confirmation où vous pourrez mettre à jour les détails de votre inscription à tout moment pour l’atelier ou les ateliers auxquels vous vous êtes inscrit.

Veuillez noter : l’Institut Simons prend régulièrement des photos et des vidéos des activités autour de l’Institut pour utilisation dans des vidéos, des publications et du matériel promotionnel. Les contenus produits dans le cadre de ce semestre thématique pourraient être également utilisés par IVADO.

Des questions? Contactez IVADO ici ou contactez le personnel des événements de l’Institut Simons à simonsevents@berkeley.edu.

Pour toute demande d’accommodements spécifiques, nous vous prions de bien vouloir contacter le coordinateur d’accès à simonsevents@berkeley.edu  avec le plus de préavis possible.

IVADO offre des bourses de voyage pour assister aux ateliers proposés dans le cadre de ce semestre thématique, qui se tiendront en Californie, États-Unis, sur le campus du Simons Institute for the Theory of computing. Elles sont disponibles en priorité aux étudiantes et étudiants au doctorat, aux chercheuses et chercheurs postdoctoraux ou en début de carrière, qui souhaitent assister en personne à l’un des trois ateliers en Californie. Cette opportunité vise à soutenir la participation de ceux et celles qui désirent bénéficier de cette occasion d’échange avec des expertes et experts renommés, et d’autres pairs dans le domaine.

IVADO fournira une bourse de voyage de 3000 $ CAD par atelier pour couvrir les frais de voyage et d’hébergement.

Le nombre de bourses disponibles est limité. Afin de pouvoir en bénéficier, il est fortement recommandé de vous inscrire à l’atelier de votre choix et d’effectuer la demande de financement dès que possible. Le financement est accordé sur la base de l’éligibilité et de la pertinence de votre candidature, et est disponible selon le principe du premier arrivé, premier servi, sous réserve de la disponibilité des fonds.

Veuillez noter qu’aucune demande de financement ne sera acceptée moins de deux semaines avant l’événement. Assurez-vous de compléter votre inscription et votre demande de financement bien avant cette échéance pour maximiser vos chances de recevoir un soutien.

Critères de sélection :

• Être actif(ve) dans le domaine du TAL, des LLM, et/ou des transformeurs, ou dans un domaine connexe pertinent;
• Être actuellement employé(e) ou inscrit(e) dans une université canadienne;
• Être étudiant(e) au doctorat, chercheur(euse) postdoctoral(e), ou en début de carrière (critère prioritaire, mais non excluant).

Formulaire de demande de bourse de voyage :