IVADO et le Simons Institute lancent leur semestre thématique sur les grands modèles de langage et les transformeurs

Montréal, le 27 novembre 2024 – IVADO est fier d’annoncer l’ouverture des inscriptions pour son premier semestre thématique organisé en collaboration avec le Simons Institute for the Theory of Computing. Intitulé “Les grands modèles de langage et les transformeurs”, ce programme s’étendra entre janvier et mai 2025 et se déroulera à Berkeley en Californie.

L’objectif principal de ce programme, organisé dans le cadre du partenariat entre IVADO et le Simons Institute et du programme spécial d’un an sur les grands modèles de langage (LLMs) et les transformateurs qui a débuté au Simons Institute pour la Théorie de l’Informatique, est de tenter de comprendre la révolution en cours dans ces domaines à travers un prisme large, dans un cadre détendu qui facilite la discussion, le débat et la pollinisation intellectuelle croisée.

L’accent sera mis sur la manière dont ces modèles bouleversent la compréhension de la grammaire, de la sémantique, des représentations cognitives et des approches computationnelles en neurosciences. Des questions concrètes, telles que la réduction de la complexité des algorithmes d’entraînement et les lois d’échelle, feront l’objet d’une attention particulière afin de mieux comprendre l’émergence de compétences complexes chez les LLMs. Les implications sociétales, telles que l’alignement des valeurs humaines avec les décisions des IA, la fiabilité, l’interprétabilité, la sécurité des systèmes et l’équité, seront également abordées. La dimension légale et réglementaire de ces développements technologiques constitue un volet clé.

Trois ateliers collaboratifs, qui se tiendront à Berkeley, en Californie, sont prévus au printemps 2025 pour approfondir ces thèmes. Ils seront proposés par un comité scientifique composé de Yoshua Bengio (Université de Montréal), Siva Reddy (McGill University), Yejin Choi (NVidia), Boaz Barak (Harvard University), Sasha Rush (Cornell University), Surbhi Goel (University of Pennsylvania), ainsi que Shafi Goldwasser et Umesh Vazirani (UC Berkeley).

Le partenariat permettra d’accueillir 8 à 10 chercheuses, chercheurs, étudiantes et étudiants d’universités canadiennes en tant que visiteurs et visiteuses à long terme dans le cadre du programme. Des bourses de voyage sont également disponibles pour soutenir la participation aux ateliers de celles et ceux qui souhaitent bénéficier de cette occasion d’échange unique.

Pour vous inscrire aux activités, ou connaître les modalités d’obtention d’une bourse de voyage, visitez la page du programme sur le site d’IVADO.