DESCRIPTION :
L'accélération de la collecte des codes sources, et l'élargissement du périmètre de Software Heritage permettront d'étendre et d'enrichir l'archive existante à un rythme sans précédent, incluant des tâches, commentaires, discussions, et métadonnées associées à des articles scientifiques, entre autres
Un nouveau modèle de données unifié et une architecture scalable permettront de sélectionner aisément et d'extraire efficacement des sous-ensembles de données de l'archive, pour les adapter aux nouveaux besoins d'entraînement des modèles IA de nouvelle génération
Une caractérisation poussée des fichiers sources, incluant la licence, les langages de programmation utilisés, des indicateurs de qualité du code (comme les motifs de conception et les CVE), et l'historique et les caractéristiques du projet (popularité, activités, dépendances).
L'utilisation du SWHID (Software Heritage Identifier), en cours de normalisation, qui offre une méthode unique et efficace pour la traçabilité, la transparence et la reproductibilité, facilitant ainsi l'identification des corpus d'apprentissage utilisés dans l'entraînement d'une IA.
Le projet s'appuie sur un partenariat stratégique entre Inria, le CEA, et Tweag, réunissant des compétences complémentaires essentielles à la réussite de Code Commons. Inria apporte son expertise à travers les équipes de Software Heritage, DiverSE, Almanach, et Cedar, offrant un large éventail de compétences en ingénierie des langages, génération de code, traitement des langues et IA générative, et analyse de données à grande échelle. Le CEA contribue avec son expertise en traitement automatique des langues et en ingénierie des systèmes et logiciels. Tweag, connu pour son approche innovante en matière de développement logiciel, complète ce consortium. AboutCode apportera son expertise pour la détection des licences des codes sources avec son logiciel Scancode, référence mondiale dans le domaine. Le projet bénéficie également du soutien de partenaires académiques internationaux, tels que les Universités de Pise et de Bologne, et de l'expertise de
personnalités éminentes telles que Patrick Valduriez. Ce partenariat multidisciplinaire garantit une approche holistique et innovante, essentielle pour relever les défis complexes posés par l'IA générative.
Mission confiée
Dans ce cadre, l'équipe DiverSE (en étroite collaboration avec l'équipe Software Heritage) recrute une équipe de huit ingénieurs et un post-doc sous la responsabilité scientifique et technique de permanents de l'équipe pour participer à ce projet. L'équipe va travailler sur deux briques importantes concernant l'extraction efficace des données et des briques d'analyse de code efficace pour la construction de méta-données spécifiques. Concrètement, les deux premières tâches visent à reconstruire l'outil GHTorrent mais au-dessus de Software Heritage et reprendre l'ensemble des scripts d'entraînement de starcoder pour une intégration au-dessus de Software Heritage. Ces deux démonstrateurs serviront de cas nominal pour l'évaluation des l'ensemble des tâches effectuées dans ce projet par les partenaires.
D'autres tâches d'analyse de code viendront compléter ces démonstrateurs, telles que la construction d'un graphe reliant les corrections des vulnérabilités logicielles dans le code avec les causes de leur apparition, entre autres.
L' objectif spécifique est de créer un modèle unifié des méta-informations associées au graphe de code de Software Heritage. Ce modèle engloberait des données essentielles sur les contributions, les versions, et l'évolution des projets, tout en structurant les informations contextuelles et historiques des artefacts de code. En centralisant et en unifiant ces métadonnées, nous posons les bases pour l'entraînement ou le fine-tuning d'une IA générative., Vous participerez à un projet open source d'envergure mondiale. Dans une époque où la maîtrise des données est un enjeu géopolitique stratégique pour les états, Code Commons inaugure au niveau national l'utilisation d'une archive unifiée fiable du code source mondiale. À vocation européenne, cette initiative s'intègre dans une ambition plus large visant à bénéficier au niveau européen d'un outil et d'une agence pour le pilotage de ces données associées au domaine de l'open source afin de garantir une souveraineté européenne dans le domaine de l'ingénierie logicielle, de l'IA, et de la cybersécurité (software supply chain attack; …).
Son réseau de contacts
Vous serez au cœur d'un réseau d'utilisateurs dont le but est de faciliter l'adoption. Nous avons déjà assuré le soutien d'acteurs majeurs de l'IA en France, qui ont fourni des lettres d'engagement à collaborer: Craft.ai, Hugging Face, Kyutai, LightOn, Mistral et Prairie.
Son impact potentiel
À l'heure où de nombreux projets open source deviennent méfiants du pillage par les acteurs de l'IA de données/code qui n'ont pas été produits dans le but de servir de données d'apprentissage, reprendre la main au sein d'une initiative open source est un moyen de garantir une traçabilité de l'usage du code open source et ainsi permettre une confiance dans ces outils.
En Bretagne au coeur d'une équipe jeune et dynamique
L'équipe de recherche DiverSE étudie les techniques de l'ingénierie logicielle pour la construction fiable et efficace d'applications. Notre expertise se place dans le domaine de l'ingénierie des langages, de la variabilité logicielle, du test, de l'architecture, etc.
Avec une petite quinzaine de permanents (chercheurs Inria, CNRS, enseignants chercheurs INSA/Université de Rennes dont 3 IUFs), une quinzaine de doctorants et plusieurs ingénieurs, l'équipe est reconnue au niveau mondial dans ces domaines d'expertise. Elle est aussi reconnue pour son ambiance sur site, ses pauses café et ses séminaires aux verts mémorables. Nous avons en outre la chance d'héberger dans nos locaux deux ingénieurs de l'équipe de Software Heritage facilitant ainsi les liens entre les groupes.
Code d'emploi : Ingénieur Logiciel (h/f)
Domaine professionnel actuel : Programmeurs
Niveau de formation : Bac+8
Temps partiel / Temps plein : Plein temps
Type de contrat : Contrat à durée déterminée (CDD)
Compétences : Données d'Apprentissage, Analyse des Données, Ingénierie des Systèmes, Analyse de Programmes Statiques, Génération de Code, Qualité Logicielle, Data Mining, Technologie Open Source, Conception et Développement de Logiciel, Generative AI, Anglais, Français, Enthousiasme, Honnêteté, Implication et Investissement, Architecture, Modélisation des Données, Ingénierie, Traçabilité, Reproductibilité, Gestion de la Chaîne d'Approvisionnement, Alliances Stratégiques, Vulnérabilité, Sous-ensembles, Code Source
Courriel :
Mathieu.Acher@irisa.fr
Téléphone :
0299847100
Type d'annonceur : Employeur direct