DESCRIPTION :
Optimisation de l'IA : pruning de Vision Transformers pour les systèmes embarqués
Sujet de stage
Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches?, L'objectif de ce stage est d'identifier une solution généralisable permettant au modèle ViT de bien performer sur plusieurs tâches, tout en minimisant le compromis entre la performance, la complexité du modèle et l'efficacité des ressources. Plus précisément, ce stage s'appuiera sur une approche hybride de réduction des tokens, développée dans notre laboratoire pour la segmentation sémantique. Cette méthode combine la fusion des tokens, qui réduit le nombre de tokens à traiter par le transformeur, avec une stratégie de sortie anticipée, permettant au modèle de stopper les calculs lorsque les couches intermédiaires atteignent un niveau de confiance suffisant. Le principal objectif de ce travail est d'évaluer l'efficacité de cette méthode sur diverses tâches et d'explorer les optimisations potentielles pour la fusion des tokens. Sur la base de ces évaluations, nous visons à déterminer si le système actuel de réduction des tokens hybride est suffisant pour maintenir les performances sur
toutes les tâches ou si des modifications spécifiques à chaque tâche sont
nécessaires.
Dans ce contexte, les objectifs du stage sont les suivants :
* Réaliser une étude des techniques de fusion des tokens, en soulignant les principaux aspects à considérer, tels que les facteurs influençant les décisions de fusion (par exemple, l'importance des tokens et la complexité des tâches), et en explorant comment optimiser ces facteurs pour une large gamme de tâches ;
* Intégrer des têtes adaptées aux tâches de prédiction dense comme l'estimation de profondeur, la détection d'objets, la segmentation d'instances ou l'analyse du flux optique ;
* Mise en oeuvre sur une puce embarquée de type NVIDIA Jetson Orin ;
* Évaluer la technique d'optimisation des tokens sur d'autres backbones, tels que les modèles de fondation comme DinoV2 ou SAM (Segment Anything Model) ;
* Effectuer des tests de benchmarking (FPS, mIOU, Params, MACC, FLOPS) pour évaluer les capacités de généralisation du modèle de réduction des tokens.
Conformément aux engagements pris par le CEA en faveur de l'intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.
#IA#transformeur#ViT#pruning#optimisation#segmentation#détection#multitâche#embarqué#, Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies et de
favoriser l'innovation dans le domaine des systèmes embarqués. Au sein du LIST, le Laboratoire
Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en
œuvre des solutions optimisées (surface, consommation, puissance de calcul) pour les systèmes
embarqués.
Code d'emploi : Ingénieur Système (h/f)
Domaine professionnel actuel : Développeurs Système et Analystes
Niveau de formation : Bac+5
Temps partiel / Temps plein : Plein temps
Type de contrat : Stage/Jeune diplômé
Compétences : Intelligence Artificielle, C ++ (Langage de Programmation), Linux, Python (Langage de Programmation), Architecture, Optique et Lunetterie, Analyse Comparative (Benchmark), Calculs, Systèmes Embarqués, Elaboration des Prévisions, Traitement d'Image, Techniques de Laboratoire, Neurones, Efficacité des Ressources, Sémantique, Transfert de Technologie, Compétences de Modélisation, Réalisation d'Évaluations
Courriel :
internet.saclay@cea.fr
Téléphone :
0160833031
Type d'annonceur : Employeur direct