Clemmm log

Introducing AuraFlow v0.1, an Open Exploration of Large Rectified Flow Models

12 juillet 2024 14:42 fal.ai

AuraFlow v0.1 marque un tournant dans les modèles ouverts de génération avec son architecture innovante de flux rectifié pour la conversion du texte en image. Développé en collaboration avec plusieurs partenaires technologiques comme ComfyUI et HuggingFace, AuraFlow tire parti des blocs DiT et d'une paramétrisation optimisée pour améliorer l'efficacité du modèle. Offrant la possibilité d'entraîner le modèle avec moins de couches tout en augmentant les performances, AuraFlow peut aussi traiter efficacement les demandes grâce à l'optimisation de training avec Torch Dynamo + Inductor. Le support de la recaption des données et une architecture réajustée sont les autres points forts du modèle. Les efforts de collaboration se manifestent également dans le soutien initial par la mise en œuvre sur des plates-formes comme Comfy et les diffusers, assurant une intégration facile pour les utilisateurs. Avec des scores de GenEval impressionnants et des capacités d'amélioration des prompts, AuraFlow se positionne comme un atout majeur pour la communauté, stimulant l'engagement et l'exploration continue dans des configurations variées. L'objectif futur est de continuer l'entraînement et le développement du modèle, y compris des versions plus petites adaptées aux cartes GPU grand public. La communauté est encouragée à participer et à contribuer à l'évolution d'AuraFlow, avec des promises ethusiasts pour des innovations futures basées sur ce modèle. link

Silicon Carne - Hors-Série #1 avec Jean de la Rochebrochard, Charlie Perreau et Yann Lechelle

12 juillet 2024 12:18 Silicon Carne, un peu de picante dans la Tech 🌶🌶🌶

L'épisode spécial discute de l'état actuel et des défis de l'écosystème technologique en France. Les participants, incluant des entrepreneurs et des investisseurs, comparent l'écosystème européen à celui de la Silicon Valley, abordant les aspects financiers, réglementaires et culturels qui influencent les startups. Ils discutent des opportunités et des obstacles spécifiques au marché français, tels que l'accessibilité des capitaux, les environnements réglementaires, et l'impact des perceptions culturelles sur l'innovation. La conversation aborde également des anecdotes personnelles des participants, réfléchissant sur leurs propres expériences et les leçons tirées de leurs parcours entrepreneuriaux. L'échange révèle une interconnexion claire entre les stratégies d'entreprise et les politiques macroéconomiques, soulignant l'influence significative des élections politiques et des grands événements économiques sur la stabilité et la croissance des startups. Cette discussion approfondie met en évidence la nécessité d'un soutien accru aux innovateurs et propose des suggestions pour améliorer l'alignement des objectifs commerciaux avec les initiatives de développement durable. link

« En Inde, le monde des affaires, porté par la croissance du pays, reste largement féodal dans ses pratiques et sa culture »

12 juillet 2024 12:00 Économie : Toute l’actualité sur Le Monde.fr.

En Inde, Mukesh Ambani, leader de la richesse en Asie avec un patrimoine de plus de 100 milliards d'euros, prépare le mariage pharaonique de son fils Anant. Les festivités, estimées à 150 millions de dollars, ont commencé plusieurs mois avant la cérémonie officielle prévue à Bombay, attirant des célébrités comme Rihanna et Justin Bieber, ainsi que d'importantes figures politiques et des chefs d'entreprise mondiale. L'événement n'est pas seulement un symbole de prestige, mais aussi un exemple de la culture et des pratiques féodales persistantes dans le monde des affaires indien, où l'élite économique, proche du premier ministre Narendra Modi, domine. Au-delà des festivités, Ambani a aussi contribué de manière philanthropique en finançant le mariage de 50 couples modestes, montrant ainsi une facette de responsabilité sociale. Anant, destiné à reprendre le flambeau, se concentre sur les énergies renouvelables, poursuivant ainsi la diversification des activités du conglomérat familial, tout en veillant à ses responsabilités environnementales et sociales. link

Amazon Will Brick Its $2,350 Astro Robots Just 10 Months After Release

12 juillet 2024 12:00 Feed: All Latest

Amazon a annoncé que le robot Astro pour les entreprises sera désactivé le 25 septembre 2023, seulement dix mois après son lancement, orientant les efforts vers la perfection de la version domestique d'Astro. Lancé initialement en 2021, le robot destiné aux PME coûtait 2 350 $, proposant une surveillance par itinéraires personnalisés et une intégration avec Alexa. Malgré la cessation, Amazon promet des remboursements complets et incite les propriétaires à recycler leurs appareils. Parallèlement, la version domestique d'Astro, toujours en phase de prévisualisation invite-only à 1 600 $, ne montre pas encore de signes de sortie publique généralisée. L'équipe d'Astro pour les entreprises se redéploiera sur la version domestique. Les développements futurs pourraient inclure l'intégration de l'IA générative pour renforcer les capacités conversationnelles d’Astro. link

OpenAI says there are 5 'levels' for AI to reach human intelligence — it's already almost at level 2

12 juillet 2024 11:19 qz

OpenAI, reconnue comme précurseur dans la course à l'intelligence artificielle générale (AGI), a récemment dévoilé un système de cinq niveaux pour mesurer ses avancées. Selon un porte-parole de la société, OpenAI se trouve au premier niveau, celui de l'IA conversationnelle. La société s'approche du deuxième niveau, surnommé 'Raisonneurs', où l'IA pourra résoudre des problèmes basiques, équivalent à une personne avec un doctorat mais sans accès à des outils. Les niveaux suivants comprennent 'Agents' et 'Innovateurs', où l'IA peut agir ou inventer sur plusieurs jours. Ce système a été élaboré par les dirigeants d'OpenAI qui envisagent d'ajuster les niveaux en fonction des retours d'employés, investisseurs et du conseil d'administration. Par ailleurs, OpenAI a montré une avancée avec GPT-4, démontrant des compétences de raisonnement similaires à l'humain. En mai, l'entreprise a également intégré son équipe 'Superalignment', spécialisée dans les risques existentiels de l'IA, à d'autres projets de recherche. link

OpenAI promised to make its AI safe. Employees say it ‘failed’ its first test.

12 juillet 2024 11:04 washingtonpost

L'été dernier, OpenAI s'est engagé auprès de la Maison-Blanche à effectuer des tests de sécurité rigoureux sur ses nouvelles technologies pour éviter des dommages comme l'enseignement de la fabrication d'armes biologiques ou l'aide aux hackers dans le développement de cyberattaques. Toutefois, au printemps, des membres de l'équipe de sécurité d'OpenAI ont été pressés de hâter ces tests pour respecter une date de lancement fixée. Avant même le début des tests sur le modèle GPT-4 Omni, une fête de lancement était organisée. Cela pose des questions sur l'engagement d'OpenAI envers la sécurité malgré les promesses faites. En outre, la dépendance du gouvernement sur la régulation interne des companies technologiques soulève des inquiétudes concernant la protection du public face aux abus de l'IA générative. Les employés d'OpenAI, déjà mécontents de la façon dont les nouveaux protocoles de préparation sont traités comme une après-pensée, ont exprimé leur frustration. L'épisode expose un changement dans la culture d'OpenAI, passant d'une entité altruiste à une entreprise privilégiant les intérêts commerciaux, et met en lumière les défis et les risques de laisser les entreprises établir leurs propres normes de sécurité. link

OpenAI is plagued by safety concerns

12 juillet 2024 11:00 theverge

OpenAI, reconnu comme un leader dans le développement de l'intelligence artificielle (IA), se retrouve progressivement submergé par des critiques portant sur ses pratiques de sécurité, émanant tant de sources internes que de rapports externes comme celui du Washington Post. L'entreprise, qui a récemment vu la démission de son co-fondateur Ilya Sutskever et du chercheur Jan Leike, est critiquée pour la rapidité de ses tests de sécurité et un manque présumé de transparence. Le département d'État américain a même exprimé des préoccupations quant aux risques que les développements actuels de l'IA peuvent représenter pour la sécurité nationale. Ces défis surviennent après des bouleversements notables au sein de la direction, comme l'éviction temporaire de son PDG Sam Altman l'année précédente. Face à la crise, OpenAI a tenté de rassurer le public avec des partenariats stratégiques tels que celui avec Los Alamos National Laboratory et l'introduction de nouvelles métriques de sécurité interne. Cependant, ce remue-ménage interne et ces annonces défensives soulèvent des doutes quant à la capacité d'OpenAI de gérer la sûreté de technologies potentiellement révolutionnaires et son autonomie dans la régulation de l'intelligence artificielle générale (AGI), une technologie pouvant changer la société. link

AuraFlow v0.1, an Open Exploration of Large Rectified Flow Models

12 juillet 2024 10:54 blog.fal.ai

AuraFlow v0.1 représente un jalon important dans le développement de modèles IA open-source, spécifiquement conçus pour la génération d'images à partir de textes. Ce modèle exploite une architecture optimisée qui inclut des blocs DiT Encoder pour une meilleure efficacité et performance de calcul à grande échelle. AuraFlow a été développé en collaboration avec ComfyUI et HuggingFace, profitant ainsi d'une intégration native avec les outils de ces plateformes dès sa sortie. La capacité technique du modèle à suivre des instructions complexes et générer des images en haute définition est particulièrement prometteuse pour les applications futures. Les défis de l'entraînement distribué sur des données multimodales ont été abordés grâce à l'expertise en matière de stockage distribué et de gestion de clusters GPU. Enfin, ce projet n'est pas seulement un pas en avant technologique mais aussi une tentative de raviver l'intérêt et l'engagement de la communauté autour des innovations open-source, avec des projets futurs visant à rendre le modèle plus accessible et efficace pour les configurations matérielles moins puissantes. link

Les modèles de langues visuelles tombent à court sur des tâches visuelles simples

12 juillet 2024 10:51 github

Les modèles de langage avec capacités de vision (VLMs) comme GPT-4o et Gemini-1.5 Pro sont évalués par des chercheurs de l'Auburn University et de l'University of Alberta pour déterminer leur efficacité dans le traitement de tâches visuelles simples, comparables à celles aisément réalisables par l'homme. Les résultats montrent des lacunes majeures, notamment dans des activités de base telles que l'évaluation de l'intersection entre deux lignes ou le comptage de cercles dans un logo de type olympique. Par ailleux, même si ces modèles affichent des performances élevées sur des diagrammes complexes et des questions sur des chartes (plus de 90% de précision), leur incapacité à identifier la lettre entourée dans un mot et à compter correctement les images de cercles ou de pentagones dans d'autres tâches souligne une sorte de 'vision floue'. Ces études impliquent diverses méthodes de test utilisant des images contrôlées pour évaluer les compétences des VLMs dans divers contextes visuels simplistes, révélant ainsi des failles significatives dans leur capacité de vision qui pourraient entraver leur application effective dans des environnements réels plus complexes. link

Doppelgänger: Do disinformation and cybersecurity operations overlap?

12 juillet 2024 09:58 Next - Flux Complet

Le réseau Doppelgänger a été identifié comme une source majeure de désinformation et d'activités cybercriminelles. Selon un rapport récent de l'ONG Qurium, ce réseau utilise des techniques sophistiquées comprenant la création de domains éphémères pour éviter la détection par les filtres des plateformes sociales, facilitant ainsi la diffusion de contenu propagandiste et de malwares. Les activités de ce réseau ont été reliées à des opérations de publicités malveillantes et de phishing, typiquement associées à des malwares ou au vol d'informations. Qurium a également découvert des liens entre Doppelgänger et le service TNSecurity au Royaume-Uni, en plus de liens avec Global Internet Solutions LLC, connue pour ses connections avec le groupe Gamaredon, suspecté d'avoir des liens avec le renseignement russe. Par ailleurs, l'ONG AI Forensics a analysé la modération des publicités politiques sur les plateformes Meta (Facebook et Instagram), révélant que 60% des publicités politiques ne sont pas identifiées comme telles, résultant en une modération incohérente. En outre, certaines de ces publicités participent à des opérations pro-russes, confondant désinformation et pratiques publicitaires douteuses dans des campagnes ciblant l'Union Européenne et ses élections. Cette convergence de désinformation et cybercriminalité souligne un défi majeur pour la gouvernance numérique et la sécurité informatique, mettant en lumière la nécessité d'une régulation et d'une vigilance accrues. link

Apple Vision Pro démarre en Europe aujourd'hui

12 juillet 2024 09:00 Fast Company

L'Apple Vision Pro, le dernier produit spatial d'Apple décrit comme le casque de réalité mixte le plus avancé, est lancé aujourd'hui en Europe, mais rencontre déjà des difficultés aux États-Unis, où il se vend mal selon les rapports. Depuis son premier lancement en février aux États-Unis, les ventes n'ont pas atteint les prévisions initiales, avec moins de 300 000 unités vendues au total et une chute significative de 75% ce trimestre. Un analyste réputé, Ming-Chi Kuo de TF International Securities, a réduit ses prévisions de livraison pour 2024, soulignant une faible demande. L'appareil, vendu à un prix prohibitif de $3,499 aux États-Unis avec des coûts encore plus élevés à l'international, souffre de la comparaison avec les autres appareils Apple qui offrent des fonctionnalités largement similaires à un coût moindre. Le manque d'applications 'killer', qui justifieraient le coût et l'acquisition du gadget, ainsi que des stratégies de prix moins compétitives au niveau international, semblent être les principales raisons des ventes décevantes. Toutefois, Apple travaille sur une nouvelle version moins coûteuse pour 2025, ce qui pourrait potentiellement inverser la tendance. link

Dépression résistante : la ketamine en comprimé, une piste prometteuse pour traiter les dépressions réfractaires

12 juillet 2024 06:00 Sciences : Toute l’actualité sur Le Monde.fr.

Une étude clinique publiée dans Nature Medicine évalue l'efficacité et la sécurité de la kétamine sous forme de comprimé oral à libération prolongée pour traiter la dépression sévère. Dans cette étude de phase 2, menée en double aveugle, 231 personnes souffrant de dépression ayant échoué dans plusieurs traitements précédents ont été traitées avec 120 mg de kétamine par jour pendant cinq jours, puis évaluées huit jours plus tard. Les répondeurs ont continué avec divers dosages ou un placebo pendant douze semaines. Les résultats montrent une diminution significative des symptômes dépressifs, particulièrement avec la dose de 180 mg. Bien que des effets indésirables aient été signalés, ils étaient généralement faibles et non liés au traitement. Cette nouvelle méthode d'administration pourrait révolutionner le traitement des dépressions résistantes, offrant une alternative moins contraignante comparée aux méthodes intraveineuses et intranasales actuelles. Ce développement est particulièrement bien accueilli par les professionnels de santé pour son potentiel à améliorer l'accessibilité et la qualité de vie des patients. link

Giorgia Meloni à l'offensive sur l'audiovisuel public italien

12 juillet 2024 05:15 Le Monde.fr - Actualités et Infos en France et dans le monde

Fondée en 1954, la RAI a toujours été un reflet des équilibres politiques en Italie, chaque majorité voulant marquer de son empreinte ce média public. Avec l'arrivée au pouvoir en 2022 de Giorgia Meloni, leader d'extrême droite, la RAI entre dans une phase de transformation majeure : émissions emblématiques supprimées, nominations idéologiquement marquées et une réorientation des contenus vers des thèmes plus conservateurs. Cette configuration a poussé certains visages historiques de la RAI à partir, et a introduit des figures plus alignées sur la vision du nouveau gouvernement. Les opposants accusent Meloni de censure et de limitation de la liberté de presse, tandis que ses partisans parlent de diversité et de correction d'une prétendue asymétrie gauche-droite dans les médias. Ces changements s'accompagnent d'un discours sur la nécessité d'un nouveau récit national, reflétant les préoccupations du parti au pouvoir visant à renforcer l'identité nationale et les valeurs traditionnelles. Toutefois, cette prise de contrôle soulève des inquiétudes tant à l'intérieur qu'à l'extérieur de l'Italie, notamment en ce qui concerne les réformes institutionnelles du système politique italien, qui pourraient limiter le contrôle démocratique. La manière dont la RAI est remodelée est vue par de nombreux commentateurs et acteurs politiques comme un signe de l'autoritarisme croissant de l'administration Meloni, même si la présidente du conseil et ses alliés défendent leurs actions comme nécessaires à la revitalisation de la culture italienne. link

SoftBank acquiert le fabricant britannique de puces AI Graphcore pour 2 milliards de dollars

12 juillet 2024 01:00 TechCrunch

SoftBank, un géant multinational japonais, a complété l'acquisition de Graphcore, une entreprise britannique spécialisée dans les processeurs AI. Cette acquisition intervient après un long processus de négociations et d'approbations réglementaires, soulignant ainsi la croissance potentielle de Graphcore dans le domaine des puces AI, bien que les détails financiers de l'accord aient été gardés secrets. Fondée en 2016 et brevetant les 'intelligence processing units' (IPU), Graphcore a été considérée comme une alternative aux GPUs de Nvidia, convenant mieux aux exigences de traitement parallèle large échelle de l'IA. Bien que la société ait fais face à des défis majeurs, tels qu'une concurrence accrue et des marchés de capitaux post-pandémie difficiles, l'équipe de direction de Graphcore, notamment le PDG Nigel Toon et le CTO Simon Knowles, reste en place, renforçant le noyau technologique sous l'égide de SoftBank. Cette acquisition, selon Toon, offre une stabilité et une opportunité de croissance pour l'entreprise, évitant des licenciements tout en prévoyant d'augmenter le nombre d'employés au Royaume-Uni. Cet accord marquerait un pas vers l'avancement de SoftBank dans le secteur crucial de l'IA, incorporant Graphcore dans son ambitieux projet de développement AI, avec des implications potentielles significatives pour le futur de la technologie AI industrielle. link

OpenAI Is Testing Its Powers of Persuasion

11 juillet 2024 18:00 Feed: All Latest

Cette semaine, dans un article de Time, Sam Altman, CEO d'OpenAI, et Arianna Huffington débattent de l'impact potentiel des intelligences artificielles sur la santé publique avec le lancement de Thrive AI. Ce programme, en partie financé par le fonds de démarrage d'OpenAI, vise à créer un entraîneur personnel IA adapté aux comportements individuels pour encourager des habitudes de vie plus saines, marquant un pas positif pour l'utilisation de l'IA en matière de santé. Cependant, l'article soulève également les préoccupations quant au potentiel de l'IA à manipuler les comportements, étayant ses arguments par des recherches récentes qui suggèrent une amélioration de la capacité de persuasion des modèles de langage. OpenAI examine activement les risques liés à cette capacité accru de persuasion, notamment à mesure que l'IA accède à plus de données personnelles. Aleksander Madry, dirigeant l'équipe Preparedness chez OpenAI, met l'accent sur l'urgence de réglementer strictement l'utilisation des données personnelles pour limiter les abus potentiels, tandraft que l'utilisation inappropriée de l'IA dans les arnaques et la diffusion de fausses informations. Enfin, l'article de Time appelle les décideurs politiques à créer un environnement régulé qui équilibre innovation en IA et respect de la vie privée. link

Lynx : Modèle de détection d'hallucinations open source à l'avant-garde

11 juillet 2024 14:45 patronus

Nous sommes ravis de présenter Lynx, un modèle de détection d'hallucinations linguistiques de pointe qui se distingue par sa capacité à surpasser GPT-4o et Claude-3-Sonnet dans une variété de scénarios. Lynx utilise les techniques de génération augmentée par recherche pour identifier les erreurs de contenu généré par des modèles de langage. Par exemple, contrairement à GPT-4o et Claude-3-Sonnet, Lynx a correctement identifié 'genus' comme la réponse correcte dans un test impliquant des termes biologiques. Lynx a été fiabilisé et testé sur HaluBench, un benchmark complet incluant 15 000 échantillons de domaines réels. Les résultats montrent que Lynx détecte les inexactitudes médicales avec 8,3 % plus de précision que GPT-4o et surpasse GPT-3.5 de 24,5 % sur l'ensemble d'HaluBench. Le modèle, basé sur Llama-3 finement ajusté, utilise des approches novatrices d'entraînement telles que le raisonnement en chaîne de pensée pour améliorer les performances. Pour utiliser Lynx, les utilisateurs peuvent télécharger le modèle depuis le site de Hugging Face et l'intégrer localement via Ollama ou l'utiliser avec des systèmes établis comme NVIDIA NeMo-Guardrails. Enfin, les données de HaluBench sont accessibles pour consultation publique via l'atlas Nomic, permettant des analyses plus poussées des résultats et de l'efficacité de Lynx. link

Pour la mesure de la satisfaction client, Groupama dégaine l'IA et l'IA générative!

11 juillet 2024 13:03 Mind

L'article aborde l'intégration de l'intelligence artificielle par Groupama Loire Bretagne pour rehausser la qualité de la satisfaction client dans les centres d'appels. Trois modèles d'IA ont été mis en œuvre, ayant des rôles précis comme la détection de l'insatisfaction, la résumé des communications et l'identification des motifs d'insatisfaction. Ces technologies permettent une amélioration continue de la relation client au travers de l'analyse des données issues des conversations téléphoniques transcrites. Les gestionnaires de Groupama peuvent ainsi mieux répondre aux besoins des clients en exploitant les données récoltées pour un suivi plus personnalisé et réactif. Cela inclut également la formation des équipes basée sur des scénarios réels d'appels. Cette digitalisation avancée des processus internes montre aussi un souci d'économie en misant sur des technologies open source, permettant de limiter les coûts tout en conservant une haute performance des systèmes IA utilisés. En parallèle, le projet doit naviguer des défis comme la gestion de la conformité RGPD et le contrôle des biais inhérents à l'IA générative. link

Europol a un problème avec les cartes SIM étrangères et le « home routing »

11 juillet 2024 11:23 Next - Flux Complet

Europol affronte des problèmes liés à l'utilisation des cartes SIM étrangères et au concept de « home routing », une technique d'itinérance qui permet au fournisseur de service de maintenir le traitement des télécommunications de son client voyageant à l'étranger via son réseau national, plutôt que le réseau du pays visité. Cette pratique est problématique pour les autorités puisqu'elle utilise des technologies de chiffrement empêchant l'interception des données par des méthodes légales. De par la complexité ajoutée par la 5G et son architecture fragmentée, ainsi que les exigences en matière de sécurité, les autorités perdent progressivement l'accès à des données cruciales, ce qui peut rendre les criminels difficiles à surveiller, principalement dans un contexte de mobilité transfrontalière. Europol a identifié le chiffrement intégral et le home routing comme principaux obstacles empêchant l'interception des communications criminelles. Pour remédier à cette situation, l'agence européenne de police a suggéré deux solutions principales. La première est de désactiver le chiffrement lors de l'utilisation du home routing pour les suspects connus, ce qui serait techniquement faisable. La seconde solution envisage la création d'un mécanisme transfrontalier rapide pour traiter les demandes d'interception au sein de l'Union européenne. De telles propositions visent à surmonter les limitations dues à la juridiction et la coopération internationale et nécessitent des ajustements législatifs et des accords entre les États membres pour être effectives. Parallèlement, Europol souligne les défis futurs tels que la cryptomonnaie et les technologies quantiques qui pourraient compliquer davantage la surveillance sécuritaire. Ces aspects montrent un besoin impératif de modernisation des outils légaux et coopératifs pour s'adapter à la technologie évolutique. link

Microsoft et Apple renoncent à leurs sièges au conseil d'OpenAI

10 juillet 2024 14:00 Engadget is a web magazine with obsessive daily coverage of everything new in gadgets and consumer electronics

Microsoft et Apple ont récemment abandonné leurs postes au conseil d'administration d'OpenAI suite à la révélation par la Commission européenne d'un nouvel examen des conditions de leur partenariat. Microsoft a renoncé à son siège immédiatement après des années de collaboration intensifiée, laquelle a commencé avec un investissement de un milliard de dollars en 2019, montant à 13 milliards au fil des années. L'annonce de cette décision intervient peu après que la Commission européenne a demandé à Microsoft de fournir des informations supplémentaires sur leur accord, particulièrement sur certains aspects exclusifs qui pourraient nuire à la concurrence. Apple, de son part, qui envisageait d'intégrer ChatGPT dans ses appareils, renonce aussi à une position d'observateur pourtant prévue. Au lieu de participations formelles au conseil, OpenAI prévoit de tenir des réunions régulières avec ses partenaires principaux, y compris Microsoft et Apple. L'enquête de la Commission européenne fait partie d'une investigation antitrust plus large touchant également d'autres géants de la technologie comme Google, Meta et TikTok, examinant les acquisitions et partenariats dans le domaine de l'intelligence artificielle pour éviter toute concentration qui nuirait à la compétition et limiterait le choix des consommateurs. Ces développements soulignent l'importante influence réglementaire de l'UE sur les partenariats entre grandes entreprises de technologie et organisations de développement AI. link

Dans les secrets de fabrication de l'IA générative

10 juillet 2024 13:01 Le Monde

L'article de Le Monde explore en détail les étapes de développement de FineWeb, un nouveau corpus pour l'entraînement des IA génératives conçu par la start-up Hugging Face, présenté initialement lors de la conférence NeurIPS. Ce corpus se distingue par sa colossale taille de 40 téraoctets et 15 000 milliards de tokens, résultat de 80 000 heures de calcul. FineWeb a été créé à partir de Common Crawl, nécessitant un important travail de filtrage de contenu web, suppression de doublons et ajustements statistiques pour excludre du contenu non pertinent. Les développeurs ont également adopté des méthodes innovantes pour évaluer et affiner la qualité du corpus, menant à une amélioration performantielle d'environ 1% par rapport à d'autres corpus connus, et même de près de 4% avec FineWeb-Edu, une version filtrée contenant uniquement des documents à teneur éducative. Cette avancée représente non seulement un progrès technique considérable pour Hugging Face, mais également une démarche vers la démocratisation et l'amélioration de l'accessibilité aux données d'entraînement de haute qualité pour la communauté IA. link