Open-Source: Le nouveau challenger dans la course à l'armement de l'IA

Un document divulgué par Google ayant fait l'objet d'une fuite révèle la montée en puissance des modèles open-source et la manière dont ils s'approchent à vitesse grand V des grandes entreprises dans le secteur de l'IA.

La puissance des modèles open-source

Un document divulgué par un chercheur de Google révèle que les modèles à code source ouvert s'approchent rapidement des grandes entreprises dans le secteur de l'intelligence artificielle. Alors que les grandes entreprises telles que Google et OpenAI se font concurrence, les modèles à code source ouvert compétionne maintenant avec eux pour une fraction du coût.

Les progrès des modèles open-source

Le document révèle que les modèles open source résolvent des problèmes auxquels les grandes entreprises sont encore confrontées. Ces progrès sont les suivants

• LLM sur un téléphone : Des personnes exécutent des modèles de fondation sur un Pixel 6 à 5 tokens/sec.

• IA personnelle évolutive : vous pouvez peaufiner une IA personnalisée sur votre ordinateur portable en une soirée.

• Libération responsable : Il existe des sites web entiers remplis de modèles artistiques sans aucune restriction, et le texte n'est pas loin derrière.

• Multimodalité : L'actuel ScienceQA SOTA multimodal a été formé en une heure.

Les modèles à source ouverte sont plus rapides, plus personnalisables et plus performants à l'échelle de la masse

Le document souligne que les modèles à source ouverte sont plus rapides, plus personnalisables, plus privés et plus performants.

"They are doing things with $100 and 13B params that we struggle with at $10M and 540B"

Et les Open Sources y parviennent en quelques semaines, pas en quelques mois.

Les implications pour les grandes entreprises

Pas de sauce secrète : Les grandes entreprises doivent s'inspirer de ce que font les autres en dehors de l'entreprise et collaborer avec eux. Elles doivent donner la priorité à l'intégration de tiers. Les gens ne paieront pas pour un modèle restreint lorsque des alternatives gratuites et non restreintes sont de qualité comparable. Les grandes entreprises doivent s'interroger sur la valeur ajoutée qu'elles apportent.

Modèles géants : Les LLMs ralentissent les grandes entreprises. À long terme, les meilleurs modèles sont ceux qui peuvent être modifiés rapidement. Les grandes entreprises devraient faire des petites variantes plus qu'une réflexion après coup, maintenant qu'elles savent ce qu'il est possible de faire dans le régime des paramètres <20B.

La montée en puissance des modèles à source ouverte

Au début du mois de mars, la communauté open-source a reçu son premier modèle de fondation capable, le LLaMA de Meta ayant été divulgué au public. Il ne comportait ni instruction, ni accord de conversation, ni RLHF. Néanmoins, la communauté a immédiatement compris l'importance de ce qu'elle venait de recevoir.

La puissance de l'adaptation à faible rang (LoRA)

LoRA est une technique qui permet de représenter les mises à jour de modèles sous forme de factorisations de faible rang, ce qui réduit la taille des matrices de mise à jour d'un facteur pouvant aller jusqu'à plusieurs milliers. Cela permet d'affiner le modèle à une fraction du coût et du temps. La possibilité de personnaliser un modèle de langage en quelques heures sur du matériel grand public est très importante, en particulier pour les aspirations qui impliquent l'incorporation d'une IA personnalisée.

Conclusion

En conclusion, l'essor des modèles libres dans le secteur de l'IA perturbe la dynamique du pouvoir et modifie la manière dont les grandes entreprises abordent le développement de l'IA. Alors que les grandes entreprises comme Google et OpenAI sont toujours à la pointe du développement de l'IA, l'essor des modèles libres remet en cause leur domination et les oblige à repenser leur approche.