Votre app peut désormais chercher texte, images et audio ensemble — gratuitement

Si vous avez toujours voulu que votre application puisse chercher à la fois dans des documents, des photos et des enregistrements vocaux, Google vous offre aujourd'hui un outil gratuit pour le faire. Google DeepMind a lancé EmbeddingGemma 2 le 6 octobre — un petit modèle d'IA ouvert qui comprend texte, images, vidéo et audio ensemble comme un seul système.

Voici comment ça fonctionne : le modèle lit n'importe quel contenu — une phrase, une photo, un extrait audio — et le transforme en une liste de nombres qui capture son sens. Deux choses au sens similaire obtiennent des nombres proches. Quand un utilisateur cherche 'chien qui aboie dehors', le modèle peut relier cette recherche à une photo pertinente, un clip audio et une description textuelle — le tout en une seule étape de recherche, sans trois systèmes distincts.

Le côté pratique est tout aussi bon. Le modèle complet tient dans environ 567 Mo de RAM — assez petit pour un téléphone moderne. Il est publié sous licence Apache 2.0, ce qui signifie qu'il est totalement gratuit pour les produits commerciaux. Il prend en charge plus de 100 langues et est déjà disponible sur Hugging Face et Kaggle.

L'ancienne façon de construire une recherche multimodale nécessitait des modèles d'IA séparés pour chaque type de média, des index séparés et du code sur mesure pour combiner les résultats. Cela représentait des coûts, de la complexité et des factures d'API. Maintenant, un petit modèle ouvert fait tout le travail. Pour toute équipe qui construit de la recherche, des recommandations ou du matching de contenu, le plus grand obstacle vient de disparaître — et il n'y a aucune raison d'attendre.