Gemini 1.5 Pro ou Claude 3 : laquelle choisir ?

Brève présentation

Une petite présentation s’impose pour bien se familiariser avec les spécificités de chaque modèle et ainsi en avoir une vue d’ensemble.

Gemini 1.5 Pro

• Fournisseur : Google
• Fenêtre de contexte d'entrée : jusqu’à 1 million de tokens
• Nombre maximum de tokens de sortie : 8 192 tokens
• Date de lancement : 15 février 2024

Gemini 1.5 Pro, développé par Google, est un modèle de traitement du langage naturel très puissant. Sa fenêtre de contexte d'entrée allant jusqu'à 1 million de tokens permet de gérer des textes extrêmement longs, rendant ce modèle particulièrement utile pour des applications nécessitant une compréhension et une génération de texte de grande envergure.

Avec une capacité maximale de sortie de 8 192 tokens, Gemini 1.5 Pro peut générer des réponses détaillées et complexes, ce qui en fait un choix idéal pour des tâches telles que : 

• la rédaction de rapports détaillés, 
• l'analyse de documents volumineux, 
• et bien plus encore. 

Lancé le 15 février 2024, ce modèle a rapidement gagné en popularité grâce à ses performances robustes et sa capacité à gérer des tâches complexes avec précision.

Claude 3

• Fournisseur : Anthropic
• Fenêtre de contexte d'entrée : 200 000 tokens
• Nombre maximum de tokens de sortie : Variable (Sonnet, Haiku, Opus)
• Date de lancement : 4 mars 2024

Claude 3, développé par Anthropic, est une autre option puissante dans le domaine de l'intelligence artificielle. Ce modèle offre plusieurs variantes (Sonnet, Haiku, Opus), chacune ayant des capacités spécifiques. Avec une fenêtre de contexte d'entrée de 200 000 tokens, Claude 3 est également capable de gérer des textes longs, bien que cette capacité soit moindre comparée à celle de Gemini 1.5 Pro. Les différentes versions de Claude 3 permettent une flexibilité dans le choix du modèle en fonction des besoins spécifiques. Par exemple, Claude 3 Opus est idéal pour des tâches nécessitant une grande précision et cohérence dans la génération de texte, tandis que Claude 3 Haiku peut être plus adapté pour des tâches plus légères et rapides. Lancé le 4 mars 2024, Claude 3 s'est distingué par sa flexibilité et ses capacités adaptatives.

Duel entre Gemini Pro 1.5 et Claude 3

Pour comprendre les différences entre ces deux modèles, nous allons les mettre à l'épreuve sur divers scénarios et tests.

Test 1 : recette

Pour cette comparaison, nous utiliserons Claude Opus 3 comme représentant de la famille Claude 3.

Prompt : “Donnez-moi une recette de crème caffé latte”

• Gemini 1.5 Pro : Gemini 1.5 Pro adopte une présentation structurée à l'aide de listes à puces pour les ingrédients et les étapes. Ce modèle propose des instructions détaillées et des conseils, rendant la recette facile à suivre. Par exemple, pour faire mousser le lait, Gemini 1.5 Pro donne des options détaillées, que ce soit manuellement ou à l'aide d'un mousseur électrique. Il inclut également des quantités spécifiques pour deux personnes et diverses options pour la préparation du café.

• Claude 3 Opus : En revanche, Claude 3 Opus adopte un format de texte plus simple, où les ingrédients et les étapes figurent dans des paragraphes. Les instructions sont plus concises, ce qui peut convenir à ceux qui recherchent une approche plus rapide et directe. Claude 3 Opus s'adresse à une seule portion sans fournir de quantités spécifiques et ne mentionne pas les différentes options pour la préparation du café. Il suggère simplement de chauffer le lait jusqu'à ce qu'il soit "chaud et légèrement frémissant", sans donner de température précise.

Comparaison :

• Format : Gemini 1.5 Pro privilégie une présentation structurée, tandis que Claude 3 Opus adopte une approche plus textuelle.
• Contenu : Gemini 1.5 Pro offre des quantités spécifiques et des options variées, alors que Claude 3 Opus est plus concis et direct.
• Style : Gemini 1.5 Pro a un ton convivial et informatif, avec des explications détaillées, alors que Claude 3 Opus utilise un ton concis et direct.

Capacité de raisonnement

Nous utiliserons Claude 3 Haiku pour les tests de raisonnement et alternerons entre les différents membres de la famille de Claude 3.

Raisonnement verbal :

Test : "Combien de mots contient cette question ?"

Réponses :

• Gemini 1.5 Pro : "Cette question contient six mots."
• Claude 3 Haiku : "La question contient six mots."

Les réponses des deux IA sont claires et concises, répondant exactement à la question posée sans ajout de détails inutiles. La question posée demande une analyse syntaxique et verbale de base pour compter le nombre de mots, et les deux modèles ont correctement identifié que la question contient six mots. Cela indique que ces modèles sont bien entraînés pour traiter des requêtes de ce type, où la tâche est clairement définie et ne nécessite pas d'interprétation complexe.

Raisonnement numérique :

Test : "Une boîte est verrouillée avec un code numérique à trois chiffres. Tous les chiffres sont différents, la somme est 9, et le chiffre du milieu est le plus élevé. Quel est le code ?"

Réponses :

• Gemini 1.5 Pro : "Le code est 630."
• Claude 3 Haiku : "Le code est 720."

Les différences entre les réponses de Gemini 1.5 Pro et Claude 3 Haiku résident principalement dans leur approche. Gemini 1.5 Pro opte pour une méthode algorithmique, commençant par énumérer toutes les combinaisons possibles de chiffres dont la somme est égale à 9. Ensuite, il réduit ces options en utilisant la contrainte que le chiffre du milieu est le plus élevé. En revanche, Claude 3 Haiku adopte une approche plus conceptuelle, basée sur un raisonnement logique pour identifier les chiffres possibles en tenant compte des contraintes données.

Cependant, les réponses et conclusions de chaque modèle ne sont ni complètes ni exhaustives. En réalité, il existe une multitude de combinaisons possibles pour cette énigme. Par exemple, il y a 14 combinaisons de codes possibles : [(0,5,4), (0,6,3), (0,7,2), (0,8,1), (1,5,3), (1,6,2), (1,8,0), (2,4,3), (2,7,0), (2,7,0), (3,4,2), (3,5,1), (3,6,0), (4,5,0)].

Toutes ces combinaisons répondent aux contraintes de l’énigme : le chiffre du milieu est le plus grand des trois ; la somme des trois chiffres est égale à 9.

En reformulant la question en : "Combien y a-t-il de codes possibles ?", voici ce que chacun a répondu :

Réponses :

• Gemini 1.5 Pro : "Il y a 10 combinaisons possibles."
• Claude 3 Haiku : "Il y a 8 combinaisons possibles."

Malheureusement, les deux modèles linguistiques n'ont pas réussi à fournir une solution complète à l'énigme du code numérique.

Analyse d’image

Passons maintenant au test sur les images. Nous allons soumettre aux deux IA une photographie identique et observer leurs interprétations.

Test : Représentation de l'équation de Fourier

• Gemini 1.5 Pro : Gemini 1.5 Pro identifie correctement que l'image montre la formule de la transformée de Fourier en notation LaTeX, mais ne va pas au-delà dans l'explication.
• Claude 3 Opus : Claude 3 Opus commence par une explication détaillée et bien contextualisée. Le modèle identifie que l'image montre la formule de la transformée de Fourier en notation LaTeX. Ensuite, Claude 3 décrit la formule, expliquant qu'elle permet de passer du domaine temporel au domaine fréquentiel, ce qui est crucial en analyse de signaux et en traitement de données. Claude 3 fournit également un exemple d'application de la transformée de Fourier dans le filtrage de signaux.

Comparaison :

• Gemini 1.5 Pro : Réponse correcte mais manque de détails contextuels et d'exemples.
• Claude 3 Opus : Explication contextuelle et détaillée, avec des exemples pratiques.

Suivi des instructions

Pour tester le suivi des instructions, nous avons donné aux IA la même consigne claire et simple.

Test : “Écrivez une phrase avec le mot ‘étoile”

Réponses :

• Gemini 1.5 Pro : "La nuit était claire et l'étoile scintillait, seule et brillante, dans l'immensité du ciel nocturne."
• Claude 3 Haiku : "La nuit, les étoiles brillent dans le ciel sombre et scintillant."

Les deux modèles ont suivi les instructions à la lettre, en utilisant le mot "étoile" dans une phrase complète. Cependant, la phrase de Gemini 1.5 Pro est un peu plus descriptive et met en place un contexte plus large, tandis que Claude 3 Haiku est plus concise et directe.

Génération de contenu créatif

Pour évaluer la capacité des modèles à générer du contenu créatif, nous les avons soumis à des tests spécifiques.

Premier test : Générez des blagues se terminant par "rouge"

Réponses :

• Gemini 1.5 Pro : "Je voulais raconter une blague sur les murs invisibles... Mais c'est pas clair, c'est rouge."
• Claude 3 Opus : "Pourquoi le feu de signalisation a-t-il rougi ? Parce qu'il a vu passer une jolie voiture rouge."

Les blagues de Claude 3 Opus se distinguent par leur diversité et leur accessibilité. Elles couvrent une large gamme de sujets, incluant des objets, des animaux et des personnages, avec des jeux de mots simples et des associations d'idées classiques. L'humour y est léger et convient à un public large.

En revanche, les blagues de Gemini Pro 1.5 sont plus concises et audacieuses, jouant souvent sur des associations d'idées plus surprenantes et parfois absurdes. Bien qu'il y ait moins de blagues, elles sont percutantes et peuvent plaire à ceux qui aiment l'humour décalé et inattendu.

En résumé, Claude 3 Opus offre une variété thématique et un humour accessible, tandis que Gemini Pro 1.5 se distingue par une originalité et un style plus percutant.

Second test :Générez un scénario triste en 100 mots

• Gemini 1.5 Pro : "La vieille boîte à musique jouait sa mélodie mélancolique, un dernier vestige d'un bonheur passé. Assis près de la fenêtre, un homme âgé la tenait délicatement, une larme coulant sur son visage ridé. Chaque note ravivait le souvenir de sa bien-aimée, partie depuis si longtemps. Le soleil couchant illuminait la pièce d'une lueur rougeoyante, comme pour souligner la fin d'une époque. La musique cessa, laissant un silence lourd et un cœur brisé. Il ne restait plus que le souvenir et la douleur lancinante de l'absence."
• Claude 3 Sonnet : "La pluie battante résonnait contre les vitres de l'hôpital. Sarah serra la main froide de son mari, Jack, allongé sur le lit d'hôpital. Ses yeux étaient clos, son visage pâle. Les bips réguliers des machines emplissaient la pièce d'un bruit sinistre. Après une longue bataille contre le cancer, le médecin avait annoncé qu'il ne restait plus d'options. Sarah étouffa un sanglot, refusant d'accepter que ces derniers instants avec l'amour de sa vie soient comptés. "Je t'aime", murmura-t-elle, les larmes coulant sur ses joues."

• Thèmes: Gemini Pro 1.5 aborde la perte et la nostalgie d'un passé révolu, tandis que Claude 3 Sonnet traite de la douleur immédiate et inéluctable de la perte d'un être cher.
• Émotions: Les deux scénarios sont profondément émouvants, mais celui de Gemini Pro 1.5 est plus introspectif et mélancolique, tandis que celui de Claude 3 Sonnet est plus dramatique et intense.
• Style: Gemini Pro 1.5 utilise une approche poétique et évocatrice pour créer une ambiance nostalgique, alors que Claude 3 Sonnet adopte un style réaliste et descriptif pour transmettre une scène de vie poignante et déchirante.

En résumé, Gemini Pro 1.5 se concentre sur une tristesse contemplative et nostalgique, alors que Claude 3 Sonnet offre une expérience émotionnelle plus directe et déchirante, centrée sur les derniers moments de la vie d'un être cher.

Comparaisons techniques

En ce qui concerne les performances techniques, examinons quelques scores de benchmark importants pour chaque modèle.

Gemini 1.5 Pro

• MMLU : Score de 81,9 en 5-shot.
• MMMU : Score de 58,5 en 0-shot.
• HellaSwag : Non disponible.

Claude 3 Haiku

• MMLU : Score de 76,7 en 5-shot (CoT).
• MMMU : Score de 50,2 en 0-shot.
• HellaSwag : Score de 85,9 en 10-shot.

Claude 3 Sonnet

• MMLU : Score de 81,5 en 5-shot (CoT).
• MMMU : Score de 53,1 en 0-shot.
• HellaSwag : Score de 89,0 en 10-shot.

Claude 3 Opus

• MMLU : Score de 88,2 en 5-shot.
• MMMU : Score de 59,4 en 0-shot.
• HellaSwag : Score de 95,4 en 10-shot.

Comparaison :

• Claude 3 en général : Performances supérieures en compréhension multimodale et raisonnement, en particulier avec Claude 3 Opus.
• Gemini 1.5 Pro : Performance équilibrée, robuste dans les tâches sans exemples préalables.
• Claude 3 Opus : Modèle le plus performant et polyvalent dans la famille Claude 3.

Applications pratiques

Les performances des modèles sur des benchmarks et des tests spécifiques offrent une indication de leurs capacités, mais il est également crucial de comprendre comment ces modèles se comportent dans des applications pratiques.

Service à la clientèle

Pour les applications de service à la clientèle, la capacité de l'IA à comprendre et à répondre aux requêtes des clients de manière efficace et humaine est primordiale.

• Gemini 1.5 Pro : Gemini 1.5 Pro est capable de gérer des conversations complexes et prolongées grâce à sa grande fenêtre de contexte d'entrée. Il peut se souvenir des interactions précédentes, offrir des solutions détaillées et proposer des recommandations pertinentes en se basant sur une large base de données.
• Claude 3 Opus : Claude 3 Opus, avec sa capacité à fournir des réponses précises et contextualisées, est également bien adapté pour les services à la clientèle. Sa flexibilité permet d'adapter les réponses en fonction des besoins spécifiques des clients, et son score élevé en compréhension multimodale assure une interaction fluide et compréhensible.

Création de contenu

Pour les tâches de création de contenu, telles que la rédaction d'articles, de blogs, ou de scripts, la capacité de l'IA à générer du texte cohérent, informatif et engageant est essentielle.

• Gemini 1.5 Pro : Avec sa capacité à générer des réponses longues et détaillées, Gemini 1.5 Pro excelle dans la création de contenu. Il peut développer des idées complexes, structurer des articles de manière logique et offrir des informations précises et complètes.
• Claude 3 Opus : Claude 3 Opus est également très performant dans la création de contenu. Sa capacité à générer des textes cohérents et engageants, combinée à son aptitude à suivre des instructions spécifiques, en fait un excellent choix pour les tâches de rédaction créative et technique.

Analyse de données

Pour les tâches d'analyse de données, la capacité de l'IA à comprendre et interpréter des ensembles de données complexes est cruciale.

• Gemini 1.5 Pro : Grâce à sa capacité à traiter de grandes quantités d'informations, Gemini 1.5 Pro peut analyser des ensembles de données volumineux et fournir des insights détaillés. Il peut identifier des tendances, faire des prédictions et proposer des solutions basées sur des données concrètes.
• Claude 3 Opus : Claude 3 Opus, avec ses scores élevés en compréhension multimodale, est également bien adapté pour l'analyse de données. Il peut interpréter des graphiques, des tableaux et d'autres formes de données visuelles, et fournir des analyses précises et contextuelles.

Verdict : laquelle de ces 2 IA choisir alors ?

Les tests montrent les forces respectives de chaque modèle. Le choix dépend de vos besoins spécifiques :

Gemini 1.5 Pro : Idéal pour des tâches bien structurées et des instructions détaillées, en particulier celles nécessitant une compréhension et une génération de texte à grande échelle.

Claude 3 : Excellent pour des tâches complexes nécessitant une compréhension contextuelle approfondie, avec une flexibilité supplémentaire grâce à ses différentes variantes (Sonnet, Haiku, Opus).

Les performances des IA varient selon les tâches. Gemini 1.5 Pro et Claude 3 ont chacun leurs points forts. La décision finale repose sur l’adéquation de leurs capacités avec vos besoins spécifiques. Pour mieux comprendre leur potentiel, il est conseillé de tester ces modèles sur Swiftask, une plateforme regroupant ces IA, afin d'explorer leurs performances dans divers contextes et applications pratiques.

En explorant les capacités de Gemini Pro 1.5 et Claude 3, vous pouvez mieux comprendre comment ces IA peuvent répondre à vos exigences uniques. Le choix optimal repose sur l'analyse de leurs performances et de vos besoins spécifiques. En fin de compte, la meilleure IA pour vous sera celle qui s'intègre le mieux dans votre flux de travail et répond à vos attentes en matière de performance et de flexibilité.