Google gebruikt het AI-model van concurrent Anthropic om de prestaties van zijn eigen AI-model Gemini te evalueren.
Volgens interne correspondentie die TechCrunch kon inkijken, zouden werknemers van Google’s Gemini AI de antwoorden van het model vergelijken met die van Claude, een AI-model van concurrent Anthropic.
Veiligheid voorop
De werknemers beoordelen beide modellen op criteria zoals waarheidsgetrouwheid en veiligheid. Ze krijgen maximaal 30 minuten om te beslissen of het antwoord van Gemini of Claude het best scoort. Claude doet het volgens de interne chat van Google beter op vlak van beveiliging. Gemini genereert in bepaalde gevallen expliciete inhoud, maar markeert die antwoorden als “grote veiligheidsinbreuken”. Claude reageert in diezelfde gevallen gewoonweg niet op de prompt.
Anthropic verbiedt klanten in zijn algemene voorwaarden om het model te gebruiken om concurrerende producten te ontwikkelen zonder toestemming. Het blijft onduidelijk of Google die toestemming kreeg. Een woordvoerder van Google Deepmind ontkent dat Claude wordt gebruikt om Gemini te trainen.
Het zou niet zo gek zijn als Gemini vergeleken wordt met Claude. Enkele maanden geleden presteerde Claude 3.5 Sonnet beter in test dan GPT-4 en Google Gemini Ultra op verschillende gebieden, waaronder algemene kennis, redeneren en coderen. Die benchmarks zijn niet 100% correct, maar ze tonen wel aan dat de meeste modellen snel op gelijke hoogte komen.