Mistral AI lanceert een nieuwe API voor contentmoderatie. Daarmee kunnen gebruikers ongewenste inhoud in teksten detecteren volgens relevante beleidsregels.
Franse AI-specialst Mistral AI introduceert de Moderation API. Deze tool maakt het mogelijk voor gebruikers om tekstinhoud te evalueren en ongewenste elementen te identificeren op basis van verschillende beleidscriteria. De API, die al wordt ingezet in chatbot Le Chat, is ontworpen om klanten de flexibiliteit te geven om de tool naar hun eigen veiligheidsnormen aan te passen.
De Moderation API is een taalmodel dat getraind is om tekstinhoud te classificeren binnen negen specifieke categorieën van ongewenste inhoud. Die variëren van beledigend taalgebruik tot de verspreiding van persoonlijk identificeerbare informatie.
De API biedt twee eindpunten: één voor analyse van ruwe tekst en één voor conversatie-inhoud. Door deze aanpak kan het model de context van gesprekken beter beoordelen en alleen de laatste boodschap in de dialoog analyseren, wat meer gericht maatwerk mogelijk maakt.
Meertalig
De API is meertalig en ondersteunt expliciet Engels, Spaans, Duits, Chinees, Russisch, Arabisch, Frans, Italiaans, Japans, Koreaans en Portugees. Andere talen zoals Nederlands werken in principe ook, maar daarop werd het systeem niet specifiek getraind.
lees ook
Mistral AI lanceert multimodaal model, Pixtral 12B
Met deze nieuwe API wil Mistral AI bijdragen aan veiligere AI-systemen en samenwerking met de bredere onderzoeksgemeenschap. Het bedrijf streeft ernaar om met klanten samen te werken aan schaalbare, lichtgewicht oplossingen voor contentbeheer, terwijl het zich inzet voor verbeterde veiligheid in AI-gebruik. Als maker van AI-modellen is het voor Mistral belangrijk om misbruik proactief aan te pakken, zodat generatieve AI in een positief daglicht blijft bestaan. Eerder lanceerde Mistral een API voor ontwikkelaars om AI-modellen te verfijnen en te testen.