Op het ontwikkelaarsevent DevDay 2024 lanceert OpenAI de nieuwe Realtime API. Deze ondersteunt natuurlijke spraakgesprekken in zes verschillende stemmen.
Tijdens het ontwikkelaarsevent van OpenAI in San Fransisco, onthulde het AI-bedrijf vier belangrijke API-updates voor ontwikkelaars. Een van de belangrijkste is de Realtime API. Deze API ondersteunt natuurlijke spraak-naar-spraakgesprekken op basis van zes verschillende stemmen. Het is beschikbaar in openbare bèta voor ontwikkelaars.
Realtime API
OpenAI onthult op zijn ontwikkelaarsevent DevDay 2024 vier nieuwe API’s voor ontwikkelaars, waaronder Realtime API de belangrijkste is. Deze API ondersteunt natuurlijke spraak-naar-spraakgesprekken op basis van zes vooraf ingestelde stemmen. Hiermee kunnen ontwikkelaars functies bouwen in hun applicaties, gelijkaardig aan ChatGPT’s Advanced Voice Mode. Deze API is beschikbaar in openbare bèta.
Volgens OpenAI kan de Realtime API het proces voor het maken van spraakassistentie stroomlijnen. In eerste instantie moesten ontwikkelaars verschillende modellen gebruiken voor zowel spraakherkenning, tekstverwerking als tekst-naar-spraakconversie. Met de nieuwe API kunnen ze dit hele proces in één keer afhandelen.
Daarnaast introduceert OpenAI nog twee nieuwe API’s die ontwikkelaars helpen om prestaties en kosten in evenwicht te brengen bij het creëren van AI-toepassingen. Met “Model Distillation” kunnen ontwikkelaars kleinere modellen verfijnen op basis van de uitvoer van geavanceerdere modellen. Daarnaast kan “Prompt Caching” inferentie versnellen door veelgebruikte prompts te onthouden. Tot slot stelt “Vision Fine-tuning” ontwikkelaars in staat om GPT-4o aan te passen door zowel aangepaste afbeeldingen als tekst te geven.
Ontwikkelaarsevent
OpenAI’s jaarlijkse ontwikkelaarsevent vond maandag plaats in San Francisco. Dit event is uitsluitend toegankelijk op uitnodiging. De topman van OpenAI, Sam Altman, koos dit jaar voor een wereldwijde aanpak. Het event wordt namelijk op meerdere locaties georganiseerd en duurt slechts één dag. De volgende locaties zijn Londen (30 oktober) en Singapore (21 november).