OpenAI lanceert Flex-verwerking als goedkoper alternatief voor API-aanvragen. De formule is bedoeld voor minder tijdkritische toepassingen.
OpenAI introduceert Flex-verwerking voor API-gebruikers. Met Flex wil het AI-bedrijf een competitief antwoord bieden op de prijsstrategieën van concurrenten zoals Google.
Flex-verwerking richt zich op ontwikkelaars die hun kosten willen beperken voor niet-productietaken zoals modeltesten, gegevensverrijking of asynchrone verwerkingen. In ruil voor lagere tarieven accepteert de gebruiker tragere responstijden en de mogelijkheid dat de gevraagde middelen tijdelijk niet beschikbaar zijn.
Flex-verwerking gebruikt dezelfde tarieven als de Batch API van OpenAI. Om de modus te activeren, moeten gebruikers in hun API-aanvraag de parameter service_tier instellen op flex. Dat geldt zowel voor de Chat- als de Responses-functionaliteit van de API.
Bij gebruik van Flex-verwerking zijn langere verwerkingstijden waarschijnlijk. De standaard time-out is tien minuten. Voor complexe of langdurige taken raadt OpenAI aan deze time-out te verhogen. In de SDK’s voor Python en JavaScript gebeurt dat via de timeout-parameter. Als een aanvraag langer duurt dan toegestaan, proberen de SDK’s deze automatisch tweemaal opnieuw uit te voeren vooraleer een foutmelding te geven.
Vertraging of onbeschikbaarheid
Een aanvraag via Flex-verwerking kan soms geweigerd worden wanneer er onvoldoende verwerkingscapaciteit beschikbaar is. In dat geval ontvangt de gebruiker een 429-foutcode, maar worden er geen kosten in rekening gebracht.
Om hiermee om te gaan, raadt OpenAI twee strategieën aan. De eerste is het opnieuw proberen van de aanvraag met een toenemende wachttijd tussen pogingen (exponential backoff). Die strategie is geschikt voor toepassingen die kleine vertragingen kunnen verdragen.
Als tweede optie kan de aanvraag optioneel terugvallen op het standaard verwerkingsniveau. Daarvoor dienen ontwikkelaars de service_tier-parameter op auto te zetten of volledig weg te laten uit de aanvraag. In dat geval zal een aanvraag soms aan een iets hoger tafief verwerkt worden.
De Flex-optie is momenteel enkel beschikbaar in bèta en alleen bruikbaar voor gebruikers van de o3- en o4-mini-modellen van OpenAI.