Databricks lanceert Databricks Model Serving: een serverless oplossing voor realtime inferentie van machine learning-modellen die werkt via een REST-API.
Databricks introduceert met Databricks Model Serving een dienst voor realtime inferentie. De oplossing laat inferentie via eigen machine learning-modellen toe zonder dat je daarvoor infrastructuur moet configureren, aangezien Databricks Model Serving serverless werkt. Bovendien gebruik je de oplossing via een REST-API. Databricks hoopt zo de workflows van tal van organisaties te vereenvoudigen.
Inferentie via API-call
Organisaties die een model getraind hebben, hoeven het slechts klaar te maken voor inferentie. Vervolgens kunnen andere toepassingen via een API met Databricks Model Serving praten wanneer er effectief inferentie nodig is. Data vanuit die applicatie worden dan door het model bekeken, dat op basis van de gegevens een conclusie trekt, een product aanraadt of een andere vorm van ML-gebaseerde inzichten terugstuurt. Omdat de oplossing serverless werkt, zorgt Databricks ervoor dat er steeds genoeg rekenkracht ter beschikking is om het gevraagde inferentie-volume te verwerken.
De oplossing heeft wel enkele beperkingen. Zo werkt ze enkel met machine learning-modellen gebouwd met MLFlow, al maakt het niet uit wat er onder de MLFlow-verpakking schuilt. De dienst ingegreert met het Databricks Lakehouse Platform en werkt netjes samen met andere diensten die op dat platform draaien. De kost voor de dienst is afhankelijk van de capaciteit die je wenst.