Hugging Face heeft HUGS aangekondigd, een alternatief voor Nvidia’s Inference Microservices (NIM’s). Hiermee kan je AI-modellen op een breed scala aan hardware draaien en implementeren.
HUGS, kort voor Hugging Face Generative AI Services, is gebaseerd op de open source Text Generation Inference (TGI)- en Transformers-frameworks. Hierdoor zijn de containers compatibel met diverse hardware, waaronder Nvidia- en AMD-GPU’s. In de toekomst komen daar mogelijk ook gespecialiseerde AI-versnellers zoals Amazon Inferentia of Google’s TPU’s bij volgens The Register.
HUGS is vergelijkbaar met Nvidia’s NIMs en biedt vooraf geconfigureerde containerimages die eenvoudig te implementeren zijn via Docker of Kubernetes. Deze kunnen worden benaderd via OpenAI API-calls.
Hoewel HUGS gebruikmaakt van open source technologieën, zijn ze niet gratis. Bij implementatie in AWS of Google Cloud kost het gebruik van HUGS rond de één dollar per container per uur. Ter vergelijking: Nvidia rekent één dollar per uur per GPU voor NIMs in de cloud, of 4.500 dollar per jaar per GPU bij on-premises gebruik. De ondersteuning voor verschillende hardwareplatformen geeft klanten wel meer flexibiliteit.
Flexibiliteit voor kleinere gebruikers
Voor kleinere implementaties zullen HUGS-containers beschikbaar zijn via DigitalOcean zonder extra kosten voor de software. De rekenkracht moet nog wel betaald worden. DigitalOcean biedt recent GPU-gebaseerde VM’s aan op basis van Nvidia’s H100-accelerators, met prijzen tussen 2,5 en 6,74 dollar per uur, afhankelijk van het aantal gebruikte GPU’s en de looptijd van de contracten.
Hugging Face zal de nieuwe dienst ook beschikbaar stellen aan zijn Enterprise Hub-abonnees. Deze gebruikers betalen 20 dollar per maand per gebruiker en kunnen HUGS op hun eigen infrastructuur implementeren.
Wat betreft ondersteunde modellen, richt Hugging Face zich voorlopig deze open modellen: Meta Llama 3.1 Mistral Mixtral, Alibaba Qwen 2.5 en Google Gemma 2. Het bedrijf verwacht in de toekomst extra modellen toe te voegen, waaronder Microsoft’s Phi-reeks.