DeepSeek heeft een nieuwe generatie open source AI-modellen gelanceerd met V4-Pro en V4-Flash.
DeepSeek introduceert een nieuwe generatie open source AI-modellen, met opvallende efficiëntiewinsten en een schaal tot 1,6 biljoen parameters. De nieuwe V4-reeks moet een performanter én zuiniger alternatief zijn voor bestaande frontiermodellen.
Twee modellen, één architectuur
De V4-familie bestaat uit twee modellen: V4-Pro en V4-Flash. Beide maken gebruik van een mixture-of-experts (MoE)-architectuur, waar meerdere neurale netwerken samenwerken in plaats van één groot model. V4-Pro is het vlaggenschip met 1,6 biljoen parameters, maar activeert slechts een deel daarvan per taak. V4-Flash is kleiner en efficiënter, met minder actieve parameters en lagere hardwarevereisten, maar ook iets lagere outputkwaliteit.
De meest opvallende vernieuwing zit in de ‘hybride attention’. Die techniek verkleint de KV-cache, een interne representatie die modellen gebruiken om context te verwerken. Volgens DeepSeek daalt het geheugenverbruik tijdens inference met ongeveer 90 procent ten opzichte van de vorige generatie.
Concurrentie met topmodellen
In benchmarks presteert V4-Pro competitief met andere topmodellen, waaronder Claude Opus 4.6. In meerdere tests behaalt het model zelfs betere scores, al is het beeld gemengd afhankelijk van de benchmark.
Sneller trainen, betere output
Ook het trainingsproces werd aangepakt. Met technieken zoals mHC kunnen data direct tussen niet-aangrenzende lagen bewegen, wat fouten reduceert en de kwaliteit van output verhoogt. Daarnaast optimaliseert de module Muon de interne lagen van het model, waardoor training sneller verloopt en minder infrastructuur vereist.
DeepSeek trainde de modellen op een dataset van ongeveer 27 biljoen tokens en verfijnde ze daarna in twee stappen om samenwerking tussen de verschillende neurale netwerken te verbeteren. De modellen zijn beschikbaar in preview op Hugging Face.