Nextcloud zet OLMo 3 in via llm2

OLMo 3 7B komt via Nextclouds lokale llm2-backend in Assistant, Mail en andere apps beschikbaar, zodat organisaties teksten op eigen hardware kunnen verwerken, meldt Ai2 op 2 november.

Daardoor kunnen die taken op de eigen Nextcloud-server blijven; de kosten verschuiven naar hardware, beheer en capaciteit. IT blijft verantwoordelijk voor updates en voor de vraag wie welke documenten mag laten verwerken.

OLMo komt in de apps die medewerkers kennen

llm2 is de lokale AI-backend van Nextcloud Assistant, Mail en andere apps die de tekstverwerkingsfunctie gebruiken. Afhankelijk van de app kunnen medewerkers tekst herschrijven, koppen maken, onderwerpen uit bestanden halen of vragen stellen over feiten daarin. Ai2 noemt ook samenvattingen van e-mailthreads en videogesprekken die Whisper heeft uitgeschreven.

Ai2 meldt dat OLMo 3 wordt toegevoegd aan de modellen die Nextcloud via llm2 aanbiedt. Nextcloud kiest de 7B-variant, niet de 32B-versie. Engineer Marcel Klehr zegt dat de 7B-uitvoering is gekozen omdat klanten niet standaard 16 of 32 GB videogeheugen beschikbaar hebben. Het formaat moet lokale inzet toegankelijker maken. De aankondiging geeft geen OLMo-specifieke geheugentest of snelheidscijfer.

Nextcloud geeft het model zijn hoogste groene score in een eigen beoordelingskader voor ethische AI. Ai2 zegt dat die score open trainings- en uitvoeringssoftware, een zelf te hosten model en openbare trainingsdata vereist. De voorwaarden gaan dus verder dan downloadbare gewichten. In juni kwam MiniMax M3 bij de lancering nog met de belofte dat de gewichten later zouden volgen, terwijl trainingscode en inferentie-operators ontbraken. Hoeveel van het model openbaar is, bepaalt of een organisatie alleen kan draaien of ook kan nagaan hoe het is gebouwd.

llm2 vraagt meer dan een modelbestand

llm2 is een aparte app voor lokale tekstverwerking, die via AppAPI wordt geïnstalleerd naast Nextcloud Assistant. De beheerhandleiding vereist AppAPI 3.1.0 of hoger. Beheerders kunnen het model centraal instellen en alternatieve modellen toevoegen als GGUF-bestand, een formaat voor lokaal draaiende modellen. De officiële llm2-repository beschrijft de app als een lokale backend op basis van llama.cpp die GGUF-modelbestanden ondersteunt. Dat maakt de koppeling bruikbaar in meerdere apps, zonder voor elk hulpmiddel een aparte modelverbinding te bouwen.

De hardwaregrenzen staan los van OLMo 3. Nextclouds handleiding noemt minimaal 8 GB videogeheugen (VRAM) en 12 GB systeemgeheugen voor de GPU-route, plus een theoretische capaciteit van ongeveer 1.000 verzoeken per uur per instantie. Daarvoor zijn een NVIDIA-kaart en CUDA 12.4 nodig. De CPU-route vraagt x86-64 met AVX en AVX2, minstens 12 GB RAM en volgens Nextcloud bij voorkeur 10 tot 20 processorkernen. Die capaciteitsraming berust op berekeningen; de handleiding vraagt om praktijkervaring en geeft geen productiewaarborg of OLMo-specifieke meting.

De CPU-variant draait zonder GPU, maar is trager. llm2 gebruikt standaard alle kernen; Nextcloud adviseert daarom een aparte machine. Een bestaande server is dus niet vanzelf geschikt. Updates, toegangsrechten en piekbelasting blijven bij de beheerder liggen.

De werkplek en het model bewegen tegelijk

Kleine modellen worden ook voor lokale inzet ontworpen. Liquid AI bracht eind oktober zes open-weight LFM3-modellen rond 1,7 tot 2 miljard parameters uit. De officiële aankondiging zegt dat het tekstmodel bij 4-bit-precisie ongeveer 1 GB geheugen gebruikt en lokaal kan worden aangepast. LFM3 legt de nadruk op een kleine modelvoetafdruk; llm2 brengt een groter model naar de toepassingen waar medewerkers al werken. De cijfers vergelijken geen modelkwaliteit.

Ook de Nederlandse digitale werkplek krijgt concreter vorm. In juni begon het Rijk met het onderzoeken van Nextcloud als open-source alternatief voor Microsoft 365. In augustus gaf het SSC-ICT, DICTU en DUO de opdracht om een soevereine werkplek te bouwen. Dat is geen besluit dat het Rijk OLMo kiest, maar het laat zien hoe AI naast bestanden, mail en documenten in zo’n werkplek kan landen.

De Nederlandse kwaliteit blijft een open vraag

Ai2 licht de modelkeuze toe, maar publiceert geen test van OLMo in Assistant of Mail. De aankondiging noemt geen llm2-versie of uitrolpad en zegt niet of elke klant het model al kan selecteren. De beheerhandleiding bevat geen OLMo-specifieke configuratie of prestatievergelijking.

Voor Nederlandse gebruikers blijft ook de taal een vraag. De modelkaart voor OLMo 3 7B Instruct vermeldt Engels als taal en bevat geen Nederlandse kwaliteitsmeting. Dat bewijst niet dat het model geen Nederlands kan verwerken, maar de aankondiging toont geen resultaten op Nederlandse e-mail of documenten. Teams moeten de uitkomsten op eigen teksten beoordelen voordat ze een workflow erop laten steunen.

Bij lokale modeluitvoering blijft de aanvraag binnen de eigen infrastructuur, als die route goed is ingericht. Toegangsrechten, opgeslagen prompts en modelupdates vragen nog steeds beheer, vooral wanneer een assistent e-mailthreads of gedeelde documenten doorzoekt.

De ontwikkeling verbindt kleinere modellen met AI in bestaande werkpleksoftware. Voor organisaties kan dat externe model-API’s overbodig maken voor sommige taken, maar de kosten verschuiven naar servers, beheer en kwaliteitscontrole. Nextclouds schatting van 1.000 verzoeken per uur is theoretisch; een Nederlandse OLMo-test ontbreekt. De open vraag is welke taken betrouwbaar draaien op de beschikbare hardware, in de eigen taal en met de juiste toegangsrechten.