Apertus 1.5: åpne modeller med 262 144 tokens kontekst – fire ganger lenger enn før
Swiss AI Initiative har oppdatert sine åpne språkmodeller med bilde- og lydforståelse, en valgfri tenkemodus og et kontekstvindu fire ganger så langt som før. Utgivelsen er et konkret eksempel på hva «fullt åpen» kan bety i praksis – men alle påstander om evner stammer så langt fra prosjektets egne utgivelsesnotater.
Swiss AI Initiative publiserte utgivelsesnotater for Apertus 1.5 på Hugging Face 15. oktober 2026. Notatene dokumenterer en oppdatering hvis modellvekter ble gjort tilgjengelige allerede 24. juli 2026, under Apache 2.0-lisensen. Det er altså to tidspunkter involvert: selve vektutgivelsen i juli og den etterfølgende dokumentasjonen i oktober, uten at notatene beskriver nøyaktig hvordan de to henger sammen.
Utgivelsen er interessant nettopp fordi den, ifølge prosjektet, dokumenterer en modell langt utover vektene: Notatene beskriver Apertus-modellene som «fullt åpne» – med åpne vekter, åpne data, åpne verdier og fullstendige treningsdetaljer. Dette er prosjektets egen beskrivelse, ikke en uavhengig verifisering, men den illustrerer hvordan omfanget av åpenhet kan variere betydelig mellom utgivelser som alle kalles «åpne».
Hva som er nytt
Ifølge utgivelsesnotatene utvider Apertus 1.5 8B- og 70B-modellene fra første generasjon med flere evner:
- Forståelse av bilder og lyd som input
- En valgfri tenkemodus (thinking mode)
- Et kontekstvindu fire ganger så langt som i Apertus 1.0
- Bedret instruksjonsfølging
- Bedret verktøybruk
Alle disse punktene er prosjektets egne påstander fra utgivelsesnotatene. Ingen uavhengige målinger som kan bekrefte dem foreligger i det tilgjengelige kildematerialet, og uten slike data kan ikke modellen sammenlignes med konkrete lukkede eller andre åpne modeller.
Teknikken bak: fortsettet forhåndstrening, ikke gjenoppbygging
Apertus 1.5 er ikke trent fra bunnen av. Ifølge notatene er det snakk om fortsettet forhåndstrening av første generasjons modeller: 4 billioner tokens med tekst- og multimodale treningsdata er lagt til 8B-modellen, som dermed har fått totalt 19 billioner tokens. 70B-modellen har fått 2 billioner tokens ekstra, med totalt 17 billioner.
Dette er en teknisk betydningsfull distinksjon. Fortsettet forhåndstrening bygger videre på en modell som allerede er trent, i stedet for å gjenta hele treningsløpet fra start. For folk som allerede bruker Apertus 1.0, betyr det at utgangspunktet er de eksisterende modellene, ikke nye arkitekturer eller helt nye modellfamilier.
Hvordan multimodaliteten fungerer
Bilde- og lydforståelsen er innført via det prosjektet kaller tidlig fusjon (early fusion). I stedet for å koble modellen til en separat visjonencoder, konverteres bilder og lyd til diskrete tokens som settes inn i samme sekvens som tekst-tokens. Ifølge notatene bruker prosjektet Emu3.5-bildetokenizeren og WavTokenizer for lyd.
Den praktiske konsekvensen er at modellarkitekturen forblir uendret – bare vokabularet er utvidet med tokens for de nye modalitetene. Det er denne mekanismen som ifølge prosjektet gjør det mulig å utvide en eksisterende tekstmodell til multimodal input gjennom fortsettet forhåndstrening, uten å endre selve modellstrukturen.
Kontekstvinduet: fra 8k til 262 144 tokens
Kontekstvinduet er firdoblet fra Apertus 1.0, til 262 144 tokens. Ifølge notatene ble ikke dette oppnådd i ett grep: Vinduet vokser stegvis fra 8k tokens i en dedikert langkontekst-treningsfase.
For brukere betyr et 262 144-tokens vindu at modellen i prinsippet kan jobbe med betydelig lengre dokumenter og samtalehistorikker enn før. Hvor godt den utnytter hele vinduet i praksis, kan ikke fastslås på grunnlag av det foreliggende kildematerialet.
Begrensninger og forbehold
Flere begrensninger er verdt å merke seg:
- Modellene forstår bilder og lyd, men genererer kun tekst. Det er altså ikke snakk om multimodal utgang.
- Behandling av talespråk beskrives som eksperimentell.
- Påstandene om evner og forbedringer kommer fra prosjektets egne notater og er ikke bekreftet av tredjepart i det foreliggende materialet.
Det siste punktet er kanskje det viktigste for potensielle brukere: Det gjenstår å se om de påståtte forbedringene i instruksjonsfølging, verktøybruk og multimodal forståelse holder mål i praksis.
Bakgrunn: åpen versus lukket
Utgivelsen lander midt i en pågående debatt om åpne versus lukkede modeller, der spørsmålet om hva «åpen» egentlig betyr står sentralt. I en bransje der «åpen» ofte betyr kun åpne vekter – uten treningsdata eller treningsdetaljer – er Apertus 1.5 et konkret datapunkt for hva mer omfattende åpenhet kan innebære: åpne vekter, åpne data og fullstendige treningsdetaljer, under en Apache 2.0-lisens.
Denne fremstillingen bygger på prosjektets egen selvbeskrivelse og bør ikke leses som en uavhengig vurdering av åpenhetens kvalitet eller av modellens konkurranseevne. Men som case viser utgivelsen hvordan et forskningsinitiativ velger å dokumentere en modellutgivelse – og gir dermed et konkret eksempel i en debatt som ellers ofte føres i abstrakte termer.
Kilde: Apertus 1.5-utgivelsesnotatene (09d5ec19).
Apertus 1.5: open models with 262,144-token context — four times longer than before
The Swiss AI Initiative has updated its open language models with image and audio understanding, an optional thinking mode, and a context window four times as long as before. The release is a concrete example of what "fully open" can mean in practice — but all capability claims so far come from the project's own release notes.
The Swiss AI Initiative published the release notes for Apertus 1.5 on Hugging Face on October 15, 2026. The notes document an update whose model weights were made available earlier, on July 24, 2026, under the Apache 2.0 license. Two dates are thus involved: the weight release in July and the subsequent documentation in October, without the notes describing exactly how the two relate.
The release is interesting precisely because it, according to the project, documents a model far beyond the weights: the notes describe the Apertus models as "fully open" — with open weights, open data, open values, and complete training details. This is the project's own description, not independent verification, but it illustrates how much the scope of openness can vary between releases that are all called "open."
What's new
According to the release notes, Apertus 1.5 extends the first-generation 8B and 70B models with several capabilities:
- Understanding of images and audio as input
- An optional thinking mode
- A context window four times as long as in Apertus 1.0
- Improved instruction following
- Improved tool use
All of these points are the project's own claims from the release notes. No independent measurements confirming them are available in the accessible source material, and without such data the model cannot be compared against specific closed or other open models.
The technology: continued pretraining, not a rebuild
Apertus 1.5 was not trained from scratch. According to the notes, it is continued pretraining of the first-generation models: 4 trillion tokens of text and multimodal training data were added to the 8B model, which has now seen a total of 19 trillion tokens. The 70B model received an additional 2 trillion tokens, for a total of 17 trillion.
This is a technically meaningful distinction. Continued pretraining builds on an already-trained model rather than repeating the entire training run from the start. For people already using Apertus 1.0, this means the starting point is the existing models — not new architectures or entirely new model families.
How the multimodality works
Image and audio understanding is introduced through what the project calls early fusion. Instead of attaching a separate vision encoder to the model, images and audio are converted into discrete tokens that are inserted into the same sequence as text tokens. According to the notes, the project uses the Emu3.5 image tokenizer and WavTokenizer for audio.
The practical consequence is that the model architecture remains unchanged — only the vocabulary is extended with tokens for the new modalities. It is this mechanism that, according to the project, makes it possible to extend an existing text model to multimodal input through continued pretraining, without changing the model structure itself.
The context window: from 8k to 262,144 tokens
The context window has been quadrupled from Apertus 1.0, to 262,144 tokens. According to the notes, this was not achieved in one step: the window grows incrementally from 8k tokens in a dedicated long-context training phase.
For users, a 262,144-token window means the model can in principle work with considerably longer documents and conversation histories than before. How well it exploits the full window in practice cannot be determined from the available source material.
Limits and caveats
Several limitations are worth noting:
- The models understand images and audio but generate only text. This is not multimodal output.
- Spoken-language processing is described as experimental.
- The claims about capabilities and improvements come from the project's own notes and are not confirmed by any third party in the available material.
That last point is perhaps the most important for prospective users: it remains to be seen whether the claimed improvements in instruction following, tool use, and multimodal understanding hold up in practice.
Background: open versus closed
The release lands in the middle of an ongoing debate about open versus closed models, where the question of what "open" actually means is central. In an industry where "open" often means only open weights — without training data or training details — Apertus 1.5 is a concrete data point for what more comprehensive openness can involve: open weights, open data, and complete training details, under an Apache 2.0 license.
That description rests on the project's own self-characterization and should not be read as an independent assessment of the quality of the openness or of the model's competitiveness. But as a case, the release shows how a research initiative chooses to document a model release — and thus provides a concrete example in a debate that is otherwise often conducted in abstract terms.
Source: Apertus 1.5 release notes (09d5ec19).