1-bittinen tekoäly omalla kannettavalla – mitä Microsoftin bitnet.cpp oikeasti tekee

Sosiaalisessa mediassa kiertää väite: Microsoft mullisti pelin, ja nyt 100 miljardin parametrin kielimallit pyörivät paikallisella CPU:lla ilman näytönohjainta. Päätimme testata, mitä 1-bittisillä malleilla voi vuonna 2026 oikeasti tehdä. Testikoneena oli tavallinen kannettava tietokone – ei GPU:ta, ei pilvipalvelua.

Twiitti lupaa enemmän kuin mikään ladattava malli osaa

Väitteen taustalla on Microsoft Researchin bitnet.cpp, avoimen lähdekoodin (MIT) inferenssikehys 1-bittisille eli ternäärimalleille. Kehys on todellinen ja toimiva, mutta twiitin yksityiskohdat eivät kestä tarkastelua:

• bitnet.cpp 1.0 julkaistiin 17.10.2024 – kyse ei ole uutisesta.
• ”6,17× nopeampi ja 82,2 % vähemmän energiaa” ovat Microsoftin alkuperäisiä x86-lukuja lokakuulta 2024. Vertailukohta on sama malli täystarkkuuksisena samalla CPU:lla – ei vertailua näytönohjaimeen.
• ”100 miljardin parametrin malli” on teknisen raportin skaalausennuste. Suurin virallisesti julkaistu 1-bittinen kielimalli on 2,4 miljardia parametria (BitNet-b1.58-2B-4T, huhtikuu 2025). Suuremmat mallit ovat yhteisön ternäärimuunnoksia, joiden laatu vaihtelee tapauskohtaisesti.

Mikä twiitissä on totta: kehys on avointa lähdekoodia, se pyörii CPU:lla, ja se on aidosti nopea. Mutta peliä ei muutettu – 1-bittinen inferenssi on ollut tuotantokelpoista jo pari vuotta, ja se on jatkuvasti kehittynyt hiljaisuudessa.

Mitä 1,58 bittiä tarkoittaa

Ternäärimallin painot ovat arvoja −1, 0 ja +1. Yksi paino vie keskimäärin 1,58 bittiä, kun tavallinen 16-bittinen malli vie 16. Käytännössä malli on noin kymmenen kertaa pienempi ja pyörii muistikaistan ehdoilla, mihin CPU:t ovat hyviä. Laatu ei romahda: Microsoftin tuore 1-bittinen embedding-malli yltää MTEB v2 -vertailussa 67,5 pisteeseen, kun sen täystarkkuuksinen sisarmalli saa 69,0. Ero on parin prosentin luokkaa, muistijalanjälki on kymmenesosa ja CPU-läpäisy parhaimmillaan yli kaksinkertainen.

Vuoden 2026 aikana kehyksen päälle on julkaistu uutta, käytännössä kiinnostavaa:

Mittaus: puheentunnistus kannettavalla

Testikone: AMD Ryzen 7 250 -kannettava, 8 ydintä (16 säiettä), 23 Gt keskusmuistia, ei näytönohjainta käytössä. Malli VibeVoice-ASR-BitNet (1,58 Gt), ajuri VibeASR.cpp, äänitteinä englanninkielisiä LibriSpeech-lukunäytteitä (4,8–12,5 s).

Nopeus (RTF = laskenta-aika / audion kesto, 12,5 s näyte):

Viidellä muulla näytteellä (myös ranska ja kiina) RTF oli 8 säikeellä 0,33–0,38. Eli: 12,5 sekunnin äänite litteroitui 3,7 sekunnissa, ja koko mallin muistipiikki oli 4,4 Gt. Yli kahdeksan säikeen lisääminen ei auta – 16 säikeellä vauhti jopa hieman laski.

Tarkkuus: sanojen virheprosentti (WER) 3,6 % – 3 virhettä 83 sanassa. Virheet olivat nimenkuulemisia tyyppiä ”Frederick” → ”Frederic” ja ”Rocky Ithaca” → ”Walkie Ithaca”. Kolme neljästä näytteestä meni sanatarkasti oikein.

Suomi: puheentunnistus ei vielä taivu

Mallikortin kielilista on englanti, kiina, ranska, italia, korea, portugali ja vietnam. Suomi ei ole mukana. Ranskaksi ja kiinaksi malli tuotti sujuvaa tekstiä, mutta suomenkielistä puhetta tämä versio ei palvele – se vaatisi kielituen mallin koulutusputkeen. Tämä on tärkein yksittäinen rajoite meille.

Embeddingit: suomeksi toimii

Tekstin vektorointi on toinen 1-bittisten mallien käyttökohde. BitNet-embedding-0.6B tukee yli 90 kieltä mukaan lukien suomi, ja se on tarkoitettu ajettavaksi bitnet.cpp:llä suoraan CPU:lla.

Testasimme suomenkielistä semanttista hakua seitsemällä lauseella (mukana laskutuksen ja kirjanpidon sanastoa). Jokaisessa kyselyssä oikea osuma nousi lähimmäksi:

• ”Miten teen arvonlisäveroilmoituksen?” → lähin osuma ”ALV-ilmoitus annetaan Verohallinnolle kuukausittain” (samankaltaisuus 0,72). Säätiedote jäi kauemmas (0,59).
• ”Hän lähetti laskun sähköpostilla” ja ”She sent the invoice by email” tunnistuivat toistensa vastineiksi (0,66) – suomenkielinen haku löytää siis myös englanninkielisen sisällön.
• Nopeus: 767 tokenia sekunnissa kahdeksalla säikeellä. Microsoftin omissa mittauksissa Xeon-palvelin yltää 871 tokeniin sekunnissa, eli kannettava kone yltää noin 88 prosenttiin palvelinraudan nopeudesta.

Mitä tästä seuraa

1. Reaaliaikainen puheentunnistus ilman GPU:ta on arkea. 1,7 Gt malli ja 4,4 Gt muistipiikki tarkoittavat, että tämä pyörii millä tahansa perustoimistokoneella ilman näytönohjainta. Pilvi-API:n tarve poistuu sellaisissa tehtävissä, joissa kielituki riittää.
2. Suomen kieli on yhä se kynnys. Kansainväliset 1-bittiset mallit taipuvat harvoin suomeen ilman lisätyötä – sama ilmiö kuin Whisperin kanssa aikanaan.
3. 1-bittisyys ei ole enää hypeä vaan insinöörityötä. Kehys on kypsä, mallivalikoima kasvaa, ja lisenssit (MIT) sallivat kaupallisen käytön.

Rehellinen yhteenveto: twiitin rehvakkuus on liioiteltua ja luvut kaksi vuotta vanhoja, mutta itse tekniikka on juuri nyt hyödyllisyyden kynnyksellä – varsinkin embedding-puolella, jossa suomi on mukana.

— Aino Pilvi, AI-asiantuntija, Cloud Computing Oy

Kysyttävää? aino@cloudcomputing.fi | WhatsApp: +358 33 119 3196