Viikonloppuna sosiaalisessa mediassa kiersi väite, jonka mukaan DeepSeekin tuore julkaisu säästää jopa 98 % tokeneista. Luku on todellinen, mutta se ei tarkoita sitä, miltä se kuulostaa. Taustalla on silti yksi syksyn kiinnostavimmista infrastruktuuriuutisista.

Mitä DeepSeek julkaisi 30. syyskuuta

DeepSeek julkaisi avoimena lähdekoodina Ascend-versiot keskeisistä infrastruktuurikomponenteistaan: matriisilaskennan DeepGEMM-Ascend, hajautetun viestinnän DeepEP-Ascend sekä joukon Ascend-työkaluja. Ascend on Huawein kehittämä tekoälykiihdytin, jolla Kiina rakentaa vaihtoehtoa Nvidian näytönohjaimille.

Tärkein komponentti on DeepGEMM: DeepSeekin oma matematiikkakirjasto, joka hoitaa kielimallien raskaimman laskennan – matriisikertolaskut FP8-, FP4- ja BF16-tarkkuuksilla, asiantuntijasekoituksen (MoE) sekä sparse-attentionin pisteytyksen. Sama koodi, jolla DeepSeek kouluttaa ja ajaa omat mallinsa, oli aiemmin Nvidian CUDA-alustan varassa. Nyt se on saatavana myös Huawein raudalle, samalla ohjelmistorajapinnalla ja MIT-lisenssillä.

Käytännössä tämä tekee DeepSeekin ohjelmistopinosta siirrettävän alustalta toiselle. Kehittäjän ei tarvitse kirjoittaa koodiaan uudelleen, jos rauta vaihtuu.

Mistä 98 % tulee

Julkaisun benchmark-tuloksissa DeepGEMM-Ascend yltää parhaimmillaan 99,8 prosenttiin Ascend 950DT -piirin teoreettisesta laskentatehosta. Raskaimmassa FP4-laskennassa mitattiin 1 701 TFLOPS, mikä vastaa 98,3 prosenttia piirin laskentarajasta.

Luku on siis laitteiston käyttöaste: mittari sille, kuinka lähelle piirin teoreettista maksimia ohjelmisto yltää. Se on vaikuttavaa insinöörityötä, sillä valtaosa kaupallisista kirjastoista jää selvästi kauemmas huipusta. Se ei kuitenkaan ole prosenttiosuus, jonka verran token-kulut laskevat. Väitteessä nämä kaksi asiaa – piirin käyttöaste ja token-lasku – on laskettu yhteen, ja lopputulos on puppua.

Miksi 98 % ei ole token-säästöä

Tokenin hinta muodostuu useasta tekijästä: mallin arkkitehtuurista, muistikaistasta, rinnakkaisuudesta, jäähdytyksestä ja sähköstä. Matematiikka on yksi osa ketjua, eikä yksittäisen kernelin huippulukema kerro koko päättelyketjun hyötysuhteesta. Nopeampi matematiikka alentaa operaattorin kustannusta tokenia kohden, mutta ei suoraan sillä prosentilla, joka lukee benchmark-taulukossa.

Toiseksi kirjastoa ei asenneta mihinkään. Jos käytät DeepSeekin tai muiden tarjoajien rajapintoja, tämä julkaisu ei muuta kutsujasi millään tavalla. Se on työkalu niille, jotka ajavat malleja omalla raudalla. Ja kolmanneksi: API-hinnat ovat palveluntarjoajan päätös. Kernelistä tuleva tehostus näkyy sinulle vain välillisesti – jos ja kun DeepSeek laskee hintoja tehostumisen myötä.

Miksi uutinen on silti tärkeä

Kun kustannus tokenia kohden laskee, palveluntarjoajalle jää enemmän tilaa pitää hinnat alhaalla tai laskea niitä. DeepSeek on tehnyt jälkimmäistä toistuvasti: yhtiön V4.1 Flash -malli maksaa tällä hetkellä 0,15–0,30 dollaria miljoonalta syöttötokenilta ja 0,60–1,20 dollaria miljoonalta tulostetokenilta vuorokaudenajasta riippuen.

Varsinainen uutinen on kuitenkin toimittajariippumattomuus. Nvidian CUDA on ollut alan vahvin lukko: sama ohjelmisto ei ole siirtynyt kilpailevalle raudalle ilman merkittävää uudelleenkirjoitusta. DeepSeekin Ascend-versiot osoittavat, että siirto on mahdollista tehdä yhdellä rajapinnalla. Kun kirjastot toimivat sekä Nvidian että Huawein piireillä, kilpailu kiristyy ja laskennan hinta laskee koko markkinalla. Kiinalaisesta uutisoinnista poimittu kuvaus tiivistää muutoksen: maan oma rauta on siirtymässä käyttökelpoisesta hyväksi.

Mitä tästä jää käteen API:n käyttäjälle

Ei uutta asennettavaa. Mutta kolme muistutusta:

Token-hinnat laskevat edelleen – kilpailuta tarjoajasi säännöllisesti.
Oma lasku paranee eniten kehotteiden, välimuistin ja mallivalinnan kautta, ei kernelien.
Toimittajariippumattomuus on nyt todellista: sama ohjelmistopino toimii kahdella piiriperheellä.

Loppujen lopuksi uutinen kertoo yhdestä asiasta: tekoälyn laskenta on yhä vähemmän kiinni yhdestä valmistajasta, ja token-hinta seuraa perässä. Se on hyvä uutinen jokaiselle, joka ostaa laskentaa.

Lähteet

— Aino Pilvi, AI-asiantuntija, Cloud Computing Oy

Kysyttävää? aino@cloudcomputing.fi | WhatsApp: +358 33 119 3196

DeepSeek avasi moottorinsa Huaweille – mitä se tarkoittaa token-hinnoille ja miksi 98 % on puppua