PLEN– English Sprawdź swój sprzęt
Wszystkie karty

Zmierzone na tej karcie

NVIDIA GeForce RTX 4060 Ti

16 GB · Ada sm_89 · 288 GB/s

Qwen3.8-27B UD-Q3_K_XL: generowanie tokenów

Typowa aplikacja 18,6 Nasz silnik 35,4 t/s szybciej 1,9×
Model
Qwen3.8-27B UD-Q3_K_XL
Plik
13,2 GB
Pamięć zajęta
14,5 GB / 16 GB
Odpowiedź na 500 słów
72,3 s → 38,0 s
Pamięć
16GB
Przepustowość
288GB/s
Limit mocy
100W
Architektura
Ada sm_89
PCIe
gen3 x8

Co się mieści

16 GB pamięci. Każdy blok to model załadowany przez nasz silnik, z kontekstem i pamięcią podręczną KV.

Qwen3.8-27B UD-Q3_K_XL
plik 13,2 GB zajęte 14,5 GB
LFM2.5-24B QAD-Q4_0
plik 13,6 GB zajęte 13,6 GB

Modele na tę kartę

Wszystkie zmierzone modele, które mieszczą się w pamięci karty. Najlepszy pierwszy.

  1. Qwen3.8-27B

    UD-Q3_K_XL 13,2 GB Licencja: Apache 2.0: wolno używać komercyjnie

    Polecany na tę kartę

    Szybkość pisania

    1,9× szybciej

    Ta sama karta, ten sam model, ten sam skrypt. Zmienia się tylko oprogramowanie.

    Uczciwie: szczegóły

    Ten sam skrypt, inne zadania: edycja kodu (T=0) 18,5 → 50,0 → 170,9 t/s; generowanie po 16k kontekstu (T=0) 17,6 → 33,3 → 40,1 t/s. Uczciwie: zysk nad najlepszymi flagami to krótszy krok (81,6 wobec 97,7 ms), nie więcej tokenów na krok; prefill jest u nas o 3,5–3,9% wolniejszy, a bez spekulacji (llama-bench tg128) tempo jest takie samo.

    Typowa aplikacja 18,6 t/s
    Najlepsze flagi 30,6 t/s
    Nasz silnik 35,4 t/s
    Typowa aplikacja: llama.cpp z ustawieniami domyślnymi, tak jak w typowej aplikacji (na RTX 3090 tyle samo co Ollama) · Najlepsze flagi: upstream llama.cpp z najlepszymi flagami, które znamy (np. spekulacja MTP) · Nasz silnik: nasz silnik z tymi samymi flagami i łatkami · spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA, średnia z dwóch przebiegów /; :56

    Odpowiedź na 500 słów

    wyliczone z t/s × tokeny na słowo /; :56 × 2.69 tok/słowo (raport 06 §2.1.2)/; :56 × 1.17 tok/słowo (raport 06 §2.1.2)

    po polsku

    po angielsku

    Powtórka w prawdziwym tempie

    Ta sama odpowiedź, wypisywana z zmierzoną prędkością.

    Typowa aplikacja: 18,6 t/s, Nasz silnik: 35,4 t/s. spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA, średnia z dwóch przebiegów

    Warunki

    spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA, średnia z dwóch przebiegów

    • najlepsze flagi i nasz silnik: kontekst 32k (-c 32768)
    • KV q8_0
    • -fit off
    • -fa on
    • nasz dodatkowo GPU verify
    • A0: samo -m (domyślny -fit, KV f16)
    • karta z limitem mocy 100 W
    • PCIe gen3 x8
    • MTP n=4
    • nasz: słownik draftu 64k
    • głowice IQ4_XS
    • lookup W16
    spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA, średnia z dwóch przebiegów · limit mocy 100 W (host; domyślnie 165 W), PCIe gen3 x8, GDDR6 288 GB/s, CPU hosta Ryzen 9 3950X, sterownik 595,84 :25-28

    O modelu

    Gęsty model 27B z hybrydową atencją (Gated DeltaNet + pełna atencja) i wbudowaną głowicą MTP, która zgaduje kilka tokenów naprzód.

    Qwen w Q3 mieści się w 16 GB z kontekstem 32k i jest tu 1,9× szybszy niż typowa aplikacja.

    • czat
    • kod
    • jakość
    app/landing/src/lib/data/models.jsonapp/landing/src/lib/data/models.json (raport 06 §2.4.2):52
    Wszystkie pomiary

    Przyrządy

    Typowa aplikacja → Nasz silnik

    Tokeny na krok: ile tokenów zatwierdza jeden krok modelu (spekulacja MTP) · Czas kroku: Krok jest dłuższy, bo daje ~2,9 tokenu. Na jeden token: 53,7 → 28,3 ms (wyliczone: czas kroku ÷ tokeny na krok). · Prefill 512: czytanie promptu, tokeny na sekundę · Prefill 4096: czytanie promptu, tokeny na sekundę · Pamięć zajęta: najlepsze flagi i nasz silnik: kontekst 32k (-c 32768), KV q8_0, -fit off, -fa on; nasz dodatkowo GPU verify; A0: samo -m (domyślny -fit, KV f16); karta z limitem mocy 100 W, PCIe gen3 x8; MTP n=4, nasz: słownik draftu 64k, głowice IQ4_XS, lookup W16 (źródło podaje GiB; pokazujemy je jako GB, tak jak producent opisuje pamięć karty) /; :58/; :57/; :70 (14354 MiB)/; :70 (14848 MiB)

    • Tokeny na krok

      1,00 2,88

      ↗ lepiej

    • Czas kroku

      53,7 81,6 ms

      ↘ dłuższy krok, ↗ więcej tokenów

    • Prefill 512

      794 763 t/s

      ↘ gorzej

    • Prefill 4096

      788 761 t/s

      ↘ gorzej

    • Pamięć zajęta

      14,0 14,5 GB

      ↘ gorzej

    Długi kontekst

    Generowanie przy coraz dłuższej rozmowie (llama-bench, bez spekulacji). Tu zysk jest mały i tak to pokazujemy. KV q8_0.
    Długi kontekst, Qwen3.8-27B: 0 18,8 → 18,7 t/s; 16k 16,8 → 16,8 t/s1020016k18,718,816,816,8
    nasz silnik upstream długość kontekstu (skala liniowa) →

    Skąd zysk

    1. Typowa aplikacja 18,6 t/s
    2. flagi upstream 1,6× MTP
    3. nasz silnik 1,16× słownik draftu 64k, lookup W16, GPU verify
    4. razem 1,9× :9-11,56/; :56

    Ten sam model, ta sama jakość: zmierzone

    Uczciwie

    Saluki 27B
    KLD nasz vs upstream 0,00065
    szum upstreamu 0,00061
    Bonsai 2 27B
    KLD nasz vs upstream 0,00032
    szum upstreamu 0,00021

    Nasz silnik w zwykłym trybie nie daje bit w bit tego samego tekstu co upstream (łatki 0001/0002, u Qwena też 0013). Dlatego jakość mierzymy KLD: na RTX 3060 różnica mieści się w szumie samego upstreamu.

  2. LFM2.5-24B-A2B

    QAD-Q4_0 13,6 GB Licencja: LFM Open License v1.0: komercyjnie tylko poniżej 10 mln USD rocznego przychodu

    Szybkość pisania

    1,3× szybciej

    Ta sama karta, ten sam model, ten sam skrypt. Zmienia się tylko oprogramowanie.

    Typowa aplikacja 114,4 t/s
    Najlepsze flagi 113,3 t/s
    Nasz silnik 149,4 t/s
    Typowa aplikacja: llama.cpp z ustawieniami domyślnymi, tak jak w typowej aplikacji (na RTX 3090 tyle samo co Ollama) · Najlepsze flagi: upstream llama.cpp z najlepszymi flagami, które znamy (np. spekulacja MTP) · Nasz silnik: nasz silnik z tymi samymi flagami i łatkami · spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA, średnia z dwóch przebiegów /; :77

    Odpowiedź na 500 słów

    wyliczone z t/s × tokeny na słowo /; :77 × 2.69 tok/słowo (raport 06 §2.1.2)/; :77 × 1.17 tok/słowo (raport 06 §2.1.2)

    po polsku

    po angielsku

    Powtórka w prawdziwym tempie

    Ta sama odpowiedź, wypisywana z zmierzoną prędkością.

    Typowa aplikacja: 114,4 t/s, Nasz silnik: 149,4 t/s. spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA, średnia z dwóch przebiegów

    Warunki

    spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA, średnia z dwóch przebiegów

    • najlepsze flagi i nasz silnik: kontekst 32k (-c 32768)
    • KV q8_0
    • -fit off
    • -fa on
    • nasz dodatkowo GPU verify
    • A0: samo -m (domyślny -fit, KV f16)
    • karta z limitem mocy 100 W
    • PCIe gen3 x8
    • bez spekulacji
    • -b 2048 -ub 2048
    spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA, średnia z dwóch przebiegów · limit mocy 100 W (host; domyślnie 165 W), PCIe gen3 x8, GDDR6 288 GB/s, CPU hosta Ryzen 9 3950X, sterownik 595,84 :25-28

    O modelu

    Mieszanka ekspertów (MoE): 24B parametrów, około 2B aktywnych na token. Dlatego pisze kilka razy szybciej niż model gęsty.

    • szybkość
    • czat
    app/landing/src/lib/data/models.jsonapp/landing/src/lib/data/models.json (raport 06 §2.4.2):73
    Wszystkie pomiary

    Przyrządy

    Typowa aplikacja → Nasz silnik

    Czas kroku: z MTP krok trwa dłużej, ale zatwierdza kilka tokenów naraz · Prefill 512: czytanie promptu, tokeny na sekundę · Prefill 4096: czytanie promptu, tokeny na sekundę · Pamięć zajęta: najlepsze flagi i nasz silnik: kontekst 32k (-c 32768), KV q8_0, -fit off, -fa on; nasz dodatkowo GPU verify; A0: samo -m (domyślny -fit, KV f16); karta z limitem mocy 100 W, PCIe gen3 x8; bez spekulacji, -b 2048 -ub 2048 (źródło podaje GiB; pokazujemy je jako GB, tak jak producent opisuje pamięć karty) /; :78/; :82 (14944 MiB)/; :82 (13924 MiB)

    • Czas kroku

      8,7 6,7 ms

      ↗ lepiej

    • Prefill 512

      3286 3278 t/s

      ≈ bez zmian

    • Prefill 4096

      3273 3268 t/s

      ≈ bez zmian

    • Pamięć zajęta

      14,6 13,6 GB

      ↗ lepiej

    Skąd zysk

    1. Typowa aplikacja 114,4 t/s
    2. flagi upstream (nic nie dają) 0,99×
    3. nasz silnik 1,3× sampler + kernele
    4. razem 1,3× :14-15,77/; :77

    Ten sam model, ta sama jakość: zmierzone

    Uczciwie

    Saluki 27B
    KLD nasz vs upstream 0,00065
    szum upstreamu 0,00061
    Bonsai 2 27B
    KLD nasz vs upstream 0,00032
    szum upstreamu 0,00021

    Nasz silnik w zwykłym trybie nie daje bit w bit tego samego tekstu co upstream (łatki 0001/0002, u Qwena też 0013). Dlatego jakość mierzymy KLD: na RTX 3060 różnica mieści się w szumie samego upstreamu.

Co dalej

Porównaj z inną kartą Sprawdź swój sprzęt

Zmierzone karty