PLEN– English Sprawdź swój sprzęt
Wszystkie karty

Zmierzone na tej karcie

NVIDIA GeForce RTX 5060 Ti

16 GB · Blackwell sm_120 · 448 GB/s

Qwen3.8-27B UD-Q3_K_XL: generowanie tokenów

Typowa aplikacja 28,1 Nasz silnik + profil karty 51,7 t/s szybciej 1,8×
Model
Qwen3.8-27B UD-Q3_K_XL
Plik
13,2 GB
Pamięć zajęta
14,5 GB / 16 GB
Odpowiedź na 500 słów
42,9 s → 23,3 s
Pamięć
16GB
Przepustowość
448GB/s
Limit mocy
180W
Architektura
Blackwell sm_120
PCIe
gen4 x8

Co się mieści

16 GB pamięci. Każdy blok to model załadowany przez nasz silnik, z kontekstem i pamięcią podręczną KV.

Qwen3.8-27B UD-Q3_K_XL
plik 13,2 GB zajęte 14,5 GB
LFM2.5-24B Q4_K_M
plik 14,5 GB zajęte 14,2 GB

Modele na tę kartę

Wszystkie zmierzone modele, które mieszczą się w pamięci karty. Najlepszy pierwszy.

  1. Qwen3.8-27B

    UD-Q3_K_XL 13,2 GB Licencja: Apache 2.0: wolno używać komercyjnie

    Polecany na tę kartę

    Szybkość pisania

    1,8× szybciej

    Ta sama karta, ten sam model, ten sam skrypt. Zmienia się tylko oprogramowanie.

    Uczciwie: szczegóły

    Q4 nie mieści się w 16 GB. Upstream MTP z domyślnym -fit spada tu do 7,7 t/s.

    Typowa aplikacja[27,9–28,1] 28,1 t/s
    Najlepsze flagi[34,0–42,8] 37,3 t/s
    Nasz silnik[48,2–59,9] 50,8 t/s
    Nasz silnik + profil karty[49,6–59,9] 51,7 t/s
    Typowa aplikacja: llama.cpp z ustawieniami domyślnymi, tak jak w typowej aplikacji (na RTX 3090 tyle samo co Ollama) · Najlepsze flagi: upstream llama.cpp z najlepszymi flagami, które znamy (np. spekulacja MTP) · Nasz silnik: nasz silnik z tymi samymi flagami i łatkami · Nasz silnik + profil karty: nasz silnik z tymi samymi flagami i łatkami · spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana (A0 typowa aplikacja: 28.07) (A1 najlepsze flagi upstream: 37.32) (A2 nasz silnik (fork + draft vocab): 50.8) (nasz profil NVIDIA (A2 + GATE_UP_Q8=0): 51.66)

    Odpowiedź na 500 słów

    Paski biegną w prawdziwym czasie: tyle trwa odpowiedź przy zmierzonej prędkości. spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana

    po polsku

    po angielsku

    Powtórka w prawdziwym tempie

    Ta sama odpowiedź, wypisywana z zmierzoną prędkością.

    Typowa aplikacja: 28,1 t/s, Nasz silnik + profil karty: 51,7 t/s. spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana

    Warunki

    spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana

    • kontekst 32k
    • KV q8_0
    • MTP n=4
    • -fit off
    • A0: domyślny -fit
    • KV f16
    spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana · 180 W, PCIe gen4 x8, GDDR7 448 GB/s, kontener z limitem 7,68 CPU (EPYC 7502), sterownik 580,173,02. :65-69

    O modelu

    Gęsty model 27B z hybrydową atencją (Gated DeltaNet + pełna atencja) i wbudowaną głowicą MTP, która zgaduje kilka tokenów naprzód.

    Qwen w Q3 to największy model, który mieści się w 16 GB z kontekstem 32k.

    • czat
    • kod
    • jakość
    app/landing/src/lib/data/models.jsonapp/landing/src/lib/data/models.json (raport 06 §2.4.2)
    Wszystkie pomiary

    Przyrządy

    Typowa aplikacja → Nasz silnik + profil karty

    Tokeny na krok: ile tokenów zatwierdza jeden krok modelu (spekulacja MTP) · Czas kroku: Krok jest dłuższy, bo daje ~2,5 tokenu. Na jeden token: 35,7 → 19,3 ms (wyliczone: czas kroku ÷ tokeny na krok). · Prefill 512: czytanie promptu, tokeny na sekundę · Pierwszy token: prompt ~2k tokenów, bez cache · Pamięć zajęta: kontekst 32k, KV q8_0, MTP n=4, -fit off; A0: domyślny -fit, KV f16 (źródło podaje GiB; pokazujemy je jako GB, tak jak producent opisuje pamięć karty)

    • Tokeny na krok

      1,00 2,48

      ↗ lepiej

    • Czas kroku

      35,7 47,9 ms

      ↘ dłuższy krok, ↗ więcej tokenów

    • Prefill 512

      1048 1032 t/s

      ≈ bez zmian

    • Pierwszy token

      2,4 2,7 s

      ↘ gorzej

    • Pamięć zajęta

      13,9 14,5 GB

      ↘ gorzej

    Długi kontekst

    Generowanie przy coraz dłuższej rozmowie (llama-bench, bez spekulacji). Tu zysk jest mały i tak to pokazujemy. KV q8_0.
    Długi kontekst, Qwen3.8-27B: 0 28,2 → 28,9 t/s; 8k 27,2 → 27,6 t/s; 32k 23,6 → 23,9 t/s; 64k 20,1 → 20,2 t/s10203008k32k64k28,928,227,627,223,923,620,220,1
    nasz silnik upstream długość kontekstu (skala liniowa) →

    Skąd zysk

    1. Typowa aplikacja 28,1 t/s
    2. flagi upstream 1,3× MTP + -fit off
    3. nasz silnik 1,4×
    4. razem 1,8×

    Ten sam model, ta sama jakość: zmierzone

    Uczciwie

    Saluki 27B
    KLD nasz vs upstream 0,00065
    szum upstreamu 0,00061
    Bonsai 2 27B
    KLD nasz vs upstream 0,00032
    szum upstreamu 0,00021

    Nasz silnik w zwykłym trybie nie daje bit w bit tego samego tekstu co upstream (łatki 0001/0002, u Qwena też 0013). Dlatego jakość mierzymy KLD: na RTX 3060 różnica mieści się w szumie samego upstreamu.

  2. LFM2.5-24B-A2B

    Q4_K_M 14,5 GB Licencja: LFM Open License v1.0: komercyjnie tylko poniżej 10 mln USD rocznego przychodu

    Szybkość pisania

    1,4× szybciej

    Ta sama karta, ten sam model, ten sam skrypt. Zmienia się tylko oprogramowanie.

    Uczciwie: szczegóły

    Q5 nie mieści się w 16 GB.

    Typowa aplikacja[146,5–150,2] 147,7 t/s
    Najlepsze flagi 144,5 t/s
    Nasz silnik 191,0 t/s
    Nasz silnik + profil karty[206,7–209,1] 207,9 t/s
    Typowa aplikacja: llama.cpp z ustawieniami domyślnymi, tak jak w typowej aplikacji (na RTX 3090 tyle samo co Ollama) · Najlepsze flagi: upstream llama.cpp z najlepszymi flagami, które znamy (np. spekulacja MTP) · Nasz silnik: nasz silnik z tymi samymi flagami i łatkami · Nasz silnik + profil karty: nasz silnik z tymi samymi flagami i łatkami · spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana (A0 typowa aplikacja: 147.69) (A1 najlepsze flagi upstream: 144.47) (A2 nasz silnik: 190.99) (nasz profil NVIDIA (A2 + GATE_UP_Q8=0 Q8_IDS=0): 207.86)

    Odpowiedź na 500 słów

    Paski biegną w prawdziwym czasie: tyle trwa odpowiedź przy zmierzonej prędkości. spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana

    po polsku

    po angielsku

    Powtórka w prawdziwym tempie

    Ta sama odpowiedź, wypisywana z zmierzoną prędkością.

    Typowa aplikacja: 147,7 t/s, Nasz silnik + profil karty: 207,9 t/s. spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana

    Warunki

    spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana

    • kontekst 32k
    • KV q8_0
    • bez spekulacji
    • A0: domyślny -fit
    • KV f16
    spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana · 180 W, PCIe gen4 x8, GDDR7 448 GB/s, kontener z limitem 7,68 CPU (EPYC 7502), sterownik 580,173,02. :65-69

    O modelu

    Mieszanka ekspertów (MoE): 24B parametrów, około 2B aktywnych na token. Dlatego pisze kilka razy szybciej niż model gęsty.

    • szybkość
    • czat
    app/landing/src/lib/data/models.jsonapp/landing/src/lib/data/models.json (raport 06 §2.4.2)
    Wszystkie pomiary

    Przyrządy

    Typowa aplikacja → Nasz silnik + profil karty

    Czas kroku: z MTP krok trwa dłużej, ale zatwierdza kilka tokenów naraz · Prefill 512: czytanie promptu, tokeny na sekundę · Pierwszy token: prompt ~2k tokenów, bez cache · Pamięć zajęta: kontekst 32k, KV q8_0, bez spekulacji; A0: domyślny -fit, KV f16 (źródło podaje GiB; pokazujemy je jako GB, tak jak producent opisuje pamięć karty)

    • Czas kroku

      6,8 4,8 ms

      ↗ lepiej

    • Prefill 512

      4148 4160 t/s

      ≈ bez zmian

    • Pierwszy token

      0,6 0,5 s

      ↗ lepiej

    • Pamięć zajęta

      14,5 14,2 GB

      ≈ bez zmian

    Długi kontekst

    Generowanie przy coraz dłuższej rozmowie (llama-bench, bez spekulacji). Tu zysk jest mały i tak to pokazujemy. KV q8_0.
    Długi kontekst, LFM2.5-24B-A2B: 0 192,2 → 198,8 t/s; 8k 178,6 → 181,1 t/s; 32k 143,1 → 145,8 t/s; 64k 112,5 → 114,7 t/s10020008k32k64k198,8192,2181,1178,6145,8143,1114,7112,5
    nasz silnik upstream długość kontekstu (skala liniowa) →

    Skąd zysk

    1. Typowa aplikacja 147,7 t/s
    2. flagi upstream (nic nie dają) 0,98×
    3. nasz silnik 1,4× sampler ~+25%, fuzje +5%, profil +5–6%
    4. razem 1,4×

    Inne formaty LFM na tej karcie

    Te same wagi w innych plikach. Dla obu md5 jest identyczne z upstreamem.

    QAD-Q4_0 (oficjalny Liquid), 13,6 GB · NVFP4 (społeczność), 13,6 GB

    • QAD-Q4_0 (oficjalny Liquid)

      164,5 → 226,8 t/s

      KLD vs Q8_0 0,203

      md5 identyczne z upstreamem

    • NVFP4 (społeczność)

      156,0 → 198,0 t/s

      KLD vs Q8_0 1,183· słaba jakość

      md5 identyczne z upstreamem

    Ten sam model, ta sama jakość: zmierzone

    Uczciwie

    Saluki 27B
    KLD nasz vs upstream 0,00065
    szum upstreamu 0,00061
    Bonsai 2 27B
    KLD nasz vs upstream 0,00032
    szum upstreamu 0,00021

    Nasz silnik w zwykłym trybie nie daje bit w bit tego samego tekstu co upstream (łatki 0001/0002, u Qwena też 0013). Dlatego jakość mierzymy KLD: na RTX 3060 różnica mieści się w szumie samego upstreamu.

Co dalej

Porównaj z inną kartą Sprawdź swój sprzęt

Zmierzone karty