PLEN– English Sprawdź swój sprzęt
Wszystkie karty

Zmierzone na tej karcie

NVIDIA GeForce RTX 3090

24 GB · Ampere sm_86 · 936 GB/s

Qwen3.8-27B UD-Q4_K_XL: generowanie tokenów

Typowa aplikacja 42,9 Nasz silnik 93,3 t/s szybciej 2,2×
Model
Qwen3.8-27B UD-Q4_K_XL
Plik
17,6 GB
Pamięć zajęta
22,9 GB / 24 GB
Odpowiedź na 500 słów
31,4 s → 14,4 s
Pamięć
24GB
Przepustowość
936GB/s
Limit mocy
300W
Architektura
Ampere sm_86
PCIe
gen3 x16

Co się mieści

24 GB pamięci. Każdy blok to model załadowany przez nasz silnik, z kontekstem i pamięcią podręczną KV.

Qwen3.8-27B UD-Q4_K_XL
plik 17,6 GB zajęte 22,9 GB
LFM2.5-24B Q5_K_M
plik 17,0 GB zajęte 17,5 GB
Nemotron 74B IQ2_XXS
plik 22,0 GB zajęte 23,1 GB

Modele na tę kartę

Wszystkie zmierzone modele, które mieszczą się w pamięci karty. Najlepszy pierwszy.

  1. Qwen3.8-27B

    UD-Q4_K_XL 17,6 GB Licencja: Apache 2.0: wolno używać komercyjnie

    Polecany na tę kartę

    Szybkość pisania

    2,2× szybciej

    Ta sama karta, ten sam model, ten sam skrypt. Zmienia się tylko oprogramowanie.

    Uczciwie: szczegóły

    Ten sam skrypt, inne zadania: czat zachłanny (T=0) 42,3 → 76,7 → 103,4 t/s; edycja kodu 42,0 → 109,5 → 348,9 t/s; kopiowanie 41,8 → 108,4 → 343,8 t/s; generowanie po 32k kontekstu 39,1 → 64,0 → 79,9 t/s. Uczciwie: nasz silnik z kontekstem 200k nie zmieścił promptu ~55,6k tokenów w 24 GB; na kartach NVIDIA 24 GB ustawiamy kontekst ≤ 131 072 (szczyt 22,2 GB przy 60k).

    Typowa aplikacja 42,9 t/s
    Najlepsze flagi 75,3 t/s
    Nasz silnik 93,3 t/s
    Typowa aplikacja: llama.cpp z ustawieniami domyślnymi, tak jak w typowej aplikacji (na RTX 3090 tyle samo co Ollama) · Najlepsze flagi: upstream llama.cpp z najlepszymi flagami, które znamy (np. spekulacja MTP) · Nasz silnik: nasz silnik z tymi samymi flagami i łatkami · spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA, średnia z dwóch przebiegów /; :59

    Odpowiedź na 500 słów

    wyliczone z t/s × tokeny na słowo /; :59 × 2.69 tok/słowo (raport 06 §2.1.2)/; :59 × 1.17 tok/słowo (raport 06 §2.1.2)

    po polsku

    po angielsku

    Powtórka w prawdziwym tempie

    Ta sama odpowiedź, wypisywana z zmierzoną prędkością.

    Typowa aplikacja: 42,9 t/s, Nasz silnik: 93,3 t/s. spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA, średnia z dwóch przebiegów

    Warunki

    spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA, średnia z dwóch przebiegów

    • najlepsze flagi i nasz silnik: kontekst 200k (-c 204800)
    • KV q4_0
    • MTP n=4
    • -fa on
    • nasz dodatkowo słownik draftu 64k
    • lookup W16
    • GPU verify
    • A0: samo -m (-fit: kontekst 90k, KV f16)
    • karta 335 W
    spec_sweep przez serwer, ten sam skrypt po obu stronach: czat, 6 promptów × 3 seedy, T=1, świeży serwer, mediana; kolejność ABBA, średnia z dwóch przebiegów · limit mocy 300 W (host), PCIe gen3 x16, pamięć 936 GB/s, CPU hosta i7-4790 (2014), sterownik 615,71,09, CUDA 12,8. · Arkusz podaje 38,9, surowy scorecard 39,01. Pokazujemy wartość z arkusza.

    O modelu

    Gęsty model 27B z hybrydową atencją (Gated DeltaNet + pełna atencja) i wbudowaną głowicą MTP, która zgaduje kilka tokenów naprzód.

    Najlepsza jakość, która mieści się w 24 GB: 2,2× szybciej niż typowa aplikacja.

    • czat
    • kod
    • jakość
    app/landing/src/lib/data/models.jsonapp/landing/src/lib/data/models.json (raport 06 §2.4.2)
    Wszystkie pomiary

    Przyrządy

    Typowa aplikacja → Nasz silnik

    Tokeny na krok: ile tokenów zatwierdza jeden krok modelu (spekulacja MTP) · Czas kroku: Krok jest dłuższy, bo daje ~3,0 tokenu. Na jeden token: 23,3 → 10,7 ms (wyliczone: czas kroku ÷ tokeny na krok). · Prefill 512: czytanie promptu, tokeny na sekundę · Prefill 4096: czytanie promptu, tokeny na sekundę · Pierwszy token: prompt ~2k tokenów, bez cache · Pamięć zajęta: najlepsze flagi i nasz silnik: kontekst 200k (-c 204800), KV q4_0, MTP n=4, -fa on; nasz dodatkowo słownik draftu 64k, lookup W16, GPU verify; A0: samo -m (-fit: kontekst 90k, KV f16); karta 335 W (źródło podaje GiB; pokazujemy je jako GB, tak jak producent opisuje pamięć karty) · Kerneli na token: profil kroku (nsys): mniej, większych zadań dla GPU /; :61/; :60/ / ; :98/ / ; :99/; :90/; :104 (22545 MiB)/; :104 (23493 MiB)

    • Tokeny na krok

      1,00 3,03

      ↗ lepiej

    • Czas kroku

      23,3 32,4 ms

      ↘ dłuższy krok, ↗ więcej tokenów

    • Prefill 512

      1585 1540 t/s

      ≈ bez zmian

    • Prefill 4096

      1582 1543 t/s

      ≈ bez zmian

    • Pierwszy token

      1,2 1,6 s

      ↘ gorzej

    • Pamięć zajęta

      22,0 22,9 GB

      ↘ gorzej

    • Kerneli na token

      1956 795

      ↗ lepiej

    Długi kontekst

    Generowanie przy coraz dłuższej rozmowie (llama-bench, bez spekulacji). Tu zysk jest mały i tak to pokazujemy. KV q4_0.
    Długi kontekst, Qwen3.8-27B: 0 43,1 → 45,9 t/s; 16k 39,1 → 41,4 t/s; 32k 35,7 → 37,7 t/s; 64k 30,4 → 31,9 t/s2040016k32k64k45,943,141,439,137,735,731,930,4
    nasz silnik upstream długość kontekstu (skala liniowa) →

    Skąd zysk

    1. Typowa aplikacja 42,9 t/s
    2. flagi upstream 1,8× MTP
    3. nasz silnik 1,2× lookup W16, share, GPU verify
    4. razem 2,2× :20,59/; :59

    Ten sam model, ta sama jakość: zmierzone

    Uczciwie

    Saluki 27B
    KLD nasz vs upstream 0,00065
    szum upstreamu 0,00061
    Bonsai 2 27B
    KLD nasz vs upstream 0,00032
    szum upstreamu 0,00021

    Nasz silnik w zwykłym trybie nie daje bit w bit tego samego tekstu co upstream (łatki 0001/0002, u Qwena też 0013). Dlatego jakość mierzymy KLD: na RTX 3060 różnica mieści się w szumie samego upstreamu.

  2. LFM2.5-24B-A2B

    Q5_K_M 17,0 GB Licencja: LFM Open License v1.0: komercyjnie tylko poniżej 10 mln USD rocznego przychodu

    Szybkość pisania

    1,5× szybciej

    Ta sama karta, ten sam model, ten sam skrypt. Zmienia się tylko oprogramowanie.

    Typowa aplikacja[179,0–184,0] (Ollama 180,5) 180,2 t/s
    Najlepsze flagi 176,0 t/s
    Nasz silnik + profil karty[263,0–266,0] 263,9 t/s
    Typowa aplikacja: llama.cpp z ustawieniami domyślnymi, tak jak w typowej aplikacji (na RTX 3090 tyle samo co Ollama) · Najlepsze flagi: upstream llama.cpp z najlepszymi flagami, które znamy (np. spekulacja MTP) · Nasz silnik + profil karty: nasz silnik z tymi samymi flagami i łatkami · spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana (A0: 180.2) (A1: 175.99) (A2p-t: 263.91)

    Odpowiedź na 500 słów

    Paski biegną w prawdziwym czasie: tyle trwa odpowiedź przy zmierzonej prędkości. spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana

    po polsku

    po angielsku

    Powtórka w prawdziwym tempie

    Ta sama odpowiedź, wypisywana z zmierzoną prędkością.

    Typowa aplikacja: 180,2 t/s, Nasz silnik + profil karty: 263,9 t/s. spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana

    Warunki

    spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana

    • kontekst 64k (-c 65536)
    • KV q8_0
    • bez spekulacji
    spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana · limit mocy 300 W (host), PCIe gen3 x16, pamięć 936 GB/s, CPU hosta i7-4790 (2014), sterownik 615,71,09, CUDA 12,8. :19-21

    O modelu

    Mieszanka ekspertów (MoE): 24B parametrów, około 2B aktywnych na token. Dlatego pisze kilka razy szybciej niż model gęsty.

    • szybkość
    • czat
    app/landing/src/lib/data/models.jsonapp/landing/src/lib/data/models.json (raport 06 §2.4.2)
    Wszystkie pomiary

    Przyrządy

    Typowa aplikacja → Nasz silnik + profil karty

    Czas kroku: z MTP krok trwa dłużej, ale zatwierdza kilka tokenów naraz · Prefill 512: czytanie promptu, tokeny na sekundę · Prefill 4096: czytanie promptu, tokeny na sekundę · Pierwszy token: prompt ~2k tokenów, bez cache · Pamięć zajęta: kontekst 64k (-c 65536), KV q8_0, bez spekulacji · Kerneli na token: profil kroku (nsys): mniej, większych zadań dla GPU

    • Czas kroku

      5,6 3,8 ms

      ↗ lepiej

    • Prefill 512

      5168 5126 t/s

      ≈ bez zmian

    • Prefill 4096

      5168 5164 t/s

      ≈ bez zmian

    • Pierwszy token

      0,5 0,5 s

      ≈ bez zmian

    • Pamięć zajęta

      19,3 17,5 GB

      ↗ lepiej

    • Kerneli na token

      908 357

      ↗ lepiej

    Długi kontekst

    Generowanie przy coraz dłuższej rozmowie (llama-bench, bez spekulacji). Tu zysk jest mały i tak to pokazujemy. KV q8_0.
    Długi kontekst, LFM2.5-24B-A2B: 0 234,3 → 251,9 t/s; 8k 218,8 → 237,0 t/s; 32k 178,8 → 190,2 t/s; 64k 140,8 → 147,7 t/s10020008k32k64k251,9234,3237,0218,8190,2178,8147,7140,8
    nasz silnik upstream długość kontekstu (skala liniowa) →

    Skąd zysk

    1. Typowa aplikacja 180,2 t/s
    2. flagi upstream (nic nie dają) 0,98×
    3. nasz silnik 1,5× sampler/host ×1,42, profil Ampere ×1,06
    4. razem 1,5×

    Ten sam model, ta sama jakość: zmierzone

    Uczciwie

    Saluki 27B
    KLD nasz vs upstream 0,00065
    szum upstreamu 0,00061
    Bonsai 2 27B
    KLD nasz vs upstream 0,00032
    szum upstreamu 0,00021

    Nasz silnik w zwykłym trybie nie daje bit w bit tego samego tekstu co upstream (łatki 0001/0002, u Qwena też 0013). Dlatego jakość mierzymy KLD: na RTX 3060 różnica mieści się w szumie samego upstreamu.

  3. Nemotron 3.5 Bolt 74B-A9B

    IQ2_XXS 22,0 GB Licencja: OpenMDW-1.1: według karty modelu do użytku komercyjnego i niekomercyjnego

    Szybkość pisania

    1,6× szybciej

    Ta sama karta, ten sam model, ten sam skrypt. Zmienia się tylko oprogramowanie.

    Uczciwie: szczegóły

    Uczciwie: sam nasz fork z tymi flagami (A2) dał 129,0 t/s, czyli mniej niż upstream (131,4): krok jest krótszy, ale draft trafia rzadziej. Wersja „nasz silnik” to fork z nowymi łatkami (141,1), która przywraca trafność draftu. KLD dla tego modelu jeszcze nie zmierzone; 500 słów liczone współczynnikiem tokenizera Qwena.

    Typowa aplikacja[87,0–88,0] 87,2 t/s
    Najlepsze flagi[107,0–141,0] 131,4 t/s
    Nasz silnik[112,0–155,0] 141,1 t/s
    Typowa aplikacja: llama.cpp z ustawieniami domyślnymi, tak jak w typowej aplikacji (na RTX 3090 tyle samo co Ollama) · Najlepsze flagi: upstream llama.cpp z najlepszymi flagami, które znamy (np. spekulacja MTP) · Nasz silnik: nasz silnik z tymi samymi flagami i łatkami · spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana (A0: 87.18) (A1: 131.4) (tuned: 141.11)

    Odpowiedź na 500 słów

    Paski biegną w prawdziwym czasie: tyle trwa odpowiedź przy zmierzonej prędkości. spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana

    po polsku

    po angielsku

    Powtórka w prawdziwym tempie

    Ta sama odpowiedź, wypisywana z zmierzoną prędkością.

    Typowa aplikacja: 87,2 t/s, Nasz silnik: 141,1 t/s. spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana

    Warunki

    spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana

    • kontekst 64k (-c 65536)
    • KV q8_0
    • spekulacja DFlash n_max 5 (drafter NVFP4, 1 GB)
    • A0: samo -m (-fit: 4 sloty × 104k, KV f16)
    spec_sweep przez serwer: 6 promptów × 3 seedy, T=1, odpowiedź 400 tokenów, krótki kontekst, mediana · limit mocy 300 W (host), PCIe gen3 x16, pamięć 936 GB/s, CPU hosta i7-4790 (2014), sterownik 615,71,09, CUDA 12,8. :73; :224

    O modelu

    Hybryda Mamba-2 i atencji w układzie mieszanki ekspertów: 74B parametrów, około 9B aktywnych na token. W IQ2_XXS mieści się w 24 GB razem z małym drafterem DFlash.

    • duży model na 24 GB
    • szybkość
    Wszystkie pomiary

    Przyrządy

    Typowa aplikacja → Nasz silnik

    Prefill 512: czytanie promptu, tokeny na sekundę · Prefill 4096: czytanie promptu, tokeny na sekundę · Pierwszy token: prompt ~2k tokenów, bez cache · Pamięć zajęta: kontekst 64k (-c 65536), KV q8_0, spekulacja DFlash n_max 5 (drafter NVFP4, 1 GB); A0: samo -m (-fit: 4 sloty × 104k, KV f16)

    • Prefill 512

      1602 1605 t/s

      ≈ bez zmian

    • Prefill 4096

      1566 1563 t/s

      ≈ bez zmian

    • Pierwszy token

      1,9 2,3 s

      ↘ gorzej

    • Pamięć zajęta

      22,0 23,1 GB

      ↘ gorzej

    Długi kontekst

    Generowanie przy coraz dłuższej rozmowie (llama-bench, bez spekulacji). Tu zysk jest mały i tak to pokazujemy. KV q8_0.
    Długi kontekst, Nemotron 3.5 Bolt 74B-A9B: 0 84,6 → 91,4 t/s; 32k 74,6 → 79,9 t/s; 64k 65,8 → 69,4 t/s50100032k64k91,484,679,974,669,465,8
    nasz silnik upstream długość kontekstu (skala liniowa) →

    Skąd zysk

    1. Typowa aplikacja 87,2 t/s
    2. flagi upstream 1,5× DFlash
    3. nasz silnik 1,07× łatki
    4. razem 1,6×

    Ten sam model, ta sama jakość: zmierzone

    Uczciwie

    Saluki 27B
    KLD nasz vs upstream 0,00065
    szum upstreamu 0,00061
    Bonsai 2 27B
    KLD nasz vs upstream 0,00032
    szum upstreamu 0,00021

    Nemotron 74B: KLD jeszcze nie zmierzone

    Nasz silnik w zwykłym trybie nie daje bit w bit tego samego tekstu co upstream (łatki 0001/0002, u Qwena też 0013). Dlatego jakość mierzymy KLD: na RTX 3060 różnica mieści się w szumie samego upstreamu.

Co dalej

Porównaj z inną kartą Sprawdź swój sprzęt

Zmierzone karty