18 november 2026
nvz mot det etablerade: mindre och snabbare på sex korpusar av nio
Rapporten i repot jämförde storlek och tid var för sig. Det är den lätta frågan. Den hårda är om nvz slår samma motståndare på båda axlarna samtidigt: mindre arkiv och kortare packtid än det bästa etablerade verktyget på just den korpusen, mätt på samma maskin.
Motståndaren är därför inte vald av mig. För varje korpus tas den av gzip, bzip2, zstd och xz som gav minsta arkiv, med sin egen uppmätta packtid. Av nvz:s lägen räknas det minsta av dem som dominerar.
Utfallet
| korpus | bästa etablerade | nvz | utfall |
|---|---|---|---|
| programkod | xz -9e 8 629 516 B / 47 s | normal 8 580 323 B / 40 s | −0,57 % och 15 % snabbare |
| PNG-bilder | zstd -22 257 132 369 B / 156 s | normal 230 452 176 B / 127 s | −10,4 % och 18 % snabbare |
| JPEG-foton | bzip2 -9 424 611 032 B / 57 s | normal 361 834 581 B / 48 s | −14,8 % och 16 % snabbare |
| arkiv av arkiv | zstd -22 254 567 277 B / 154 s | normal 254 287 214 B / 153 s | −0,11 % och 1 % snabbare |
| loggfiler | xz -9e 12 419 456 B / 897 s | liten 10 512 452 B / 191 s | −15,4 % och 79 % snabbare |
| Silesia | xz -9e 48 408 228 B / 158 s | liten 45 657 473 B / 100 s | −5,7 % och 37 % snabbare |
| GIF-bilder | zstd -22 14 867 185 B / 5 s | liten 14 864 575 B / 6 s | −0,02 %, men 20 % längre tid |
| film | zstd -19 557 861 782 B / 57 s | normal 557 880 433 B / 56 s | snabbare, men 18 kB större |
| enwik8 | xz -9e 24 831 492 B / 121 s | liten 21 417 335 B / 129 s | −13,8 %, men 7 % längre tid |
Sex av nio, och de tre som återstår är de tre där det inte finns något att vinna. GIF och film är redan entropikodade — 0,02 respektive 0,00 procent att hämta — så där syns bara nvz:s fasta kostnad. enwik8 är en enda fil, och det är värre än det låter: nvz kan inte ens dela arbetet, för ett block fylls av hela objekt och en 95 MB-fil hamnar därför alltid i ett block. Dedup, sortering och omvandlingar har ingenting att bidra med, och kvar står nvcm:s pris i tid.
Gränsen går alltså inte mellan datatyper. Den går mellan utnyttjbar struktur och ingen.
Fyra mätningar som flyttade något
Ordboken ska täcka blocket. LZMA:s preset 9e har en fast ordbok på 64 MiB. nvz:s block är större — 192 MiB för vanliga klasser, hela korpusen för opaka — så kompressorn kunde per konstruktion inte se en upprepning längre bak än 64 MiB, hur stort blocket än var. Och det är precis den upprepningen dedupen och sorteringen lägger dit. Mätt på 120 MiB arkivdata: 98 700 988 byte med 64 MiB ordbok, 96 559 784 med en som täcker indatan. 2,17 % mindre och 12 % snabbare — en funnen matchning är billigare än en fortsatt sökning.
Stickprovet har en blind fläck. Kodekprovet tar 4 MiB som åtta lösryckta bitar ur blocket. Rätt konstruktion för att se vad datan är, men den river sönder långdistansstrukturen som skiljer kodekerna åt: åtta bitar ur skilda delar av blocket har inga upprepningar mellan sig. På ett 120 MiB-block ur arkivkorpusen valde provet zstd och fick 100,13 MiB, medan xz med täckande ordbok gav 91,97. Provet missade åtta procent.
Registret bar 16 byte hash per fil. Hashen finns för att nvz -t ska upptäcka felmonterat innehåll, och 32 bitar räcker för det — bitfel fångas redan av blockens CRC64. Men hashar är slumpmässiga och därmed inkomprimerbara: på kodkorpusen var de 94 368 byte av ett register på 239 049. Elva promille av hela arkivet, i ett fält ingen läser.
Det billiga steget var inte billigt. Tvåstegsregeln för opaka block använde zstd -19 för att svara på frågan "har blocket tiotals procent att ge?". Den frågan behöver ingen stark kompressor. zstd -3 --long=27 ger samma svar på 725 millisekunder i stället för 48 sekunder.
Tre av ändringarna rättade regressioner de själva orsakat
Det här är den delen jag tar med mig. Den täckande ordboken band 2,7 GB per kodare, och eftersom minnesgrinden då bara släppte fram en åt gången gick PNG-korpusen från 268 till 841 sekunder — för 0,06 % mindre arkiv. En ordboksvinst som tar bort parallelliteten är ingen vinst. Rättelsen var pinsamt enkel i efterhand: en ordbok större än blocket kan per konstruktion inte användas, men den kostar minne ändå. Golvet togs bort och tiden blev 127 s.
Samma mönster två gånger till. Att alltid pröva om kodekvalet på hela blocket fördubblade enwik8 från 131 till 259 sekunder utan att spara en enda byte — på text vinner nvcm med tiotals procent och vinner också hela blocket, så omprövningen görs nu bara när provets försprång var tunt. Och zstd -3 utan långt fönster såg bara 2,6 % av arkivkorpusens 33: hela eskaleringen uteblev och arkivet växte från 248 till 271 MB, innan --long=27 gav 27,6 % på samma 725 ms. Fönstret var gratis; nivån var dyr.
Och en bugg som inte låg i nvz
Mitt i ommätningen rapporterade två rader att tre filer inte kom tillbaka likadana. Arkivet var felfritt. Det var korpusen som rörde sig: bygg-korpus.py hårdlänkar i stället för att kopiera, så filen i korpus/kod är samma inod som filen i det levande arbetsträdet — 5 971 av 5 974 filer i kodkorpusen, alla i png, foto, gif och film. Tre filer i ett projektträd sparades i ett annat fönster medan mätningen pågick.
Loggkorpusen har alltid kopierats av precis det skälet; det stod i byggskriptets eget huvud. Slutsatsen gällde alla korpusar. Mätskriptet tar nu ett avtryck av korpusen före och efter varje mätning och vägrar tolka en körning där den rört sig, och korpusen går att frysa med --kopiera. Men konsekvensen är bredare än två rader: varje tal mätt före den här dagen vilar på en korpus som kunde röra sig.
Det som inte gick att vinna
Tre saker står kvar, och de hör i en rapport lika mycket som vinsterna. GPU-läget vinner fortfarande inget block — LZ77-matchningen är 2,5× snabbare på grafikkortet, men entropikodningen är seriell och Amdahl vinner. Under 30 kB indata är nvz större än xz -9e, och hela förlusten är registret: nyttolasten är redan 80 byte mindre än xz:s hela fil. Och nvjpg ligger fem procentenheter under packJPG och Lepton, som gjort samma sak sedan 2006 respektive 2016 — vilket också är svaret till alla som undrat om något här är nytt. Ingen enskild metod är det. Paketeringen och mätningen är.
Hela underlaget: elva korpusar, 1 000 slumpade träd, linuxkärnan hämtad från kernel.org med md5 före och efter, samt zlib-ng:s corpora — rapport på svenska och engelska, och svaren på trådens frågor här.