Granskningsprotokoll · arkivpackaren nvz
nvz under granskning
Vad som faktiskt går att mäta, vad som går sönder, och var vinsten
kommer ifrån. Varje tal på den här sidan kommer ur resultat/*.json i repot
och går att räkna om med python3 rapport/granskning.py.
Datum 2026-11-17Maskin AMD Ryzen AI 9 HX 470, 24 trådar, NVMe
Binär 375 816 byteLast under mätningen 9,5 — andra körningar pågick på maskinen; STORLEKAR är lastoberoende, TIDER är inte
78bf8b71…
sha256 ut = sha256 in
linux-7.3.5, 1 639.5 MiB tar
120/120
slumpade träd bit-exakta
innehåll, rättigheter och tider
8
korpusar md5-protokollförda
kontrollerade med md5sum -c
3
brister bekräftade
två reproducerade, en läst i koden
Kort sagt
Tre invändningar i tråden går att besvara med en mätning, och tre brister som en
utomstående granskare rapporterade går att reproducera. Båda sakerna står här.
Rundgången håller. Linux-kärnan hämtad från kernel.org, packad, uppackad:
samma sha256. 120 slumpade träd: varje byte, varje rättighet och varje tidsstämpel tillbaka.
Fem korpusar md5-protokollförda med manifest som ligger i repot, kontrollerade av systemets
egen md5sum -c och inte av nvz själv.
Men vinsten är inte jämnt fördelad, och det är den intressanta delen.
På en enda tar-ström är nvz i praktiken xz: 200 byte isär på 1,6 GB kärnkod. Vinsten
mot de bästa klassiska verktygen kommer nästan uteslutande från två ställen — bilder, där
entropilagret byts ut, och träd med dubbletter. På standardkorpusar i läge normal är nvz
och xz -9e jämnstora.
Och tre riktiga fel. Ett skrivfel kan ge slutstatus 0, en oläsbar fil ger
kärndump, och PNG-receptet är inte portabelt mellan zlib-implementationer. Det sista är
allvarligast: det kan göra ett giltigt arkiv oläsbart på en annan maskin.
1Arkivmatrisen
Varje rad är en hel rundgång: packa, packa upp, diff -rq mot
originalträdet. "Bästa klassiska" är det minsta av gzip, bzip2, zstd −3/−19/−22 och
xz −9e på samma data. "Dagens" är tar.zst -3, alltså vad arkivskriptet
gjorde innan.
| korpus | filer | rå MiB | bästa klassiska MiB | nvz normal | nvz liten | liten mot bästa | liten mot dagens | uppacktid s: klassisk / normal / liten |
|---|
| kodkällkodsträd ur riktiga projekt | 5 974 | 55.3 | 8.2tar.xz -9e | 8.3 | 7.3 | +11.6 % | +36.5 % | 0.6 / 0.6 / 68.0 |
| loggserverloggar, text | 76 | 238.3 | 11.8tar.xz -9e | 12.0 | 10.0 | +15.3 % | +55.2 % | 0.9 / 1.9 / 203.1 |
| pngskärmbilder och diagram | 4 618 | 431.1 | 245.2tar.zst -22 --ultra | 208.8 | 208.8 | +14.8 % | +42.5 % | 0.8 / 9.6 / 9.4 |
| fotokamerabilder, baseline-JPEG | 1 143 | 408.5 | 404.9tar.bz2 -9 | 345.1 | 345.1 | +14.8 % | +15.1 % | 40.9 / 17.4 / 16.9 |
| gifanimeringar | 105 | 27.4 | 14.2tar.zst -22 --ultra | 14.2 | 14.2 | +0.0 % | +47.6 % | 0.0 / 0.1 / 0.1 |
| arkivfärdigpackade arkiv (zip, gz, xz) | 133 | 391.8 | 242.8tar.zst -22 --ultra | 242.5 | 242.5 | +0.1 % | +36.5 % | 0.7 / 1.1 / 1.1 |
| filmmp4 från telefon | 67 | 536.7 | 532.0tar.zst -19 --long | 532.0 | 532.0 | -0.0 % | +0.3 % | 0.4 / 1.6 / 1.7 |
| symbios3dblandat projektträd | 15 139 | 1 814.4 | 297.5tar.xz -9e | 282.2 | 279.1 | +6.2 % | +38.4 % | 5.3 / 8.3 / 207.4 |
| silesiastandardkorpus (12 filer) | 12 | 202.1 | 46.2tar.xz -9e | 46.2 | 43.5 | +5.7 % | +31.0 % | 2.7 / 2.4 / 100.9 |
| enwik8standardkorpus (wikipedia, 100 MB) | 1 | 95.4 | 23.7tar.xz -9e | 23.7 | 20.4 | +13.7 % | +39.6 % | 1.4 / 1.9 / 135.2 |
2Linux-kärnan, steg för steg
Provet som efterfrågades i tråden: hämta senaste kärnan, kontrollsumma,
packa, jämför storleken mot det du laddade ner, packa upp, kontrollsumma igen.
Hämtad fil
linux-7.3.5.tar.xz, 162 459 524 byte
sha256 8f293f83d54f0b7b… — identisk med kernel.orgs egen
Uppackad
1 719 101 440 byte tar
sha256 78bf8b716fbd3221… (utgångsvärdet)
Packad med nvz
153 542 332 byte på 223 s
5.5 % mindre än den publicerade tarbollen
xz -9e på samma maskin
153 542 132 byte på 364 s
nvz är 200 byte större men 1.63× snabbare
Uppackad igen
24 s
sha256 78bf8b716fbd3221… — bit-identisk
Samma kärna som uppackat träd
(1 565.9 MiB i 90 000 filer) blir 148.4 MiB — alltså +1.3 % jämfört med
att packa tarfilen. Trädvägen är sämre här, och det är väntat: kärnkällkod har nästan inga
dubbletter, och nvz delar upp strömmen per filklass, vilket kostar sammanhang. Dedupen
betalar sig på riktiga projektträd, inte på en kärna.
3Den egna kompressorn mot de klassiska
nvcm är kontextblandning med aritmetisk kodning — ingen Huffman, ingen
ordbok, inga tränade vikter: modellerna börjar på noll för varje block. Här fil för fil mot
det bästa av gzip −9, bzip2 −9, zstd −19, zstd −22, brotli −q11 och xz −9e.
nvcm är minst på 10 av 13 filer — och förlorar på de övriga, vilket
också står i tabellen.
| fil | nvcm byte | bitar/byte | bästa klassiska | dess byte | dess b/b | nvcm mot den |
|---|
| dickens | 2 234 894 | 1.754 | bzip2 -9 | 2 799 520 | 2.197 | +20.2 % |
| mozilla | 14 366 242 | 2.244 | xz -9e | 13 376 240 | 2.089 | -7.4 % |
| mr | 2 205 358 | 1.770 | bzip2 -9 | 2 441 280 | 1.959 | +9.7 % |
| nci | 1 505 038 | 0.359 | xz -9e | 1 449 272 | 0.345 | -3.8 % |
| ooffice | 2 379 789 | 3.095 | xz -9e | 2 427 224 | 3.156 | +2.0 % |
| osdb | 2 395 972 | 1.901 | bzip2 -9 | 2 802 792 | 2.223 | +14.5 % |
| reymont | 1 053 488 | 1.272 | bzip2 -9 | 1 246 230 | 1.504 | +15.5 % |
| samba | 3 377 043 | 1.250 | xz -9e | 3 739 524 | 1.385 | +9.7 % |
| sao | 4 509 261 | 4.974 | xz -9e | 4 425 664 | 4.882 | -1.9 % |
| webster | 6 317 041 | 1.219 | xz -9e | 8 368 672 | 1.615 | +24.5 % |
| x-ray | 3 742 075 | 3.533 | bzip2 -9 | 4 051 112 | 3.824 | +7.6 % |
| xml | 353 039 | 0.528 | brotli -q 11 | 430 566 | 0.644 | +18.0 % |
| enwik8 | 21 417 184 | 1.713 | xz -9e | 24 831 648 | 1.986 | +13.8 % |
Priset syns inte i tabellen men är avgörande:
nvcm packar och packar upp i ungefär samma takt, runt 1 MB/s. Det är därför den bara
väljs i läge liten, och bara för de block där provet visar att hon vinner.
4Tre bekräftade brister
Rapporterade av Ted Lyngmo efter en genomgång av källkoden. Jag har
reproducerat två av dem själv och bekräftat den tredje genom att läsa koden. Ingen av dem är
avfärdad.
Receptet som lagras är fyra zlib-parametrar — "nivå,wbits,mem,strategi" — och inget avtryck av vilken deflate-motor som skapade strömmen. png_aterskapa() kör packa_om() mot den DYNAMISKT LÄNKADE libz.so.1 på uppackningsmaskinen. Packningens egen kontroll bevisar bara att den LOKALA zlib:en återskapar strömmen. Byts motorn (zlib-ng levereras som standard-libz på fler och fler distributioner) stämmer inte längre bytena, och PNG:en går inte att sy ihop — rådatan finns i arkivet men filen kan inte återskapas.
Åtgärd antingen bädda in en låst deflate-implementation i nvz (vilket precomp och Lepton gör av exakt det här skälet), eller lagra ett avtryck av motorn i registret och lagra IDAT rått när avtrycket inte matchar
nvz -c fil > /dev/full ger slutstatus 0. gzip ger 1 på samma skrivfel. Ingen fwrite/fclose/fflush i skrivvägen läser sitt returvärde, så ett stympat arkiv rapporteras som lyckat — och i gzip-läget raderas originalet efter ett "lyckat" bygge. Under RLIMIT_FSIZE dog processen i stället av SIGXFSZ (slutstatus 153) och originalet låg kvar, men det är ingen tröst: felet är att returvärdena inte läses.
Åtgärd kontrollera varje skrivning, och radera aldrig källan innan arkivet är skrivet OCH stängt utan fel
Undantaget nvz::Fel passerar ut genom main, std::terminate kallas, processen dör med SIGABRT och slutstatus 134 (kärndump). c.txt packas aldrig. gzip skriver "Permission denied", packar c.txt och slutar med 1. Underkommandot nvz packa … har try/catch — det är den dokumenterade gzip-ytan som saknar det.
Åtgärd fånga undantagen i operandloopen, varna, fortsätt med nästa fil och sätt slutstatus 1
5Rundgången, protokollförd
md5-manifest före och efter, per fil. Manifesten ligger i repot under
resultat/protokoll/, så vem som helst kan köra
md5sum -c mot ett uppackat träd själv. Kontrollen görs av systemets md5sum —
inte av koden som skrev manifestet.
| korpus | filer | rå byte | arkiv byte | manifest före | manifest efter | md5sum -c |
|---|
| kod | 5 974 | 58 017 251 | 7 631 675 | b561ff3d28d8… | b561ff3d28d8… | ok |
| gif | 105 | 28 726 715 | 14 865 502 | 8e05472c70bc… | 8e05472c70bc… | ok |
| foto | 1 143 | 428 360 423 | 361 852 044 | 8989c1473571… | 8989c1473571… | ok |
| arkiv | 133 | 410 833 681 | 254 310 752 | 53081f8aa7bd… | 53081f8aa7bd… | ok |
| logg | 76 | 249 896 132 | 10 513 624 | b057f895ed43… | b057f895ed43… | ok |
| png | 4 618 | 452 014 330 | 218 955 645 | 4f99ac4f9efa… | 4f99ac4f9efa… | ok |
| film | 67 | 562 820 616 | 557 882 170 | c4b518236e6e… | c4b518236e6e… | ok |
| silesia | 12 | 211 938 580 | 45 659 868 | 04228513e32f… | 04228513e32f… | ok |
Slumpprovet. slumpade träd: storlekar, filtyper, dubbletter, rättigheter, tider, namn med nyrad och åäö, symlänkar (relativa, trasiga, kataloger), slumpat läge; varje runda packas, provas med -t, packas upp och jämförs byte för byte plus rättigheter och tider
Resultat: alla 120 rundor bit-exakta. Skriptet är prov/slumpprov.py och ett
misslyckat frö skrivs ut, så felet går att återskapa exakt.
6Omkostnaden på små filer
En arkivpackare som bär ett register betalar för det. Här en enstaka liten
fil, där det inte finns några dubbletter och inget sammanhang mellan filer att hämta.
| indata | gzip -9 | zstd -19 | xz -9e | nvz snabb | nvz normal | nvz liten |
|---|
| 96 310 byte källkod | 27 906 | 25 720 | 25 176 | 29 977 | 25 368 | 22 980 |
| 10 240 byte källkod | – | – | 3 312 | – | 3 460 | – |
registret kostar 150–200 byte på en enfilspackning; under ~50 kB finns ingen vinst att hämta och xz är lika bra eller bättre i läge normal
7Vad den är byggd av, och var den går
- Språk
- C++17
- Bibliotek
- libzstd, liblzma, libz, pthread
- POSIX-beroenden
- unistd.h, dirent.h, sys/stat.h, fcntl.h, sys/wait.h — plus symlänkar, utimensat och att binären startar sig själv för C-kodekarna
- Windows
- ingen native-byggnad i dag; WSL fungerar, MinGW kräver att trädvandringen, rättigheterna, symlänkarna och självstarten skrivs om
- Binärens storlek
- 375 816 byte, dynamiskt länkad mot samma bibliotek som
tar.zst och tar.xz redan behöver — ingen inbäddad ordbok och
ingen modell tränad på testdatan
8Vad nvz inte är
Ingen av de tre omvandlingarna är ett nytt påfund, och det ska stå tydligt. Förlustfri
JPEG-ompackning är samma idé som packJPG (2007) och Lepton (Dropbox, 2016):
kasta Huffman-lagret, behåll koefficienterna exakt, koda om dem med en aritmetisk kodare.
Att leta upp de zlib-parametrar som återskapar en befintlig deflate-ström är samma idé som
precomp. Kontextblandning är PAQ-familjens, från 2002 och framåt.
Det som är gjort här är att sätta ihop dem i en arkivpackare där varje block får den kodek
som ett prov visar är bäst, och att mäta hela saken på riktiga träd med rundgång och
kontrollsummor. Entropiarbetet görs av zstd, xz och nvcm. Gränsen Shannon satte är inte
utmanad någonstans — det som ändras är modellen: en deflate-ström ser slumpmässig ut
för zstd, men vecklas den ut är raderna under starkt mönstrade, och ett JPEG-entropilager
från 1992 är mätbart sämre än en modern aritmetisk kodare på exakt samma koefficienter.