Granskningsprotokoll · arkivpackaren nvz

nvz under granskning

Vad som faktiskt går att mäta, vad som går sönder, och var vinsten kommer ifrån. Varje tal på den här sidan kommer ur resultat/*.json i repot och går att räkna om med python3 rapport/granskning.py.

Datum 2026-11-17Maskin AMD Ryzen AI 9 HX 470, 24 trådar, NVMe Binär 375 816 byteLast under mätningen 9,5 — andra körningar pågick på maskinen; STORLEKAR är lastoberoende, TIDER är inte

78bf8b71…
sha256 ut = sha256 in
linux-7.3.5, 1 639.5 MiB tar
120/120
slumpade träd bit-exakta
innehåll, rättigheter och tider
8
korpusar md5-protokollförda
kontrollerade med md5sum -c
3
brister bekräftade
två reproducerade, en läst i koden

Kort sagt

Tre invändningar i tråden går att besvara med en mätning, och tre brister som en utomstående granskare rapporterade går att reproducera. Båda sakerna står här.

Rundgången håller. Linux-kärnan hämtad från kernel.org, packad, uppackad: samma sha256. 120 slumpade träd: varje byte, varje rättighet och varje tidsstämpel tillbaka. Fem korpusar md5-protokollförda med manifest som ligger i repot, kontrollerade av systemets egen md5sum -c och inte av nvz själv.

Men vinsten är inte jämnt fördelad, och det är den intressanta delen. På en enda tar-ström är nvz i praktiken xz: 200 byte isär på 1,6 GB kärnkod. Vinsten mot de bästa klassiska verktygen kommer nästan uteslutande från två ställen — bilder, där entropilagret byts ut, och träd med dubbletter. På standardkorpusar i läge normal är nvz och xz -9e jämnstora.

Och tre riktiga fel. Ett skrivfel kan ge slutstatus 0, en oläsbar fil ger kärndump, och PNG-receptet är inte portabelt mellan zlib-implementationer. Det sista är allvarligast: det kan göra ett giltigt arkiv oläsbart på en annan maskin.

1Arkivmatrisen

Varje rad är en hel rundgång: packa, packa upp, diff -rq mot originalträdet. "Bästa klassiska" är det minsta av gzip, bzip2, zstd −3/−19/−22 och xz −9e på samma data. "Dagens" är tar.zst -3, alltså vad arkivskriptet gjorde innan.

korpusfilerrå MiBbästa klassiska MiBnvz normalnvz litenliten mot bästaliten mot dagensuppacktid s: klassisk / normal / liten
kodkällkodsträd ur riktiga projekt5 97455.38.2tar.xz -9e8.37.3+11.6 %+36.5 %0.6 / 0.6 / 68.0
loggserverloggar, text76238.311.8tar.xz -9e12.010.0+15.3 %+55.2 %0.9 / 1.9 / 203.1
pngskärmbilder och diagram4 618431.1245.2tar.zst -22 --ultra208.8208.8+14.8 %+42.5 %0.8 / 9.6 / 9.4
fotokamerabilder, baseline-JPEG1 143408.5404.9tar.bz2 -9345.1345.1+14.8 %+15.1 %40.9 / 17.4 / 16.9
gifanimeringar10527.414.2tar.zst -22 --ultra14.214.2+0.0 %+47.6 %0.0 / 0.1 / 0.1
arkivfärdigpackade arkiv (zip, gz, xz)133391.8242.8tar.zst -22 --ultra242.5242.5+0.1 %+36.5 %0.7 / 1.1 / 1.1
filmmp4 från telefon67536.7532.0tar.zst -19 --long532.0532.0-0.0 %+0.3 %0.4 / 1.6 / 1.7
symbios3dblandat projektträd15 1391 814.4297.5tar.xz -9e282.2279.1+6.2 %+38.4 %5.3 / 8.3 / 207.4
silesiastandardkorpus (12 filer)12202.146.2tar.xz -9e46.243.5+5.7 %+31.0 %2.7 / 2.4 / 100.9
enwik8standardkorpus (wikipedia, 100 MB)195.423.7tar.xz -9e23.720.4+13.7 %+39.6 %1.4 / 1.9 / 135.2

2Linux-kärnan, steg för steg

Provet som efterfrågades i tråden: hämta senaste kärnan, kontrollsumma, packa, jämför storleken mot det du laddade ner, packa upp, kontrollsumma igen.

  1. Hämtad fil
    linux-7.3.5.tar.xz, 162 459 524 byte
    sha256 8f293f83d54f0b7b… — identisk med kernel.orgs egen
  2. Uppackad
    1 719 101 440 byte tar
    sha256 78bf8b716fbd3221… (utgångsvärdet)
  3. Packad med nvz
    153 542 332 byte på 223 s
    5.5 % mindre än den publicerade tarbollen
  4. xz -9e på samma maskin
    153 542 132 byte på 364 s
    nvz är 200 byte större men 1.63× snabbare
  5. Uppackad igen
    24 s
    sha256 78bf8b716fbd3221… — bit-identisk

Samma kärna som uppackat träd (1 565.9 MiB i 90 000 filer) blir 148.4 MiB — alltså +1.3 % jämfört med att packa tarfilen. Trädvägen är sämre här, och det är väntat: kärnkällkod har nästan inga dubbletter, och nvz delar upp strömmen per filklass, vilket kostar sammanhang. Dedupen betalar sig på riktiga projektträd, inte på en kärna.

3Den egna kompressorn mot de klassiska

nvcm är kontextblandning med aritmetisk kodning — ingen Huffman, ingen ordbok, inga tränade vikter: modellerna börjar på noll för varje block. Här fil för fil mot det bästa av gzip −9, bzip2 −9, zstd −19, zstd −22, brotli −q11 och xz −9e. nvcm är minst på 10 av 13 filer — och förlorar på de övriga, vilket också står i tabellen.

filnvcm bytebitar/bytebästa klassiskadess bytedess b/bnvcm mot den
dickens2 234 8941.754bzip2 -92 799 5202.197+20.2 %
mozilla14 366 2422.244xz -9e13 376 2402.089-7.4 %
mr2 205 3581.770bzip2 -92 441 2801.959+9.7 %
nci1 505 0380.359xz -9e1 449 2720.345-3.8 %
ooffice2 379 7893.095xz -9e2 427 2243.156+2.0 %
osdb2 395 9721.901bzip2 -92 802 7922.223+14.5 %
reymont1 053 4881.272bzip2 -91 246 2301.504+15.5 %
samba3 377 0431.250xz -9e3 739 5241.385+9.7 %
sao4 509 2614.974xz -9e4 425 6644.882-1.9 %
webster6 317 0411.219xz -9e8 368 6721.615+24.5 %
x-ray3 742 0753.533bzip2 -94 051 1123.824+7.6 %
xml353 0390.528brotli -q 11430 5660.644+18.0 %
enwik821 417 1841.713xz -9e24 831 6481.986+13.8 %

Priset syns inte i tabellen men är avgörande: nvcm packar och packar upp i ungefär samma takt, runt 1 MB/s. Det är därför den bara väljs i läge liten, och bara för de block där provet visar att hon vinner.

4Tre bekräftade brister

Rapporterade av Ted Lyngmo efter en genomgång av källkoden. Jag har reproducerat två av dem själv och bekräftat den tredje genom att läsa koden. Ingen av dem är avfärdad.

BEKRÄFTAD I KODEN kritisk

PNG-receptet är inte portabelt mellan zlib-implementationer

rapporterad av Ted Lyngmo · läste omvandla.cpp och arkiv.cpp samt ldd på binären

Receptet som lagras är fyra zlib-parametrar — "nivå,wbits,mem,strategi" — och inget avtryck av vilken deflate-motor som skapade strömmen. png_aterskapa() kör packa_om() mot den DYNAMISKT LÄNKADE libz.so.1 på uppackningsmaskinen. Packningens egen kontroll bevisar bara att den LOKALA zlib:en återskapar strömmen. Byts motorn (zlib-ng levereras som standard-libz på fler och fler distributioner) stämmer inte längre bytena, och PNG:en går inte att sy ihop — rådatan finns i arkivet men filen kan inte återskapas.

Åtgärd antingen bädda in en låst deflate-implementation i nvz (vilket precomp och Lepton gör av exakt det här skälet), eller lagra ett avtryck av motorn i registret och lagra IDAT rått när avtrycket inte matchar

REPRODUCERAD kritisk

Skrivfel kontrolleras inte — slutstatus 0 på en full disk

rapporterad av Ted Lyngmo · nvz -c mot /dev/full, och packning under RLIMIT_FSIZE

nvz -c fil > /dev/full ger slutstatus 0. gzip ger 1 på samma skrivfel. Ingen fwrite/fclose/fflush i skrivvägen läser sitt returvärde, så ett stympat arkiv rapporteras som lyckat — och i gzip-läget raderas originalet efter ett "lyckat" bygge. Under RLIMIT_FSIZE dog processen i stället av SIGXFSZ (slutstatus 153) och originalet låg kvar, men det är ingen tröst: felet är att returvärdena inte läses.

Åtgärd kontrollera varje skrivning, och radera aldrig källan innan arkivet är skrivet OCH stängt utan fel

REPRODUCERAD hög

Oläsbar fil bland flera ger kärndump i stället för felkod

rapporterad av Ted Lyngmo · nvz a.txt b.txt c.txt med b.txt i läge 000

Undantaget nvz::Fel passerar ut genom main, std::terminate kallas, processen dör med SIGABRT och slutstatus 134 (kärndump). c.txt packas aldrig. gzip skriver "Permission denied", packar c.txt och slutar med 1. Underkommandot nvz packa … har try/catch — det är den dokumenterade gzip-ytan som saknar det.

Åtgärd fånga undantagen i operandloopen, varna, fortsätt med nästa fil och sätt slutstatus 1

5Rundgången, protokollförd

md5-manifest före och efter, per fil. Manifesten ligger i repot under resultat/protokoll/, så vem som helst kan köra md5sum -c mot ett uppackat träd själv. Kontrollen görs av systemets md5sum — inte av koden som skrev manifestet.

korpusfilerrå bytearkiv bytemanifest föremanifest eftermd5sum -c
kod5 97458 017 2517 631 675b561ff3d28d8…b561ff3d28d8…ok
gif10528 726 71514 865 5028e05472c70bc…8e05472c70bc…ok
foto1 143428 360 423361 852 0448989c1473571…8989c1473571…ok
arkiv133410 833 681254 310 75253081f8aa7bd…53081f8aa7bd…ok
logg76249 896 13210 513 624b057f895ed43…b057f895ed43…ok
png4 618452 014 330218 955 6454f99ac4f9efa…4f99ac4f9efa…ok
film67562 820 616557 882 170c4b518236e6e…c4b518236e6e…ok
silesia12211 938 58045 659 86804228513e32f…04228513e32f…ok

Slumpprovet. slumpade träd: storlekar, filtyper, dubbletter, rättigheter, tider, namn med nyrad och åäö, symlänkar (relativa, trasiga, kataloger), slumpat läge; varje runda packas, provas med -t, packas upp och jämförs byte för byte plus rättigheter och tider Resultat: alla 120 rundor bit-exakta. Skriptet är prov/slumpprov.py och ett misslyckat frö skrivs ut, så felet går att återskapa exakt.

6Omkostnaden på små filer

En arkivpackare som bär ett register betalar för det. Här en enstaka liten fil, där det inte finns några dubbletter och inget sammanhang mellan filer att hämta.

indatagzip -9zstd -19xz -9envz snabbnvz normalnvz liten
96 310 byte källkod27 90625 72025 17629 97725 36822 980
10 240 byte källkod––3 312–3 460–

registret kostar 150–200 byte på en enfilspackning; under ~50 kB finns ingen vinst att hämta och xz är lika bra eller bättre i läge normal

7Vad den är byggd av, och var den går

Språk
C++17
Bibliotek
libzstd, liblzma, libz, pthread
POSIX-beroenden
unistd.h, dirent.h, sys/stat.h, fcntl.h, sys/wait.h — plus symlänkar, utimensat och att binären startar sig själv för C-kodekarna
Windows
ingen native-byggnad i dag; WSL fungerar, MinGW kräver att trädvandringen, rättigheterna, symlänkarna och självstarten skrivs om
Binärens storlek
375 816 byte, dynamiskt länkad mot samma bibliotek som tar.zst och tar.xz redan behöver — ingen inbäddad ordbok och ingen modell tränad på testdatan

8Vad nvz inte är

Ingen av de tre omvandlingarna är ett nytt påfund, och det ska stå tydligt. Förlustfri JPEG-ompackning är samma idé som packJPG (2007) och Lepton (Dropbox, 2016): kasta Huffman-lagret, behåll koefficienterna exakt, koda om dem med en aritmetisk kodare. Att leta upp de zlib-parametrar som återskapar en befintlig deflate-ström är samma idé som precomp. Kontextblandning är PAQ-familjens, från 2002 och framåt.

Det som är gjort här är att sätta ihop dem i en arkivpackare där varje block får den kodek som ett prov visar är bäst, och att mäta hela saken på riktiga träd med rundgång och kontrollsummor. Entropiarbetet görs av zstd, xz och nvcm. Gränsen Shannon satte är inte utmanad någonstans — det som ändras är modellen: en deflate-ström ser slumpmässig ut för zstd, men vecklas den ut är raderna under starkt mönstrade, och ett JPEG-entropilager från 1992 är mätbart sämre än en modern aritmetisk kodare på exakt samma koefficienter.