Mätrapport · 16 november 2026 · Hugo Wikström

nvpack

En arkivpackare som vet vad den packar — och som mäter sig mot allt annat som finns installerat på maskinen. Fyra riktiga filträd, tolv packare, fyrtiosju rundgångar, varje enskild bit-exakt.

Programkod−37 %11,5 → 7,2 MiB
13 % under xz −9e
Bilder (PNG)−42 %362,9 → 208,9 MiB
15 % under zstd −22
Foton (JPEG)−15 %406,3 → 345,1 MiB
15 % under bzip2 −9
Blandat projektträd−38 %452,8 → 279,1 MiB
6 % under xz −9e
Mätt på en Ryzen AI 9 HX 470 (24 trådar, 2,0 GHz) med NVMe-disk.
Koden, korpusbyggaren och alla mätvärden ligger i ~/nvpack.
nvpack · mätrapport · november 2026sida 1 av 9
Sammanfattning

Vad problemet är


tar | zstd är två program som inte vet något om varandra. tar lägger filerna i den ordning katalogträdet råkar ha dem och skickar vidare en enda byteström. zstd ser den strömmen genom ett fönster och får aldrig veta att fil 4 000 är en exakt kopia av fil 12, att de 9 MB "slump" den just gav upp på i själva verket är en deflate-ström som går att veckla ut, eller att de 400 MB foton den maler igenom har ett entropilager från 1992 som går att byta ut.

nvpack fyller tomrummet mellan behållaren och komprimeraren. Den klassar innehållet, byter ut representationen där det finns en bättre, grupperar likt med likt, och väljer kodek per block genom att faktiskt prova. Fem mekanismer — och den här rapporten redovisar vad var och en gav, inklusive de som gav noll.

Mekanismerna, och vad de faktiskt bidrog med

mekanismutfallmätt på
Omvandla innehålletdet enda som verkligen bär: −15 % på foton, −42 % på PNGfoto, png
Dedup på filnivåstort eller noll, aldrig mittemellan: 28,7 % dubbletter i PNG-korpusen, 0,7 % i kodkorpusenalla fyra
Sortera likt med likt−1,85 % … men registret kostar +1,81 % → netto nollkod
Välja kodek genom provhela stegen zstd −19 → xz → nvcm: 8,53 → 8,23 → 7,19 MiBkod
Prova i stället för anta175 MiB på PNG-korpusen, och gränsen mellan vinst och förlust på ett riktigt arkivpng, skarpt arkiv

Sorteringsraden är värd att stanna vid. Den lät som en av huvudidéerna och visade sig betala exakt för sitt eget index, inte mer. Vinsterna kommer från att data byter representation före komprimeringen — inte från att den ligger i en smartare ordning.

Resultatet i en tabell

trädoriginal MiBdagens MiBbästa klassiskanvpack MiBmot dagens
Programkod55,311,5xz −9e · 8,27,2−37,2 %
Bilder (PNG)431,0362,9zstd −22 · 245,2208,9−42,4 %
Foton (JPEG)408,5406,3bzip2 −9 · 404,9345,1−15,1 %
Blandat projektträd1 814,4452,8xz −9e · 297,5279,1−38,4 %

Allt är förlustfritt och bit-exakt — bevisat, inte påstått.

Varje omvandling syr ihop sitt resultat igen och jämför med originalet redan vid packningen. Stämmer inte varje byte lagras filen rå i stället. Ett arkiv kan därför aldrig bli "nästan rätt": antingen är omvandlingen bevisad, eller så användes den inte. Utöver det packas och packas varje mätning i den här rapporten upp i sin helhet, och jämförs mot originalträdet med diff -rq.

nvpack · mätrapportsida 2 av 9
Delarna

Tre lager som ingen vanlig packare rör


JPEG kodas om utan att en pixel rörs  src/nvjpg.c · 760 rader C

En JPEG är DCT-koefficienter entropikodade med Huffman. Huffman kan inte koda en symbol på mindre än en bit, och vet ingenting om att blocket bredvid såg nästan likadant ut. nvjpg avkodar koefficienterna och kodar om dem med en adaptiv aritmetisk kodare vars modeller frågar tre grannskap: blocket till vänster och ovanför (hur rörig är den här delen av bilden?), samma plats i grannblocken (hur stor brukar just den frekvensen vara här?), och platserna till vänster och ovanför inuti samma block (var ligger energin?).

Resultat på hela fotokorpusen: 1 143 av 1 143 filer bit-exakta, −15,0 %. Noll råfall. Modellen trimmades fram i mätbara steg: första fungerande modell −12,0 %, grannskapskontexter −13,1 %, finare hinkar −13,9 %, takt som sjunker med antalet observationer −14,6 %, blockets täthet i storleksmodellen −14,8 %. Två idéer som lät bra ströks efter mätning: egen kontextdimension för grannblockets riktning (−13,3 %, kontexterna tunnades ut) och två fasta adaptionstakter som vägs ihop (−11,6 %, den långsamma takten drog medelvärdet mot 50 % hela bilden igenom).

PNG vecklas ut och packas om  src/png.py

Deflate från 1996 är ett dåligt skal runt bilddata: 32 kB fönster, en fil i taget. nvpack vecklar ut IDAT-strömmen till råa filterrader och packar dem tillsammans med alla andra bilders rådata. Vägen tillbaka är det svåra — deflate är inte en kanonisk kodning, så samma indata ger olika utdata beroende på nivå, minnesnivå och strategi. nvpack letar därför upp receptet: den uppsättning zlib-parametrar som råkar ge precis den ström filen redan har. Sökningen är billig eftersom zlib-huvudet röjer fönsterstorlek och nivågrupp, eftersom fel kandidat avviker inom de första hundra kilobytena och då avbryts, och eftersom receptet som senast fungerade provas först.

Hittas inget recept lagras filen rå, och det händer ofta: Chrome och gnome-screenshot använder deflate-motorer som systemets zlib inte kan härma. I PNG-korpusen gick 281 av 4 422 provade filer att veckla ut — vinsten på dem som gick är desto större.

En egen kompressor för källkod  src/nvcm.c · 450 rader C

xz var det starkaste som fanns installerat, så nvpack fick något starkare. I stället för att hänvisa bakåt i en ordbok gissar nvcm nästa bit, med åtta modeller samtidigt: ordning 0–8, en ordmodell, och en matchmodell som gör ordbokspackarens trick som en röst bland andra. En blandare lär sig under tiden vem som brukar ha rätt, och två efterjusterare putsar resultatet.

indataxz −9envcm
källkod, 8 MB782 876663 744−15 %
seq 1 5000010 16047 548+368 %

Den är alltså inte bättre på allt — en modell som gissar nästa bit ur de föregående byten ser inte att ett tal ökar med ett, medan ordbokspackarens matchningslängd gör det. Därför provas nvcm mot xz och zstd per block i stället för att väljas på filtyp.

nvpack · mätrapportsida 3 av 9
Mätningen

Fyra träd, tolv packare


Stapeln visar hur stor del av originalet som är kvar — kortare är bättre. Det streckade märket är dagens arkivskript: allt till vänster om det är en vinst, allt till höger en förlust.

Programkod — 55,3 MiB i 5 962 filer
Källkod ur arton projekt på maskinen: .mjs, .py, .ts, .json, .html, .css, .md
tar.gz -612,32+7,5
tar.gz -9 (pigz)12,18+6,3
tar.zst -3 (dagens)11,46—
nvpack snabb11,32−1,2
tar.bz2 -99,51−17,0
tar.zst -19 --long8,53−25,6
tar.zst -22 --ultra8,45−26,2
tar.xz -9e8,23−28,2
nvpack utan knep8,19−28,5
nvpack normal8,19−28,6
nvpack liten7,19−37,2
nvpack   dagens arkivskript   klassiska verktygstapel = andel av originalets 55,3 MiB · streck = dagens nivå
Bilder (PNG) — 431,0 MiB i 4 617 filer
Skärmdumpar, renderade produktbilder och paritetsklipp ur ting
tar.gz -9 (pigz)401,9+10,8
tar.gz -6401,7+10,7
tar.bz2 -9385,4+6,2
tar.zst -3 (dagens)362,9—
nvpack snabb279,3−23,0
tar.xz -9e266,4−26,6
nvpack utan knep256,4−29,3
tar.zst -19 --long252,7−30,3
tar.zst -22 --ultra245,2−32,4
nvpack normal208,9−42,4
nvpack liten208,9−42,4
nvpack   dagens arkivskript   klassiska verktygstapel = andel av originalets 431,0 MiB · streck = dagens nivå
nvpack · mätrapportsida 4 av 9
Foton (JPEG) — 408,5 MiB i 1 143 filer
Kamerabilder ur Pecka-arkivet plus TikTok-omslag — alla baseline-JPEG
nvpack snabb408,5+0,5
nvpack utan knep406,4+0,0
tar.zst -3 (dagens)406,3—
tar.gz -9 (pigz)406,0−0,1
tar.gz -6405,8−0,1
tar.xz -9e405,4−0,2
tar.zst -19 --long405,1−0,3
tar.zst -22 --ultra405,1−0,3
tar.bz2 -9404,9−0,3
nvpack liten345,1−15,1
nvpack normal345,1−15,1
nvpack   dagens arkivskript   klassiska verktygstapel = andel av originalets 408,5 MiB · streck = dagens nivå
Blandat projektträd — 1 814,4 MiB i 15 139 filer
Hela ~/symbios-3d: 1,2 GB delade bibliotek, 4 600 .py, 4 600 .pyc, en hel arbetskopia
tar.gz -6494,0+9,1
tar.gz -9 (pigz)489,6+8,1
tar.zst -3 (dagens)452,8—
tar.bz2 -9442,9−2,2
nvpack snabb407,4−10,0
tar.zst -19 --long319,3−29,5
tar.zst -22 --ultra301,2−33,5
tar.xz -9e297,5−34,3
nvpack normal282,2−37,7
nvpack liten279,1−38,4
nvpack   dagens arkivskript   klassiska verktygstapel = andel av originalets 1 814,4 MiB · streck = dagens nivå

Vad diagrammen säger

nvpack · mätrapportsida 5 av 9
Fynd

Tre gånger hade jag fel


Varje designbeslut i nvpack är mätt fram, och tre av dem gick tvärtemot vad som verkade självklart. De tre är anledningen till att siffrorna ser ut som de gör.

1

PNG som blåses upp hundra gånger är värda mest

Jag satte ett tak: en bild vars rådata blir mer än sexton gånger större än dess deflate-ström ansågs inte värd att veckla ut. Mätningen gav −40 % just i den högsta klassen — mest av alla. I efterhand är det logiskt. En bild som deflate klämt 50:1 är ett skärmklipp med stora enfärgade ytor, och när femtio sådana ligger utvecklade i samma block hittar en modern packare likheterna mellan bilderna. Det kunde deflate aldrig se genom sitt 32 kB-fönster, en fil i taget.

uppblåsningfileroriginalzstd19 på original via utvecklingvinst
2–4×1317,5 MB17,48 MB13,92 MB20,4 %
4–8×1432,1 MB26,51 MB18,45 MB30,4 %
8–16×4061,5 MB49,93 MB40,95 MB18,0 %
16–32×2617,7 MB12,24 MB9,88 MB19,3 %
32×+18813,4 MB7,31 MB4,35 MB40,4 %
2

"Redan packat" får inte vara ett antagande

Film, zip och PNG som inte kunde vecklas ut lagrades rått per definition — det sparar packtid på data där ingen komprimerare ändå hittar något. På PNG-korpusen kostade det 175 MiB, och på det skarpa lostconnection-arkivet gjorde det nvpack sämre än dagens: en halv procent av 2,9 GB film är fjorton megabyte, och zstd -3 tar dem på några sekunder. Nu provpackas varje block på åtta ställen med varje kodek, och tröskeln har tre utfall i stället för två — rått under 0,2 %, billig kodek däremellan, dyr kodek när det finns något att hämta.

3

Provsviten hittade tyst dataförlust

En symlänk som pekar på en katalog försvann helt ur arkivet — utan fel, utan varning. Den dyker upp bland de kataloger os.walk rapporterar, inte bland dess filer, och koden letade bara efter länkar bland filerna. Katalogernas egna tidsstämplar återställdes inte heller. Båda hade gått obemärkt förbi i varje storleksmätning — mätningar jämför innehåll, inte träd. Det är därför provsviten bygger ett träd av kantfall: tomma filer, trasiga länkar, filnamn med nyrad i, udda rättigheter, tidsstämplar från 1985 och 2031.

nvpack · mätrapportsida 6 av 9
Vad som skiljer den från andra

Skillnaden är ett lager, inte en inställning


gzip, bzip2, xz och zstd är byteströmspackare: de ser en enda ström och vet ingenting om filer eller filtyper. tar är en behållare utan komprimering, utan index och utan dedup. nvpack bor i tomrummet mellan dem.

ser filerindex dedupomvandlarväljer kodek
gzip / bzip2 / xz / zstdnejnej via fönstretnejnej
tarjanejnej nej—
zipjajanej nejnej
7-Zipjajanej delvisper typ
restic / borgjaja starkarenejnej
nvpackjaja jajamätt, per block

Vad som är nytt — och vad som inte är det

Ingen av de tre omvandlingarna är uppfunnen här. PNG-receptsökningen gör precomp och reflate sedan länge. Förlustfri JPEG-ompackning gör lepton och brunsli — och bättre än min, cirka 22 % mot mina 15 %. Kontextblandning är paq- och zpaq-familjen, och de är långt starkare än nvcm. Skillnaden är inte uppfinningen utan integrationen: ett enda arkivprogram som gör allt det här, och som för varje omvandling bevisar att den går att vända innan den används. Inget av de klassiska verktygen försöker ens; de specialiserade gör det var och en för sin filtyp, och ingen av dem fanns installerad på den här maskinen.

Vad nvpack inte kan som de andra kan

Och så verkligheten: ditt eget arkiv

Korpusarna i den här rapporten är rena. Ett riktigt projektträd är blandat, och blandningen avgör vad man faktiskt tjänar. På hela ~/lostconnection (2,9 GB, 2 009 filer) är vinsten −0,09 %: 2 869,25 → 2 866,74 MiB. Utan data/klipp (25 MB, 432 filer) är den −3,8 %: 17,17 → 16,52 MiB.

Det är det ärliga svaret för just det arkivet — ingenting hjälper, för det ÄR 517 filmer. Film är redan packad av en videokodare, och där finns inget motsvarande entropilager att byta ut. Byt alltså inte ut scripts/arkivera.sh för storlekens skull.

nvpack · mätrapportsida 7 av 9
Bilaga

Alla mätvärden


Varje rad är en hel rundgång: packa, packa upp, och diff -rq mot originalträdet. Kolumnen längst till höger är utfallet av den jämförelsen, inte en förhoppning. Korpusarna byggs av korpus/bygg-korpus.py ur riktiga projekt på maskinen, som hårdlänkar — noll extra diskutrymme, exakt samma bytes.

Programkod — 55,3 MiB i 5 962 filer
packareMiBkvotmot dagenspackninguppackningbit-exakt
tar (okomprimerad)60,830,91×+430,8 %0,1 s0,1 sja
tar.gz -612,324,49×+7,5 %2,2 s0,3 sja
tar.gz -9 (pigz)12,184,54×+6,3 %0,5 s0,3 sja
tar.bz2 -99,515,81×−17,0 %7,5 s2,3 sja
tar.zst -3 (dagens)11,464,82×—0,2 s0,1 sja
tar.zst -19 --long8,536,48×−25,6 %34,7 s0,1 sja
tar.zst -22 --ultra8,456,54×−26,2 %56,4 s0,1 sja
tar.xz -9e8,236,72×−28,2 %46,8 s0,6 sja
nvpack snabb11,324,88×−1,2 %2,7 s0,8 sja
nvpack utan knep8,196,75×−28,5 %42,6 s1,2 sja
nvpack normal8,196,75×−28,6 %43,2 s1,2 sja
nvpack liten7,197,69×−37,2 %71,3 s67,9 sja
Bilder (PNG) — 431,0 MiB i 4 617 filer
packareMiBkvotmot dagenspackninguppackningbit-exakt
tar (okomprimerad)438,410,98×+20,8 %2,8 s0,3 sja
tar.gz -6401,671,07×+10,7 %20,1 s2,5 sja
tar.gz -9 (pigz)401,891,07×+10,8 %1,8 s2,6 sja
tar.bz2 -9385,381,12×+6,2 %73,9 s44,0 sja
tar.zst -3 (dagens)362,851,19×—0,6 s0,3 sja
tar.zst -19 --long252,731,71×−30,3 %39,8 s0,5 sja
tar.zst -22 --ultra245,221,76×−32,4 %156,2 s0,8 sja
tar.xz -9e266,411,62×−26,6 %128,4 s4,9 sja
nvpack snabb279,281,54×−23,0 %2,8 s0,8 sja
nvpack utan knep256,421,68×−29,3 %44,6 s1,7 sja
nvpack normal208,882,06×−42,4 %254,0 s9,5 sja
nvpack liten208,882,06×−42,4 %250,8 s9,3 sja
nvpack · mätrapportsida 8 av 9
Foton (JPEG) — 408,5 MiB i 1 143 filer
packareMiBkvotmot dagenspackninguppackningbit-exakt
tar (okomprimerad)409,371,00×+0,8 %2,1 s0,2 sja
tar.gz -6405,811,01×−0,1 %19,1 s2,0 sja
tar.gz -9 (pigz)406,041,01×−0,1 %1,3 s1,6 sja
tar.bz2 -9404,941,01×−0,3 %56,8 s40,9 sja
tar.zst -3 (dagens)406,301,01×—0,5 s0,2 sja
tar.zst -19 --long405,091,01×−0,3 %53,1 s0,4 sja
tar.zst -22 --ultra405,091,01×−0,3 %225,4 s0,4 sja
tar.xz -9e405,431,01×−0,2 %157,3 s3,5 sja
nvpack snabb408,501,00×+0,5 %1,1 s0,4 sja
nvpack utan knep406,351,01×+0,0 %12,6 s0,6 sja
nvpack normal345,071,18×−15,1 %21,5 s7,8 sja
nvpack liten345,071,18×−15,1 %27,9 s7,9 sja
Blandat projektträd — 1 814,4 MiB i 15 139 filer
packareMiBkvotmot dagenspackninguppackningbit-exakt
tar (okomprimerad)1 804,141,01×+298,4 %6,6 s1,5 sja
tar.gz -6494,043,67×+9,1 %98,9 s10,0 sja
tar.gz -9 (pigz)489,623,71×+8,1 %19,1 s9,4 sja
tar.bz2 -9442,884,10×−2,2 %207,6 s82,1 sja
tar.zst -3 (dagens)452,834,01×—2,1 s3,1 sja
tar.zst -19 --long319,305,68×−29,5 %148,9 s4,3 sja
tar.zst -22 --ultra301,216,02×−33,5 %622,9 s4,1 sja
tar.xz -9e297,546,10×−34,3 %289,3 s5,3 sja
nvpack snabb407,374,45×−10,0 %14,2 s3,8 sja
nvpack normal282,256,43×−37,7 %315,4 s8,3 sja
nvpack liten279,106,50×−38,4 %325,4 s207,4 sja

Så kör du det

cd ~/nvpack && make                         # bygger C-delarna
bash prov/prova-allt.sh                      # provsviten, alla kantfall

./src/nvpack packa ~/projekt ark.nv --läge normal
./src/nvpack packa-upp ark.nv /tmp/åter
./src/nvpack lista ark.nv                    # block, kodek och kvot
./src/nvpack prova ~/projekt                 # packa, packa upp, jämför

python3 matning/matning.py kod               # mät om en korpus
python3 matning/rapport.py --in-i-readme     # bygg om tabellerna
python3 rapport/bygg-tryck.py                # bygg om den här PDF:en

Tre lägen: snabb motsvarar dagens arkivskript (zstd −3, inga omvandlingar), normal är standard, och liten släpper dessutom in nvcm på de textblock där provet visar att den vinner.

nvpack · mätrapportsida 9 av 9