nattviken

hz — en arkivpackare som vet vad den packar

github.com/hugowikstrom/hz

In English →

tar | zstd är två program som inte vet något om varandra. tar lägger filerna i den ordning katalogträdet råkar ha dem; komprimeraren ser strömmen genom ett fönster och får aldrig veta att fil 4000 är en kopia av fil 12, eller att de nio megabyte "slump" den just gav upp på egentligen är en PNG-ström som går att veckla ut.

hz vet. Den klassificerar innehållet, lagrar dubbletter en gång, sorterar lika filer intill varandra, vecklar ut PNG:ers deflate-lager och hittar receptet som syr ihop dem bitexakt igen, kodar om JPEG:ers Huffman-lager till aritmetisk kod utan att röra en pixel — och låter varje block välja kodek genom prov i stället för antagande. Allt är förlustfritt och bevisas vid packning: det som inte kan återskapas exakt lagras rått.

Så fungerar den

Fem saker händer innan en enda byte komprimeras, och en sjätte när det väl sker.

1. Innehållet klassificeras. Varje fil läses en gång och får en klass ur sitt eget innehåll, inte ur sitt filnamn: text, binär, PNG, JPEG eller opak — redan komprimerad. Klassen avgör allt som följer.

2. Identiska filer lagras en gång. Innehållet hashas, och dubbletter blir pekare in i samma block. tar lagrar varje kopia och hoppas att komprimeraren hittar dem, vilket den bara gör om de råkar ligga inom fönstret. I PNG-korpusen är 28,7 % av byten dubbletter.

3. Lika filer läggs intill varandra. Posterna sorteras på klass och ändelse, så att all JavaScript ligger i en följd och alla skärmdumpar i en annan. Hur mycket det är värt beror helt på fönstret och på hur utspridd likheten var från början — på korpusarna här mäter den noll, och på ett träd där likheterna ligger utslängda −8 %. Se frågan om sortering nedan.

4. PNG vecklas ut och packas om. En PNG är redan deflate-packad, och deflate från 1996 är ett dåligt skal att ha runt sin bilddata: 32 kB fönster, en fil i taget. hz vecklar ut IDAT-strömmen till råa filterrader och packar dem tillsammans med alla andra bilders rådata. Vägen tillbaka är det svåra — deflate är inte kanoniskt, samma indata ger olika utdata beroende på parametrar — så hz letar upp receptet: den uppsättning zlib-parametrar som råkar ge precis den ström filen redan har.

5. JPEG kodas om utan att en pixel rörs. En JPEG är DCT-koefficienter Huffman-kodade, och Huffman kan inte lägga en symbol på mindre än en hel bit. hz avkodar strömmen och kodar om samma koefficienter med en adaptiv aritmetisk kodare som kan. −15 % på riktiga foton, och bilden är densamma in i minsta bit.

6. Ingenting antas — allt provas. Varje block väljer kodek genom att packa ett stickprov med varje kandidat: zstd, xz eller den egna kontextblandaren nvcm. Därtill provas varje omvandling i båda riktningarna redan vid packningen. Det som inte kan återskapas exakt lagras rått. Det är därför "förlustfritt" här inte är ett löfte utan en kontroll som körs.

Kommandoraden är gzips, för gzips yta är den man redan har i fingrarna: hz katalog ger katalog.nv, hz -d katalog.nv ger trädet tillbaka, och -c -d -k -l -t -v -1…-9 betyder vad de betyder i gzip. En skillnad är med flit: en katalog som operand blir ett arkiv av hela trädet — det är vad hz finns för — och källträdet lämnas alltid kvar.

Uppmätt

korpusmot dagens tar+zstd −3mot bästa klassiska verktyg
loggfiler−55,2 %−15,4 % mot xz −9e
GIF-bilder−47,6 %±0
PNG-bilder−42,9 %−15,5 %
enwik8−39,6 %−13,7 %
arkiv av arkiv−37,9 %−2,4 % mot zstd −22, och −0,05 % mot LZMA2 i maxform
programkod−37,1 %−12,5 %
Silesia−31,0 %−5,7 %
JPEG-foton−15,1 %−14,8 % (ingen klassisk tar något alls)
film−0,3 %±0 — men på en sjättedel av tiden

Och sedan 2026-11-18 räcker det inte med att vara minst: på sex av de nio korpusarna är hz både mindre och snabbare än det bästa etablerade verktyget på samma maskin. Rapporten som visar det står nedan.

Den egna kompressorn nvcm (kontextblandning, åtta modeller som röstar per bit) slår xz -9e på båda standardkorpusarna: 1,677 bit/byte på Silesia och 1,713 på enwik8 — mellan ordbokspackarna och de tunga kontextblandarna på LTCB-skalan, fast i en 26 kB stor binär.

Hela mätningen — elva korpusar, återskapningsprov ner på nanosekundtider, fem sorters avsiktlig skada — finns som rapport i repot på svenska och engelska.

Rapport: hz mot det etablerade

18 november 2026. Samma text finns som daterad spaning på /spaningar/hz-mot-det-etablerade/.

Tabellen ovan jämför storlek och tid var för sig. Det är den lätta frågan. Den hårda är om hz slår samma motståndare på båda axlarna samtidigt: mindre arkiv och kortare packtid än det bästa etablerade verktyget på just den korpusen, mätt på samma maskin.

Motståndaren är därför inte vald av mig. För varje korpus tas den av gzip, bzip2, zstd och xz som gav minsta arkiv, med sin egen uppmätta packtid. Av hz:s lägen räknas det minsta av dem som dominerar.

korpusbästa etableradehzutfall
programkodxz -9e 8 629 516 B / 47 snormal 8 580 323 B / 40 s−0,57 % och 15 % snabbare
PNG-bilderzstd -22 257 132 369 B / 156 snormal 230 452 176 B / 127 s−10,4 % och 18 % snabbare
JPEG-fotonbzip2 -9 424 611 032 B / 57 snormal 361 834 581 B / 48 s−14,8 % och 16 % snabbare
arkiv av arkivzstd -22 254 567 277 B / 154 snormal 254 287 214 B / 153 s−0,11 % och 1 % snabbare
loggfilerxz -9e 12 419 456 B / 897 sliten 10 512 452 B / 191 s−15,4 % och 79 % snabbare
Silesiaxz -9e 48 408 228 B / 158 sliten 45 657 473 B / 100 s−5,7 % och 37 % snabbare
GIF-bilderzstd -22 14 867 185 B / 5 sliten 14 864 575 B / 6 s−0,02 %, men 20 % längre tid
filmzstd -19 557 861 782 B / 57 snormal 557 880 433 B / 56 ssnabbare, men 18 kB större
enwik8xz -9e 24 831 492 B / 121 sliten 21 417 335 B / 129 s−13,8 %, men 7 % längre tid

Sex av nio, och de tre som återstår är de tre där det inte finns något att vinna. GIF och film är redan entropikodade — 0,02 respektive 0,00 procent att hämta — så där syns bara hz:s fasta kostnad. enwik8 är en enda fil, och det är värre än det låter: hz kan inte ens dela arbetet, för ett block fylls av hela objekt och en 95 MB-fil hamnar därför alltid i ett block. Dedup, sortering och omvandlingar har ingenting att bidra med, och kvar står nvcm:s pris i tid.

Gränsen går alltså inte mellan datatyper. Den går mellan utnyttjbar struktur och ingen.

Fyra mätningar som flyttade något

Ordboken ska täcka blocket. LZMA:s preset 9e har en fast ordbok på 64 MiB. hz:s block är större — 192 MiB för vanliga klasser, hela korpusen för opaka — så kompressorn kunde per konstruktion inte se en upprepning längre bak än 64 MiB, hur stort blocket än var. Och det är precis den upprepningen dedupen och sorteringen lägger dit. Mätt på 120 MiB arkivdata: 98 700 988 byte med 64 MiB ordbok, 96 559 784 med en som täcker indatan. 2,17 % mindre och 12 % snabbare — en funnen matchning är billigare än en fortsatt sökning.

Stickprovet har en blind fläck. Kodekprovet tar 4 MiB som åtta lösryckta bitar ur blocket. Rätt konstruktion för att se vad datan är, men den river sönder långdistansstrukturen som skiljer kodekerna åt: åtta bitar ur skilda delar av blocket har inga upprepningar mellan sig. På ett 120 MiB-block ur arkivkorpusen valde provet zstd och fick 100,13 MiB, medan xz med täckande ordbok gav 91,97. Provet missade åtta procent.

Registret bar 16 byte hash per fil. Hashen finns för att hz -t ska upptäcka felmonterat innehåll, och 32 bitar räcker för det — bitfel fångas redan av blockens CRC64. Men hashar är slumpmässiga och därmed inkomprimerbara: på kodkorpusen var de 94 368 byte av ett register på 239 049. Elva promille av hela arkivet, i ett fält ingen läser.

Det billiga steget var inte billigt. Tvåstegsregeln för opaka block använde zstd -19 för att svara på frågan "har blocket tiotals procent att ge?". Den frågan behöver ingen stark kompressor. zstd -3 --long=27 ger samma svar på 725 millisekunder i stället för 48 sekunder.

Tre av ändringarna rättade regressioner de själva orsakat

Det här är den delen jag tar med mig. Den täckande ordboken band 2,7 GB per kodare, och eftersom minnesgrinden då bara släppte fram en åt gången gick PNG-korpusen från 268 till 841 sekunder — för 0,06 % mindre arkiv. En ordboksvinst som tar bort parallelliteten är ingen vinst. Rättelsen var pinsamt enkel i efterhand: en ordbok större än blocket kan per konstruktion inte användas, men den kostar minne ändå. Golvet togs bort och tiden blev 127 s.

Samma mönster två gånger till. Att alltid pröva om kodekvalet på hela blocket fördubblade enwik8 från 131 till 259 sekunder utan att spara en enda byte — på text vinner nvcm med tiotals procent och vinner också hela blocket, så omprövningen görs nu bara när provets försprång var tunt. Och zstd -3 utan långt fönster såg bara 2,6 % av arkivkorpusens 33: hela eskaleringen uteblev och arkivet växte från 248 till 271 MB, innan --long=27 gav 27,6 % på samma 725 ms. Fönstret var gratis; nivån var dyr.

Och en bugg som inte låg i hz

Mitt i ommätningen rapporterade två rader att tre filer inte kom tillbaka likadana. Arkivet var felfritt. Det var korpusen som rörde sig: byggskriptet hårdlänkar i stället för att kopiera, så filen i korpus/kod är samma inod som filen i det levande arbetsträdet — 5 971 av 5 974 filer i kodkorpusen, alla i png, foto, gif och film. Tre filer i ett projektträd sparades i ett annat fönster medan mätningen pågick.

Loggkorpusen har alltid kopierats av precis det skälet; det stod i byggskriptets eget huvud. Slutsatsen gällde alla korpusar. Mätskriptet tar nu ett avtryck av korpusen före och efter varje mätning och vägrar tolka en körning där den rört sig, och korpusen går att frysa med --kopiera. Men konsekvensen är bredare än två rader: varje tal mätt före den dagen vilar på en korpus som kunde röra sig.

Det som inte gick att vinna

Tre saker står kvar, och de hör i en rapport lika mycket som vinsterna: GPU-läget vinner inget block, under 30 kB indata är hz större än xz −9e, och den förlustfria JPEG-omkodningen ligger fem procentenheter under packJPG och Lepton, som gjort samma sak sedan 2006 respektive 2016. Var och en av dem har ett eget svar bland frågorna nedan, med siffran och orsaken.

Vanliga frågor

Frågorna nedan är inte påhittade. De ställdes när hz lades ut, i de dryga nittio kommentarer inlägget fick. De flesta är invändningar, och några av dem ändrade koden. Siffrorna går att pröva: allt står i rapporten ovan och i repot.

Går det att packa upp igen? Ja, och det är det enda kravet i projektet som behandlas som ett krav och inte ett mål. Varje omvandling provas i båda riktningarna redan vid packning: det som inte kan återskapas exakt lagras rått. Belägget är md5-manifest före och efter på tolv tusen filer, linuxkärnan med 86 618 av 86 618 filer OK, tusen slumpgenererade träd och fem sorters avsiktlig skada som alla avvisades i stället för att ge fel data.

Är det samma metod som zip? Nej, och delvis ja. zip är deflate från 1993: LZ77 med 32 kB fönster plus Huffman, en fil i taget. hz har tre lager där zip har ett. Före kompressionen händer det som zip inte gör alls — dubbletter lagras en gång, lika filer läggs intill varandra, och PNG:ers och JPEG:ars egna kompressionslager plockas bort så att rådatan kan packas tillsammans med allt annat. Själva kompressionen är i normalfallet inte egen: det är libzstd och liblzma, samma bibliotek som zstd och xz, valda per block genom att de provas på datan. Egna kodare finns för två fall.

Använder den Huffman? Tvärtom — hz:s egna kodare tar bort Huffman. En JPEG är DCT-koefficienter Huffman-kodade, och Huffman kan inte koda en symbol på mindre än en hel bit. nvjpg avkodar strömmen och kodar om samma koefficienter med en adaptiv binär aritmetisk kodare som kan lägga en symbol på en bråkdels bit. Det är där de 15 procenten kommer ifrån, och det är också varför ingen pixel rörs.

Bryter det här mot entropigränsen? Nej, och hz påstår inte det. Gränsen är inte en egenskap hos datan utan hos datan under en modell. Allt som hänt i kompressionshistorien sedan Shannon är modellförbättringar, inte brott mot satsen. Konkret: på enwik8, där litteraturen mätt i trettio år, förlorar hz mot paq8px — 20,4 mot 15,8 MB. Ett verktyg som bröt mot gränsen skulle inte ligga 29 % efter en publicerad kontextblandare.

Måste man inte räkna in programmet självt? Jo, och det är rätt fråga att ställa till alla som påstår fantastisk kompression. Binären är ~430 kB, den innehåller noll inbyggda ordböcker eller tränade tabeller, och den växer inte med korpusen — nvcm bygger sina tabeller ur datan vid körning och slänger dem. Till jämförelse är xz plus liblzma 316 kB. Och vinsten är större än programmet: på loggkorpusen sparar hz 1,8 MiB mot xz −9e, fem gånger hela binären. Det slutliga provet är ändå linuxkärnan — en korpus från tredje part som programmet aldrig sett.

Är inte vinsten bara att filerna sorteras? Nej, och mätningen säger det på ett sätt som inte gynnar hz: med kompressorn konstant är sorteringen värd noll på både kod- och PNG-korpusen, med litet fönster till och med svagt negativt. Den betalar sig först när likheterna ligger utspridda och fönstret är litet — samma kodfiler utslängda i 200 slumpade kataloger ger −8,0 % med 2 MiB fönster och −2,2 % med 64 MiB ordbok. Metoden är dessutom känd sedan länge (gwern.net/sort). hz:s uppmätta vinster kommer från PNG- och JPEG-omvandlingarna, från dedupen där det finns dubbletter, och från kontextblandaren.

Är resultatet anpassat till testdatan? Det är invändningen som inte går att besvara med mer av samma data, så svaret är data som inte är vår: linuxkärnan 6.12 hämtad från kernel.org, och zlib-ng:s corpora med Calgary och Canterbury — litteraturens gamla standardkorpusar, som dessutom består av små filer och alltså är hz:s svagaste område. Sju vinster av åtta där, och på kärnan −12,0 % mot bästa klassiska, vilket ligger i samma storleksordning som den egna kodkorpusen (−11,6 %). Därtill tusen slumpgenererade träd genom hela rundgången.

Hur stor är kodboken? Noll byte. hz har ingen. nvcm:s modell är adaptiv — den byggs ur datan under packningen och byggs identiskt om under uppackningen, så den behöver aldrig lagras. Priset tas i minne i stället: omkring 537 MiB för nvcm, mot xz −9e:s 674 MiB.

Hur går det med små filer, säg 100 kB? Brytpunkten mot xz −9e går vid ungefär 30 kB. Under den förlorar hz (+14 % vid 1 kB), över den vinner den (−12 % vid 100 kB, −15 % vid 1 MiB). Orsaken är inte kompressionen utan registret: vid 1 kB är hz:s nyttolast redan 80 byte mindre än xz:s hela fil, men registret lägger på 175 byte mot xz:s ~60.

Tar den inte mycket längre tid? På sex av nio korpusar är hz både mindre och snabbare än det bästa etablerade verktyget — se dominanstabellen ovan. Där liten vinner stort på text kostar den däremot 50–100 gånger längre uppackning, och det är en avvägning som är uttalad: normal packar upp kodkorpusen på en sekund, snabbare än tar.xz. Och snabb gör samma korpus 29,5 % mindre än zip -6 på en tredjedel av tiden.

Går det att göra den snabbare? Inte genom att packa sämre, vilket förvånade mig. Med kompressionen helt avstängd tar snabb 660 ms av sina 740 — kodeken är elva procent av tiden. Resten är fem svep över datan: läsa, hasha, läsa igen, kopiera in i blocket, skriva. Vägen till ett snabbare läge går alltså genom färre svep, inte genom en svagare kodek.

Vad gör den med JPEG? −15,1 % på 1 143 riktiga foton, förlustfritt och md5-verifierat; ingen pixel rörs. Men det ska sägas rakt ut: det är inte nytt, och hz är sämre än känd teknik. packJPG (2006), Lepton (Dropbox 2016) och brunsli gör samma sak och publicerar 20–22 %.

Har du provat LZMA2 i maxform? Ja — 7-Zip -mx=9 med 512 MiB ordbok och solid arkiv, vilket är en starkare motståndare än xz -9e. hz vinner på allt med text (kod −11,4 %, loggar −29,2 %, enwik8 −13,6 %) och ligger 0,05 % under även på arkiv-av-arkiv, som var det enda stället där LZMA2-maxformen först var starkare. 7-Zip packar däremot genomgående snabbare.

GPU? AVX-512? GPU-läget är byggt och mätt, och svaret är nej på den här maskinen. LZ77-matchningen blir 2,1–2,7 gånger snabbare på grafikkortet — men packningen blir inte snabbare alls, eftersom entropikodningen är seriell och Amdahls lag vinner. Koden ligger kvar i repot som mätinstrument. AVX-512 finns i maskinen och används inte; vinsten är omätt och kan vara noll, eftersom nvcm:s inre slinga domineras av spridda tabellslag.

Går den att använda på Windows eller macOS? Ja, sedan 2026-11-19 — på två sätt. Den optimerade C++-binären är Linux-bunden (fork, pipe2, /proc/self/exe; på Windows fungerar den i WSL2). Men repot har nu portable/hzpy.py: ren standardbiblioteks-Python utan beroenden som packar, packar upp, listar och provar hz-arkiv överallt där Python 3.8+ finns. Den skriver vanliga hz-arkiv begränsade till ra/xz-kodekarna utan omvandlingar — Linux-hz packar upp dem bitexakt, och hz packa --portable gör arkiv som går åt andra hållet. Långsammare och något större, med flit: det är priset för att fungera överallt.

Är något av det här nytt? Ingen enskild metod. Likhetssortering, deduplicering, deflate-återskapning med receptsökning, förlustfri JPEG-omkodning, kontextblandning och innehållsmedvetet filterval är alla publicerade sedan länge, och rapporten har ett eget avsnitt som ger var sak sin upphovsman. Det som är eget är paketeringen — delarna i ett format med en återskapningsgaranti, kodekvalet avgjort genom prov i stället för regel — och mätningen av vad paketeringen är värd.

Har koden granskats av någon annan? Ja, och det gav mest av allt. Ted Lyngmo läste hela C++-koden och hittade tre riktiga fel: PNG-receptet var inte portabelt mellan zlib-versioner, skrivfel kunde ge tyst dataförlust eftersom gzip-ytan raderar originalet, och en oläsbar fil kraschade processen med core dump. Alla tre är åtgärdade, och hans reproduktion ligger i repot som regressionsprov (prov/brister.sh). Vid åtgärden visade sig det första felet dessutom vara värre än rapporterat: en ström med rätt längd men fel bytes hade gett en PNG med fel bilddata och en checksumma som såg riktig ut. Tyst korruption är det enda en packare aldrig får göra, och det var vad som fanns där.

De tre felen hade samma orsak, och den är värd att ta med sig: hz:s egen kontroll packar och packar upp på samma maskin, i ett lyckat flöde, med läsbara filer och ledig disk. Alla tre bodde utanför den gränsen.

Byggd som

En enda C++17-binär på ~430 kB. De egna kodekarna nvcm och nvjpg är inlänkade och körs som arbetarprocesser via /proc/self/exe; zstd, xz och zlib anropas som bibliotek i samma process. Kommandoraden är gzips — hz katalog, hz -d arkiv.nv — för varje skript som redan finns talar den dialekten.

Ladda ner

Linuxvarianten byggs från källkoden (make && make install). För macOS och Windows finns den portabla varianten — ren Python-standardbibliotek, långsammare och något större arkiv, men bitexakt och utbytbar med Linux-hz (--portable-läget där).

packa upp och kör ./install.sh, eller brew install --formula med hz.rb

packa upp och kör install.ps1 (kräver Python 3.8+ från python.org eller Microsoft Store)

python3 hz-2.0.pyz pack <katalog> <arkiv.nv>

(GPL-2.0-only), hela Linuxverktyget med kodekar och prov

Kontrollsummor: SHA256SUMS. Paketen byggs deterministiskt — samma commit ger samma byte.

← Alla projekt