nvz — en arkivpackare som vet vad den packar
tar | zstd är två program som inte vet något om varandra. tar lägger filerna i den ordning katalogträdet råkar ha dem; komprimeraren ser strömmen genom ett fönster och får aldrig veta att fil 4000 är en kopia av fil 12, eller att de nio megabyte "slump" den just gav upp på egentligen är en PNG-ström som går att veckla ut.
nvz vet. Den klassificerar innehållet, lagrar dubbletter en gång, sorterar lika filer intill varandra, vecklar ut PNG:ers deflate-lager och hittar receptet som syr ihop dem bitexakt igen, kodar om JPEG:ers Huffman-lager till aritmetisk kod utan att röra en pixel — och låter varje block välja kodek genom prov i stället för antagande. Allt är förlustfritt och bevisas vid packning: det som inte kan återskapas exakt lagras rått.
Uppmätt
| korpus | mot dagens tar+zstd −3 | mot bästa klassiska verktyg |
|---|---|---|
| loggfiler | −55 % | −15 % mot xz −9e |
| programkod | −37 % | −12 % |
| PNG-bilder | −42 % | −15 % |
| JPEG-foton | −15 % | −15 % (ingen klassisk tar något alls) |
| film | ±0 | ±0 — men på en sjättedel av tiden |
Den egna kompressorn nvcm (kontextblandning, åtta modeller som röstar per bit) slår xz -9e på båda standardkorpusarna: 1,677 bit/byte på Silesia och 1,713 på enwik8 — mellan ordbokspackarna och de tunga kontextblandarna på LTCB-skalan, fast i en 26 kB stor binär.
Hela mätningen — elva korpusar, återskapningsprov ner på nanosekundtider, fem sorters avsiktlig skada — finns som rapport i repot på svenska och engelska.
Byggd som
En enda C++17-binär på 287 kB. De egna kodekarna nvcm och nvjpg är inlänkade och körs som arbetarprocesser via /proc/self/exe; zstd, xz och zlib anropas som bibliotek i samma process. Kommandoraden är gzips — nvz katalog, nvz -d arkiv.nv — för varje skript som redan finns talar den dialekten.