Mätrapport · 15 november 2026

nvpack

En arkivpackare som vet vad den packar. Den klassar innehållet, lagrar dubbletter en gång, lägger lika filer intill varandra och kör två egna omvandlingar innan komprimeringen — allt bit-exakt. Här är vad den gör mot dagens tar | zstd -3, mätt på riktiga filer från den här maskinen.

Programkod −37 % 11,46 → 7,19 MiB
13 % mindre än xz -9e, det bästa som fanns installerat
Bilder (PNG) −42 % 362,85 → 208,88 MiB
15 % mindre än bästa klassiska zstd -22
Foton (JPEG) −15 % 406,30 → 345,07 MiB
där varje klassiskt verktyg stannar under 1 %
Blandat träd · 1,8 GB −38 % 452,83 → 279,10 MiB
6 % mindre än xz -9e på nästan samma tid

Varje siffra är en hel rundgång: packa, packa upp, och diff -rq mot originalträdet. Alla 36 mätningar kom tillbaka bit för bit identiska.


Delarna

Tre saker som inte fanns

Vinsten kommer inte från en bättre inställning på zstd. Den kommer från att tre lager som ingen vanlig arkivpackare rör har bytts ut — och varje byte provas i båda riktningarna vid packning, så det som inte går att återskapa exakt lagras rått i stället.

src/nvjpg.c · 760 rader C

JPEG utan att en pixel rörs

Huffman-lagret i en JPEG kan inte koda en symbol på mindre än en bit, och vet ingenting om att blocket bredvid såg likadant ut. nvjpg avkodar DCT-koefficienterna och kodar om dem med en aritmetisk kodare som frågar grannblocken.

1 143 av 1 143 foton bit-exakta · −15,0 %
src/nvcm.c · 450 rader C

En kompressor för källkod

I stället för att hänvisa bakåt i en ordbok gissar den nästa bit, med åtta modeller samtidigt. En blandare lär sig under tiden vem som brukar ha rätt i just den här sortens data.

13 % mindre än xz −9e på kod
src/png.py · receptsökning

PNG vecklas ut och packas om

Deflate från 1996 är ett dåligt skal runt bilddata: 32 kB fönster, en fil i taget. nvpack vecklar ut strömmen och sparar det zlib-recept som återskapar exakt samma bytes. Går receptet inte att hitta lagras filen rå.

upp till −40 % på skärmdumpar
Mätningen

Fyra träd, tolv packare

Staplarna visar hur stor del av originalet som är kvar — kortare är bättre. Den streckade linjen är dagens arkivskript; allt till vänster om den är en vinst, allt till höger en förlust.

Programkod — 55,3 MiB i 5 962 filer
Källkod ur arton projekt på maskinen: .mjs, .py, .ts, .json, .html, .css, .md
Bilder (PNG) — 431,0 MiB i 4 617 filer
Skärmdumpar, renderade produktbilder och paritetsklipp
Foton (JPEG) — 408,5 MiB i 1 143 filer
Kamerabilder ur Pecka-arkivet plus TikTok-omslag, alla baseline-JPEG
Blandat projektträd — 1 814,4 MiB i 15 139 filer
Hela ~/symbios-3d: ett CAD-verktygsträd med 1,2 GB delade bibliotek, plus 4 600 .py, 4 600 .pyc och allt annat som ligger i en arbetskopia

Det fjärde trädet är det mest verklighetstrogna — en hel arbetskopia, inte en sorterad korpus — och det är också där marginalen är störst i absoluta tal: 279 MiB mot xz:s 298 och zstd −22:s 301, och zstd −22 behövde dubbelt så lång tid för sitt sämre svar. Notera också nvpack snabb: den ligger 10 % under dagens arkiv på fjorton sekunder, helt och hållet på dedup och sortering. Där finns dubbletter som tar aldrig hittar.

Fotokorpusen är den tydligaste: varje klassiskt verktyg — gzip, bzip2, zstd −22, xz −9e — stannar inom en procent från där det började, för de kan bara leta efter upprepningar i en ström som redan är entropikodad. nvpack byter ut entropikodningen och tar 15 %.

Verkligheten

Vad det betyder för ditt arkiv

Korpusarna ovan är rena: bara kod, bara PNG, bara foton. Ett riktigt projektträd är blandat, och blandningen avgör vad man faktiskt tjänar. Samma jämförelse på ~/lostconnection:

träddagens tar.zst −3nvpack litenskillnad
hela arkivet · 2,9 GB · 2 009 filer2 869,25 MiB2 866,74 MiB−0,09 %
utan data/klipp · 25 MB · 432 filer17,17 MiB16,52 MiB−3,8 %

Byt inte ut scripts/arkivera.sh för storlekens skull.

Arkivet är 517 TikTok-filmer. Film är redan packad av en videokodare, och där finns inget motsvarande entropilager att byta ut — ingen arkivpackare i världen tar mer än en bråkdel. Koden, databasen och bilderna är 25 MB av 2 900, och på dem är vinsten 3,8 %.

Den mätningen var inte gratis att göra heller: första gången stod nvpack 0,06 % över dagens arkiv. Se fynd 2 nedan.

Fynd

Tre gånger hade jag fel

Varje designbeslut i nvpack är mätt fram, och tre av dem gick tvärtemot vad som verkade självklart. De här tre är anledningen till att siffrorna ovan ser ut som de gör.

1

PNG som blåses upp hundra gånger är värda mest

Jag satte ett tak: en bild vars rådata blir mer än sexton gånger större än dess deflate-ström ansågs inte värd att veckla ut. Mätningen gav −40 % just i den högsta klassen — mest av alla.

I efterhand är det logiskt. En bild som deflate klämt 50:1 är ett skärmklipp med stora enfärgade ytor, och när femtio sådana ligger utvecklade i samma block hittar en modern packare likheterna mellan bilderna. Det kunde deflate aldrig se genom sitt 32 kB-fönster, en fil i taget.

2

”Redan packat” får inte vara ett antagande

Film, zip och PNG som inte kunde vecklas ut lagrades rått per definition — det sparar packtid på data där ingen komprimerare ändå hittar något. På PNG-korpusen kostade det 175 MiB, och på ditt riktiga arkiv gjorde det nvpack sämre än dagens: en halv procent av 2,9 GB film är fjorton megabyte, och zstd -3 tar dem på några sekunder.

Nu provpackas varje block på åtta ställen med varje kodek, och tröskeln har tre utfall i stället för två: rått under 0,2 %, billig kodek däremellan, dyr kodek när det finns något att hämta.

3

Provsviten hittade tyst dataförlust

En symlänk som pekar på en katalog försvann helt ur arkivet — utan fel, utan varning. Den dyker upp bland os.walks kataloger, inte bland dess filer, och koden letade bara efter länkar bland filerna. Katalogernas egna tidsstämplar återställdes inte heller.

Båda hade gått obemärkt förbi i varje storleksmätning — mätningarna jämför innehåll, inte träd. Det är därför provsviten bygger ett träd av kantfall: tomma filer, trasiga länkar, filnamn med nyrad i, udda rättigheter, tidsstämplar från 1985 och 2031.

Gränser

Vad som inte fungerar

  • Progressiv JPEG lämnas rå. nvjpg klarar baseline sekventiell, vilket är vad kameror och telefoner producerar.
  • PNG ur okända deflate-motorer lämnas rå — Chrome och gnome-screenshot använder motorer som systemets zlib inte kan härma. I PNG-korpusen gick 281 av 4 422 provade filer att veckla ut; vinsten på dem som gick är desto större.
  • nvcm är långsam, runt 1 MB/s, och den är sämre än xz på talsekvenser: seq 1 50000 blir 47 548 byte mot xz:s 10 160. Därför provas den mot xz per block i stället för att väljas på filtyp.
  • Priset är packtid. På PNG-korpusen tar nvpack 254 s mot tar.zst -19:s 40 s. Uppackningen är däremot nästan gratis (9 s), och ett arkiv packas en gång och packas upp sällan.
  • Ingen kryptering och ingen redundans. Ett arkiv med hemligheter ska ha rättigheter 600 som i dagens skript.
  • .git är nästa sten att vända på. Ett packfile är en följd av zlib-strömmar, precis som en PNG. Det är inte provat, så det står som en idé och inte som en siffra.
Kom igång

Så kör du det

Projektet ligger i ~/nvpack. Python-delen behöver inget bygge, C-delarna gör det.

# bygg och prova
cd ~/nvpack && make
bash prov/prova-allt.sh

# packa och packa upp
./src/nvpack packa ~/mitt-projekt ark.nv --läge normal
./src/nvpack packa-upp ark.nv /tmp/åter
./src/nvpack lista ark.nv      # visar block, kodek och kvot
./src/nvpack prova ~/mitt-projekt  # packa, packa upp, jämför bit för bit

# mät om allt och bygg om tabellerna i README
python3 matning/matning.py kod
python3 matning/rapport.py --in-i-readme

Tre lägen: snabb motsvarar dagens arkivskript (zstd −3, inga omvandlingar), normal är standard, och liten släpper dessutom in nvcm på de textblock där provet visar att den vinner.

Visa alla mätvärden som tabell