Granskningsprotokoll · arkivpackaren nvz
Vad som faktiskt går att mäta, vad som går sönder, och var vinsten
kommer ifrån. Varje tal på den här sidan kommer ur resultat/*.json i repot
och går att räkna om med python3 rapport/granskning.py.
Datum {{DATUM}}Maskin {{MASKIN}} Binär {{BINAR}} byteLast under mätningen {{LAST}}
Tre invändningar i tråden går att besvara med en mätning, och tre brister som en utomstående granskare rapporterade går att reproducera. Båda sakerna står här.
Rundgången håller. Linux-kärnan hämtad från kernel.org, packad, uppackad:
samma sha256. 120 slumpade träd: varje byte, varje rättighet och varje tidsstämpel tillbaka.
Fem korpusar md5-protokollförda med manifest som ligger i repot, kontrollerade av systemets
egen md5sum -c och inte av nvz själv.
Men vinsten är inte jämnt fördelad, och det är den intressanta delen.
På en enda tar-ström är nvz i praktiken xz: 200 byte isär på 1,6 GB kärnkod. Vinsten
mot de bästa klassiska verktygen kommer nästan uteslutande från två ställen — bilder, där
entropilagret byts ut, och träd med dubbletter. På standardkorpusar i läge normal är nvz
och xz -9e jämnstora.
Och tre riktiga fel. Ett skrivfel kan ge slutstatus 0, en oläsbar fil ger kärndump, och PNG-receptet är inte portabelt mellan zlib-implementationer. Det sista är allvarligast: det kan göra ett giltigt arkiv oläsbart på en annan maskin.
Varje rad är en hel rundgång: packa, packa upp, diff -rq mot
originalträdet. "Bästa klassiska" är det minsta av gzip, bzip2, zstd −3/−19/−22 och
xz −9e på samma data. "Dagens" är tar.zst -3, alltså vad arkivskriptet
gjorde innan.
Provet som efterfrågades i tråden: hämta senaste kärnan, kontrollsumma, packa, jämför storleken mot det du laddade ner, packa upp, kontrollsumma igen.
Samma kärna som uppackat träd ({{TRAD_RA}} MiB i 90 000 filer) blir {{TRAD_NVZ}} MiB — alltså {{TRAD_DIFF}} % jämfört med att packa tarfilen. Trädvägen är sämre här, och det är väntat: kärnkällkod har nästan inga dubbletter, och nvz delar upp strömmen per filklass, vilket kostar sammanhang. Dedupen betalar sig på riktiga projektträd, inte på en kärna.
nvcm är kontextblandning med aritmetisk kodning — ingen Huffman, ingen ordbok, inga tränade vikter: modellerna börjar på noll för varje block. Här fil för fil mot det bästa av gzip −9, bzip2 −9, zstd −19, zstd −22, brotli −q11 och xz −9e. nvcm är minst på {{NVCM_VINSTER}} filer — och förlorar på de övriga, vilket också står i tabellen.
{{NVCM}}Priset syns inte i tabellen men är avgörande:
nvcm packar och packar upp i ungefär samma takt, runt 1 MB/s. Det är därför den bara
väljs i läge liten, och bara för de block där provet visar att hon vinner.
Rapporterade av Ted Lyngmo efter en genomgång av källkoden. Jag har reproducerat två av dem själv och bekräftat den tredje genom att läsa koden. Ingen av dem är avfärdad.
{{BRISTER}}md5-manifest före och efter, per fil. Manifesten ligger i repot under
resultat/protokoll/, så vem som helst kan köra
md5sum -c mot ett uppackat träd själv. Kontrollen görs av systemets md5sum —
inte av koden som skrev manifestet.
Slumpprovet. {{SLUMPPROV}}
Resultat: alla 120 rundor bit-exakta. Skriptet är prov/slumpprov.py och ett
misslyckat frö skrivs ut, så felet går att återskapa exakt.
En arkivpackare som bär ett register betalar för det. Här en enstaka liten fil, där det inte finns några dubbletter och inget sammanhang mellan filer att hämta.
{{OMKOSTNAD}}{{OMKOSTNAD_SLUTSATS}}
tar.zst och tar.xz redan behöver — ingen inbäddad ordbok och
ingen modell tränad på testdatanIngen av de tre omvandlingarna är ett nytt påfund, och det ska stå tydligt. Förlustfri JPEG-ompackning är samma idé som packJPG (2007) och Lepton (Dropbox, 2016): kasta Huffman-lagret, behåll koefficienterna exakt, koda om dem med en aritmetisk kodare. Att leta upp de zlib-parametrar som återskapar en befintlig deflate-ström är samma idé som precomp. Kontextblandning är PAQ-familjens, från 2002 och framåt.
Det som är gjort här är att sätta ihop dem i en arkivpackare där varje block får den kodek som ett prov visar är bäst, och att mäta hela saken på riktiga träd med rundgång och kontrollsummor. Entropiarbetet görs av zstd, xz och nvcm. Gränsen Shannon satte är inte utmanad någonstans — det som ändras är modellen: en deflate-ström ser slumpmässig ut för zstd, men vecklas den ut är raderna under starkt mönstrade, och ett JPEG-entropilager från 1992 är mätbart sämre än en modern aritmetisk kodare på exakt samma koefficienter.