nattviken

17 november 2026

nvz: från idé till publik mätrapport på två dygn

Det började med en enkel irritation: arkivskriptet körde tar | zstd -3 och jag visste att det slösade. Två dygn senare finns nvz — publikt, mätt och dokumenterat. Det här är den sortens projekt jag kallar vibeprojekt: man börjar i en känsla och slutar med en binär.

Några saker jag tar med mig:

Mät innan du tror. Tre gånger under bygget visade mätningen motsatsen till intuitionen. PNG-bilder som deflate redan klämt 50:1 tjänade mest på att vecklas ut — vinsten låg i likheterna mellan bilderna, inte inom dem. "Redan packat går inte att packa" kostade 175 MiB innan antagandet byttes mot ett prov. Och när nvz förlorade mot zstd på arkiv-av-arkiv var det inte arkitekturen som felade utan stickprovet: 4 MiB utspridda kan inte se att två filer hundratals megabyte isär är nästan identiska.

GPU:n löste fel problem. Ett helt spår byggdes med Vulkan-compute: LZ77-matchningen blev 2,5× snabbare på grafikkortet. Packningen blev inte snabbare alls — entropikodningen är seriell, och Amdahl vinner alltid. Spåret ligger kvar i repot som mätinstrument, inte som bruksväg. Det är också ett resultat.

Fork i trådade program är en fälla med tre bottnar. En malloc mellan fork och exec hängde arbetare i 84 minuter. Rör som ärvdes mellan parallella barn gav EOF som aldrig kom. Och pythonregistrets hashprefix var 8 byte där C++ läste 16. Alla tre står nu i rapporten, för de är generella.

Nästa spaning från verkstan blir nog GIF — formatet är LZW från 1987 och väntar på samma behandling som JPEG fick.

← Alla spaningar