Qualsiasi file del computer è costituito da byte. Un byte può assumere valori da 0 a 255. L'entropia dell'informazione è un parametro statistico che mostra la probabilità di occorrenza di determinati byte in un file.
Puoi valutare visivamente il grado di entropia usando un istogramma: la distribuzione della probabilità di ripetere gli stessi byte in un file. Dall'entropia del file possiamo intuire che tipo di file abbiamo davanti, vedendo solo il suo istogramma.
A scopo dimostrativo, prendiamo tre file di tipo diverso e confrontiamo i loro istogrammi. Sia il primo un file di testo (*. TXT). Il suo istogramma è mostrato in figura:
Il file di testo contiene solo testo. Ogni carattere del testo è codificato con determinati byte secondo la tabella di codifica. Sebbene esista un gran numero di tipi di codifica, è ovvio che esiste un numero limitato di caratteri alfanumerici, che di solito è inferiore a 255. Pertanto, solo alcune aree sono occupate sul primo istogramma e alcuni byte non lo sono affatto.
Il seguente file sarà in formato PDF:
Questo file contiene tutti i byte possibili, poiché il PDF è codificato in modo diverso dai file di testo. Memorizza molte informazioni di servizio: formattazione, caratteri, immagini, ecc. Ma il suo istogramma mostra che alcuni byte si verificano con approssimativamente la stessa probabilità, mentre altri - molto più spesso di altri. Da qui i molteplici burst acuti sull'istogramma, e in generale ha un aspetto piuttosto "stracciato", sebbene occupi l'intera larghezza disponibile.
E l'ultimo file è zippato in formato 7Z:
Questo istogramma ha due caratteristiche principali: in primo luogo, tutti i byte si trovano nel file zippato con più o meno uguale probabilità (un bordo superiore abbastanza piatto), e in secondo luogo, non c'è praticamente spazio libero sopra l'istogramma, il che indica un'assenza quasi completa di ridondanza tale file. Quindi, possiamo concludere che l'algoritmo dell'archiviatore in qualche modo speciale "mescola" i byte del file per ottenere la loro massima distribuzione uniforme.
Quindi, l'entropia in informatica, come in fisica, è una misura del disordine nel sistema, in questo caso, il disordine nella distribuzione dei byte nel file. Entropy permette di giudicare il grado di compressione del file e, indirettamente, il suo tipo.
