entropija vijesti

entropija vijesti (engl. information entropy; njem. Informationsentropie; rus. энтропия информации), mjera za opisivanje raznolikosti vijesti. Definirana je srednjom vrijednošću logaritma recipročne vrijednosti vjerojatnosti pojavljivanja pojedinih znakova. Znakovi mogu biti slova, riječi, trenutačna svjetlina i boja, vrijednost napona itd. Obično se upotrebljava binarni logaritam, a pojedini se znakovi kodiraju brojem bitova jednakim logaritmu recipročne vrijednosti vjerojatnosti pojavljivanja toga znaka. Češći se znakovi kodiraju s manje, a rjeđi s više bitova. Tada je prosječan broj bitova po znaku potreban za prijenos bilo kojega znaka jednak entropiji vijesti, a kodiranje je optimalno.