@pyroxar: jak w innych dziedzinach: miara nieuporządkowania.
https://pl.wikipedia.org/wiki/Entropia_(teoria_informacji) . Chodzi o to jak często używane jest dane słowo w porównaniu do reszty tj. ile przenosi informacji. Największa entropia jest wtedy, gdy prawdopodobieństwo każdego słowa jest takie same. Innymi słowy: gdy nie da się tego przewidzieć. W językach naturalnych łatwo możesz zauważyć, że np. słowo "ja" albo "w" jest dużo bardziej popularne niż "golonka".

https://planetcalc.com/2476/