[nilfheimsan]

Ile to razy słyszeliście "głupi nie wie że jest głupi"?
A jak fajnie znaleźć się w tej grupie która może powiedzieć "wiem że nic nie wiem"?

Szczególnie w dyskusjach w internecie popularne jest przywoływanie efektu Dunninga-Krugera który pokazuje że osoby o niskich umiejetnosciach w danej dziedzinie przeceniaja swoje mozliwosci, a osoby wykwalifikowane niedoceniaja swoich mozliwosci? I do tego wszystkiego wstawi sie fajny wykres i voila OP zniszczony.

What if I told you, efekt duninga krugera to tylko blad w analizie danych statystycznych? I mozna go odtworzyc z losowymi liczbami?

Już w 1999 roku zespół pod kierunkiem dr Ed Nuhfera opublikował własne badania pokazujące że efekt DK można odtworzyć na liczbach losowych. Wyniki potwierdzili także w badaniach na ludziach. Ich badania pokazały, że i laicy i eksperci źle oceniają swoje możliwości w podobnej częstotliwości (5-6%), a różnica polega na tym że zakres błędu laików jest większy, ale to czy przeceniają czy niedoceniają swoich możliwości jest już całkiem losowe!

Weźmy losową populację 100 wyników testów w zakresie 0-100
Następnie załóżmy że każda osoba myli się w zakresie +/- 50 punktów w wyniku swojego testu.
Oczywiście nie można mieć -45 ani +125 punktów. Więc ktoś kto ma faktyczną umiejętność na poziomie 10 punktów, jeśli losowo pomyli się w ocenie o -40 punktów to i tak swoją wiedzę oceni na 0 punktów. Jaki to ma skutek? Średnia przewidywań w okolicy najniższych wartości będzie podlegać "regression to the mean" czyli podciągać w górę, a w okolicy najwyższych wartości w dół.

Co ciekawe im wyższy margines błędu oceny założymy tym efekt bardziej widoczny!
Co ważne jeśli nie podzielimy na jakąś liczbę kwartyli to też efektu nie zauważymy.

I otrzymamy ten sam wykres co sławny wykres Dunninga Krugera.
W załączeniu daję google sheets gdzie można to samemu sprawdzić (zróbcie sobie kopie to bedziecie mogli edytowac)
-> https://docs.google.com/spreadsheets/d/13pM1Hstf_3uStHqVMkpSFybuHULPSyanU3A7wjxMG-o/edit?usp=sharing

Wpis inspirowany wczorajszym wykopem w ktorym znowu wszyscy zachwycaja sie "efektem DK" oraz artykulem https://www.mcgill.ca/oss/article/critical-thinking/dunning-kruger-effect-probably-not-real a także rozmową na grupie "Statystyczne Świry" na FB

#ciekawostki #gruparatowaniapoziomu #efektdunningakrugera #nauka #statystyka #psychologia #socjologia #datascience

[Adrian_]

@nilfheimsan: Wpis wisi na głównej z ośmioma plusami ( ͡° ͜ʖ ͡°)

[Adrian_]

@nilfheimsan: Proszę

[kontonr77]

@Adrian_: No i dobrze, bo jest wartościowy.

[Adrian_]

@kontonr77: Nie twierdzę, że nie jest, i w tym przypadku fajnie zobaczyć coś odmiennego od zalewu politycznego ścieku. Kłóci się to jednak z ideą "serwisu tworzonego przez użytkowników" i wybraną przez nich zawartością, która powinna trafiać na główną, a nie decyzją jednego moderatora.

[karer]

@nilfheimsan: czy jestes pewien ze piszesz o efekcie DK? Otrzymanie takiego samego wykresu nie znaczy ze to jest ten sam efekt. To tak jakby ktos zrobil wykres odwroconej paraboli i powiedzial ze jest to krzywa laffera.

Chodzi mi o to ze wykres stosowany przy efekcie DK jest tylko wizualizacja idei tak samo jak krzywa laffera jest tylko wizualizacja idei. Same pomiary maja miec JAKAS korelacje z czynnikami opisywanymi w efekcie DK.

[nilfheimsan]

@karer: Tak, piszę o efekcie DK, nie piszę że efekt uzyskany w excelu to "to samo" ale ze wyglada tak samo, i tlumacze z czego moze to wynikac. Szczegolnie odsylam do tego artykulu ktory dokladniej to wyjasnia: https://www.mcgill.ca/oss/article/critical-thinking/dunning-kruger-effect-probably-not-real

[karer]

Tak, piszę o efekcie DK, nie piszę że efekt uzyskany w excelu to "to samo" ale ze wyglada tak samo

@nilfheimsan: no ale podobne wykresowo dane mozna uzyskac na nieskonczona liczbe sposobow. Dlatego to raczej jest ciekawostka niekoniecznie majaca wiele do mowienia w temacie. Efekt DK istnieje tak samo jak istnieje teoria laffera. Sam wykres jest jedynie wizualizacja IDEI ktora stara sie przedstawic autor.

Oczywiscie twierdzenie "jestes za glupi zeby zrozumiec

[nilfheimsan]

@karer: Można na wiele sposobów wygenerować to fakt. Ale ten sposób bazuje na uproszczonej symulacji tego co się dzieje przy ocenie własnej umiejętności - właśnie wg. tego artykułu który załączyłem. Polecam przeczytać. W skrócie chodzi o to że zakładamy że zmierzyliśmy umiejętność w jakiś sposób (actual values) a potem pytamy ludzi o ich umiejetnosc i zakladamy ze myla sie w pewnym stopniu (tutaj losowo dodajemy lub odejmujemy losowa liczbe w zakresie

[cowiek_maupa]

@nilfheimsan: Fajna ciekawostka. Od siebie dorzucę jeszcze taką.
#gruparatowaniapoziomu

[bibsz]

@nilfheimsan:

Przecież samo założenie o takiej losowości błędu oceny jest bez sensu z tego powodu że ów błąd nie jest losowy.

jeśli by dać samodzielnie (subiektywnie) ocenić wiadomości/umiejętności w owej skali punktowej a potem je obiektywnie zweryfikować to wyjdzie korelacja a nie losowość

[karer]

@nilfheimsan: no ale mierzenie swojej wlasnej umiejetnosci w dziedzinie otwartej jak nauka jest kompletnie bezsensowne. Mozna mierzyc umiejetnosci w dziedzinie "tabliczki mnozenia do 100". W dziedzinie przykladowo fizyki nie ma to najmniejszego sensu poniewaz nie wiemy nawet czy istnieje kres konca wiedzy odnosnie fizyki. Sens natomiast ma porownywanie sie z innymi ludzmi. A jak sie porownywac to napisalem w poprzednim wpisie.

Mozesz podac mi przyklad "kranca skali" w przypadku jakiejkolwiek kompetentnej

[Trevize]

What if I told you, efekt duninga krugera to tylko blad w analizie danych statystycznych? I mozna go odtworzyc z losowymi liczbami?

@nilfheimsan: druga część zdania nie implikuje pierwszej. To nie jest żaden błąd, tylko obserwacja, że nie trzeba żadnych specjalnych założeń, żeby zachodził ten efekt.

[z.....k]

@nilfheimsan: przecież działanie efektu DK można empirycznie wyczuć na samym sobie bez żadnych danych.
Ile razy wydawało ci sie, że coś jest proste, a kiedy sie zagłębiłeś straciłeś włosy i dume i poczułeś się za głupi?

Troche ironiczny ten wpis.

[nilfheimsan]

no ale mierzenie swojej wlasnej umiejetnosci w dziedzinie otwartej jak nauka jest kompletnie bezsensowne. Mozna mierzyc umiejetnosci w dziedzinie "tabliczki mnozenia do 100". W dziedzinie przykladowo fizyki nie ma to najmniejszego sensu poniewaz nie wiemy nawet czy istnieje kres konca wiedzy odnosnie fizyki. Sens natomiast ma porownywanie sie z innymi ludzmi. A jak sie porownywac to napisalem w poprzednim wpisie.

@karer: dlatego tez mierzymy wlasnie zakladajac jakis test w skali np

[karer]

Ile razy wydawało ci sie, że coś jest proste, a kiedy sie zagłębiłeś straciłeś włosy i dume?

@zydownik: tutaj akurat ciezko to przyrownac w najprostszy sposob. Jedyny aspekt w ktorym tracisz wlosy to wtedy gdy docierasz do tego ze jestes zalezny od innych ludzi. Gdy dowiadujesz sie ze musisz uzywac ich narzedzi. Wtedy zdobywanie doswiadczenia zwalnia i cie weryfikuje. Wpadasz wtedy w spowolnienie wywolane tym ze wchodzisz na poziom ludzi ktorzy

[Trevize]

@nilfheimsan: tak naprawdę to niepotrzebny jest kres górny skali, wystarczy, że jest kres dolny. Dla dużych wartości funkcja będzie rosnąć liniowo, bo mamy niezaburzoną regresję do średniej, ale dla małych wartości mamy obcięcie wartości poniżej limitu, więc średnią ciągnie do góry.

[karer]

dlatego tez mierzymy wlasnie zakladajac jakis test w skali np 0-100 pkt

@nilfheimsan: test ktory Z ZALOZENIA musi dac bledny wynik i ktorego NIE MOZEMY ZWERYFIKOWAC poniewaz nie ejstesmy w stanie ocenic czy dana osoba rzeczywiscie posiada 100pkt czy nie. Nie jestesmy w stanie ocenic co jest koncem tej skali.

No chyba ze przyjmiemy jako 100pkt posiadanie calej wiedzy jaka ludzkosc posiada na dany temat w tym momencie. Wtedy byloby to

[karer]

od kiedy to empiryczny dowod na jednej osobie to dowod naukowy? tak to mozna wszystko udowodnic...

@nilfheimsan: nie odniosles sie do tego co kolezanka napisala. JESLI kazda osoba moze empirycznie wyczuc to na wlasnej osobie to obserwacja tego zjawiska jest juz dowodem na istnienie reguly.

[t.....y]

@zydownik:
mówienie, że istnieje efekt DK to przejaw efektu DK wśród laików ze statystyki ( ͡° ͜ʖ ͡°)