A statisztikai szignifikanciateszt rítusa

Figyelmeztetés

JFolder::create: Nem lehetett létrehozni a mappátPath: /var/www/co/media/com_comment/cache

: Megjelent: 2016. október 30.

Az előadás felvétele (folyt., 3. rész)

„The Basic and Applied Social Psychology (BASP) 2014 Editorial emphasized that the null hypothesis significance testing procedure (NHSTP) is invalid, and thus authors would be not required to perform it (Trafimow, 2014). However, to allow authors a grace period, the Editorial stopped short of actually banning the NHSTP. The purpose of the present Editorial is to announce that the grace period is over. From now on, BASP is banning the NHSTP.” (BASP, szerkesztői bevezető, 2015. február)

„Anyone knowing the problems, as described over one hundred years, who continues to teach, use or publish significance tests is acting unethically, and knowingly risking the damage that ensues.” (Stephen Gorard, Sociological Research Online, 2016. február)

Az empirikus adatelemzés egyik sarokköve a statisztikai szignifikanciateszt, melynek sok szempontból problematikusnak ítélt alkalmazási algoritmusát rítusként hivatkozzák kritikusai. Ez egy igen sokrétű probléma, amely régóta ismert, de jelenleg újra a nemzetközi tudósközösség figyelmének középpontjába került (lásd a Sociological Research Online-beli vitasorozatot a lap idei számaiban, a Basic and Applied Social Psychology 2015-ös szerkesztőségi állásfoglalását a hipotézisteszt betiltásáról, a Royal Statistical Society 2015-ös körkérdését, az American Statistical Association 2016 júniusi állásfoglalását stb.). A szignifikancia teszt kérdése egyrészt elvi probléma, hiszen matematikai-logikai típushibákat vétenek a tévesen alkalmazók. Ugyanakkor tudományszociológiai probléma is - a szignifikáns eredmény a tudományos siker kulcsa és szerepet játszik kéziratok elbírálásánál is. Végül: a rítusnak pszichológiai aspektusai is vannak, hiszen alkalmazásával leegyszerűsödik az elemzés menete.

A teszttel kapcsolatos dilemmák nem csak a kutatási módszertant, hanem a teljes tudományos intézményrendszert érintik. Felvetik a statisztika oktatásának problémáját, nevesen, hogy az sok esetben szeparáltan történik a szociológia oktatásától, a módszerek alkalmazása csak illusztráció - preparált adatbázisokon játékmodellek illesztésével, a p-értékkel mint végcéllal. A kérdés érinti továbbá a statisztika fetisizálásának problémáját is - lásd statisztika, mint a bizonytalanságoktól megszabadító alkímia.

A probléma reflexiójában hangsúlyos tudományközi eltéréseket figyelhetünk meg, másként tekint rá az orvostudomány, a szociológia vagy a közgazdaságtudomány.

A teszt, vagy a kutatói szemlélet a hibás? Mennyire hangsúlyosan van jelen a probléma a hazai gyakorlatban? Hogyan jelenik meg a kérdés a hazai szociológiai felsőoktatásban (oktatási hagyományok, jegyzetek, szoftverek)? Lenne-e értelme az ASA-éhoz hasonló állásfoglalás propagálásának? A problémát összefoglaló vitaindítót követően ezeket a kérdéseket szándékozunk megvitatni a probléma releváns aspektusait reprezentáló hozzászólókkal (kvantitatív kutató szociológus, szociológiai módszertan egyetemi oktatója, szociológiai folyóirat módszertani lektora, más tudomány képviselője).

Előadás (45 perces ismertető és vitaindító)

Németh Renáta, szociológus, alkalmazott matematikus, az ELTE Társadalomtudományi Karának docense, a survey statisztika mesterképzés szakigazgatója. Kvantitatív egészségszociológiai vizsgálatok mellett az utóbbi években egyre többet foglalkozik módszertani alapkutatással. Az ún. grafikus modellekkel kapcsolatos eredményeit rangos nemzetközi folyóiratok közölték. Aktuális érdeklődésének középpontjában az okság és tesztelés kérdései állnak.

Az előadás diái

Hozzászólók

Bartus Tamás közgazdász-szociológus, a BCE Szociológia és Társadalompolitika Intézetének docense és igazgató-helyettese, valamint a Szociológia Doktori Iskola programigazgatója

Ferenci Tamás biostatisztikus, az Óbudai Egyetem adjunktusa, a BCE óraadója, a védőoltás-ellenes mozgalom érveit cáfoló vedooltas.blog.hu szerzője

Vitavezető

Janky Béla

Amíg nincs kész a videó, ideiglenesen elérhető a vágatlan és keveretlen hangfelvétel (1:11-kor kezdődik). Az alábbi url bemásolásával indul:

nemethr.web.elte.hu/hang_p_value.mp3 (az előadás hangfelvételéhez érdemes nézni az előadás diáit)

Helyszín, időpont

Recens

Időpont: 2016. október 25. 14:00

Helyszín: MTA TK Szociológiai Intézet, Hegedüs terem (I.31.)

Háttérirodalom

Az American Statistical Association 2016-os állásfoglalása a p-értékről, a lap alján 23 hozzászólással/különvéleménnyel vezető statisztikusoktól

A Sociological Research Online 2016-os vitája: S. Gorard, Nicholson és McCusker, Spreckelsen és van der Horst cikkei

A p-értékkel kapcsolatos interpretációs hibákról és a bayes-i alternatíváról statisztikus szemmel:

Senn, SJ (2001): Two cheers for P-values. Journal of Epidemiology and Biostatistics, 2001. 6(2): p. 193-204.
Goodman, S.A. (2008): Dirty Dozen: Twelve P-value Misconceptions.Seminars in Hematology. 45(3):135-40.

Magyar nyelvű összefoglaló a Szociológiai Szemle vizsgálatával: Bárdits, Németh, Terplán (2016): Egy régi probléma újra előtérben. Statisztikai szemle, 94/1

Ajánlott további olvasmányok

Statisztikus szemmel a probléma történeti gyökeréről (Fisher vs. Neyman és Pearson) és tudományfilozófiai vonatkozásairól: Goodman, S.A. (199): Toward Evidence-Based Medical Statistics. 1: The P Value Fallacy. Annals of International Medicine. 130(12):995-1004

A statisztikai és a szakmai szignifikancia meg nem különböztetése közgazdász cikkekben: Ziliak, S. T., McCloskey, D. N. (2004): Size Matters: The Standard Error of Regressions in the American Economic Review. The Journal of Socio-Economics 33: 527–546. : A cikk a folyóirat statisztikai szignifikancia-témában kiadott különszámának vitaindítója.

A BASP szerkesztőségi állásfoglalása a p-érték betiltásáról

A Royal Statistical Society 2014-es körkérdése a BASP tiltásával kapcsolatban

Támogatók

MTA TK ”Lendület” Research Center for Educational and Network Studies (RECENS); BME GTK Szociológia és Kommunikáció Tanszék; ELTE Társadalomtudományi Kar; MTA TK Szociológiai Intézet Módszertan és Kutatástörténet Osztály; OTKA K 115644 (Kovács Éva)

“Let us be clear. Nothing in the ASA statement is new. Statisticians and others have been sounding the alarm about these matters for decades, to little avail. We hoped that a statement from the world's largest professional association of statisticians would open a fresh discussion and draw renewed and vigorous attention to changing the practice of science with regards to the use of statistical inference." (The American Statistical Association's Statement on p-Values, The American Statistician, 2016. június)

Figyelmeztetés