Пишет
scinquisitor:
Апофени́я (от греч. Ἀποφαίνω — высказываю суждение, делаю явным) — переживание, заключающееся в способности видеть структуру или взаимосвязи в случайных или бессмысленных данных. Термин был введён в 1958 году Клаусом Конрадом, который определил его как «немотивированное ви́дение взаимосвязей» сопровождающееся «характерным чувством неадекватной важности» (анормальное сознание значения). Конрад изначально описывал это явление в применении к искажению реальности, происходящему в психозе, однако теперь термин используется шире для описания подобной тенденции в здоровых индивидах, не обязательно предполагая при этом наличие психического заболевания.- из Википедии.
Все астрологи и активные противники астрологии знают про исследования Мишеля Гоклена "эффект Марса"+. Для тех кто не знает, расскажу в трех словах. Жил-был такой человек. Он хотел доказать, что астрология - это не какое-то левое гадание на кофейной гуще, а настоящая наука. Для этого он исследовал влияние положения планет в момент рождения людей на то, станут ли они выдающимися в некоторой области. Например, в искусстве или спорте (вообще, Гоклен исследовал людей очень разных профессий, это важно, но об этом потом). В астрологии каждое небесное тело может находиться в одном из 12 секторов - так астрологи поделили небо. Считается важным в каком секторе была планета в момент рождения.
И вот, создав довольно большую базу данных, Мишель Гоклен принялся искать ассоциации: корреляции между положением планет в определенных секторах и именитостью людей некоторых профессий. В частности, в случае одной из исследуемых профессий Гоклен получил статистически значимый результат: Марс в секторах 1 и 4 встречался чаще у именитых спортсменов, чем ему положено. Не в 17% случаев, а в 22% случаев. Конечно, астрологи обрадовались, а скептики, от удивления утратившие способность четко мыслить, ринулись доказывать, что все это не правда, побежали проверять данные, искать ошибки, выдумывать всякие естественные объяснения "эффекту" и так далее. Это естественно - их нельзя винить. Возможно, именно поэтому, самое простое объяснение "эффекту Марса" оказалось долго незамеченным : "эффекта Марса" просто не может не быть, но не по законам астрологии, а по законам математической статистики.
читать дальше
Если бы в те времена уже существовала геномика, наука, к которой я имею некоторое отношение, объяснение бы дали очень быстро, ведь ложно-положительные ассоциации между мутациями и болезнями даже в крупнейших исследованиях встречаются в огромном количестве и эта проблема активно обсуждается. Причина этим ложно-положительным ассоциациям - множественные проверки.
Представьте себе, что Вы выкинули решку 20 раз подряд. Не правда ли крутой фокус? А может знак судьбы? А что если такое получилось лишь один раз в жизни, хотя Вы пытались это сделать три года подряд? Не так уж впечатляет... Должно же было хоть раз повезти? Это и есть "множественные проверки". Но если здесь подлог очевиден, в случае с астрологией, нужно показать его на примере.
Сегодня я пойду по стопам Гоклена. Я найду новый эффект. И докажу, что он статистически значим. Теория вероятности уверенно предсказывает мне успех, но неплохо будет убедиться лично. Итак, я имею выборку из 500 человек. Это несуществующие величайшие ученые несуществующего мира. Я не буду искать реальных ученых. У меня есть генератор случайных "гороскопов". Генератор работает так. Каждый из первых 500 человек рождается со случайным положением каждой из "планет"* и становится ученым. Так же у меня есть контроль из 500 человек несуществующих бульварных астрологов малой известности (как мы знаем, астрологи обычно далеки от науки, особенно бульварные астрологи, поэтому они являются идеальным контролем). Астрологи так же рождаются со случайным "гороскопом". Далее я буду искать ассоциации, между положением каждой из планет по каждому из секторов и по каждому сочетанию из двух секторов и профессиями жителей моего виртуального города, чтобы найти самые сильные отличия между гороскопами ученых и астрологов. В принципе, эти отличия видны невооруженным глазом и легко находятся по таблице, но за меня это сделает алгоритм.
Что же у меня получилось? Когда я подставил размер выборки: 500 человек + 500 контроль, моя программа с первого прогона выдала мне вот такую железобетонную ассоциацию:
106 <> 63 <> saturn <> 1 <> 10
Что это значит? Это значит, что в моем виртуальном мире, где профессия человека на самом деле никак не зависит от того, какой у него гороскоп, 106 ученых родились с Сатурном в секторах 1 и 10. Астрологов с таким положением планеты Сатурн было лишь 63.
Out of the 500 scientists, 106 (21.2 percent) were born in a key sector - теперь смело могу утверждать я. Вероятность того, что такое распределение получено случайно равна ~0.0006, то есть меньше десятой доли процента.
Для сравнения, у Гоклена: "Out of the 535 champions, 119 (22.24 percent) were born in a key sector.**"
Если, как Гоклен, я сделаю поправку, на количество родившихся в этих двух секторах людей, получится, что вместо ожидаемых 16.9%, в нем родилось 21.2% ученых, то есть мощность наблюдаемого мной "эффекта Сатурна" (увеличение вероятности рождения ученого с Сатурном в этих секторах) оказалась более, чем +25% (у Гоклена ожидаемое было несколько больше 17%, а сам эффект был примерно такой же мощности).
И если бы один из тех 500 астрологов, живущих в моем виртуальном городе, провел исследование, как провел его Гоклен, не учитывая поправку на множественные испытания, он бы точно так же, как и Гоклен, пришел к выводу, о существовании "эффекта Сатурна" по отношению к профессии "ученый". И на его стороне была бы заоблачная статистическая значимость. В случае «эффекта Сатурна» мы легко разоблачаем найденную связь - как создатель своего виртуального мира, я точно знаю, что вероятность того, станет ли человек ученым или астрологом не зависит от его гороскопа. Я же писал программу, мне видней! В реальном мире, не будучи его создателями, мы не можем воспользоваться таким опровержением и можем лишь указать на то, что тест на множественные проверки "эффект Марса" не выдерживает. Не говоря уж о том, что даже железобетонная ассоциация не доказывает причинно-следственных связей.
В случае бросков монетки мы имеем миллион испытаний. В случае геномики есть миллион мутаций. В случае астрологии - миллион комбинаций из разных сочетаний секторов разного числа планет, для разного числа профессий и подвыборок из множества этих профессий. Например, в выборке «спортсмены» есть подвыборка «не-баксетболисты», «лыжники», «футболисты» и так далее. Так же, есть подвыборка "золотые медалисты", "олимпийские чемпионы", "самые известные", “многократные чемпионы» и так далее. Например, для баскетболистов «эффекта Марса» Гоклен (по его собственным словам) не наблюдал, поэтому от скептиков он требовал исключать баскетболистов из выборок и ругался, когда те не исключали и приходили к отрицательным результатам при проверке «эффекта Марса»***.
Мой эксперимент на практике недооценивает силу "эффекта множественных проверок", если сравнивать с тем, что было на самом деле у Гоклена. Я исследовал только одну профессию, а Гоклен куда больше. И я не позволял себе брать подвыборки из готовой выборки (Гоклен позволил себе, например, не учитывать баскетболистов, для которых эффект не работал). Кроме того, в моей выборке абсолютно отсутствует bias, так как сделана она генератором случайных чисел, в выборке Гоклена bias все же есть. Если вставить в программу и эти корректировки, можно добиться еще большей статистической значимости и еще большей «мощности» эффекта «планеты Х».
Например, вчера мне дали ссылку на исследование, где нашли статистически значимую корреляцию между гороскопом и склонностью стать серийным убийцей. Разумеется, эффект точно так же нивелируется поправкой на множественные проверки. Более того, когда я взял новые данные по серийным убийцам из другой астрологической статьи, эти данные не подтвердили ни одну из заявленных ассоциаций (я вручную проверил две из четырех) — абсолютно никакой зависимости на новых данных, но некоторая зависимость на старых, на тех данных, на основании которых выдвигалась эта самая «гипотеза», то есть "эффект Сатурна" там на лицо.
Собственно тут и лежит ответ на вопрос, как избавиться от таких ошибок? Ответ такой: нужно взять совершенно новую выборку, такую, чтобы туда не вошел ни один случай из старой выборки. И смотреть уже только на один конкретный эффект. Такая проверка уже была, например "эффект Марса" не наблюдается на выборке американских спортсменов (Kurtz et al. 1979-80). Другой пример, что "эффект Марса" не наблюдается на выборке баскетболистов, впрочем настаивать на валидности этих исследований я не буду.
P.S. Если когда-нибудь кто-то проведет аналогичное исследование на реальных людях, я прогнозирую, что удастся найти "эффект" любой планеты для "какой-нибудь группы людей" и найти "эффект какой-нибудь планеты" для любой группы людей. Например, можно разбить людей на тех кто ковыряет в носу и тех кто не ковыряет в носу и доказать, что это связано с эффектом какого-нибудь «Юпитера», потому что он большой и вытягивает из носа козявки. Это будет следствием законов статистики, не следствием астрологии.
По результатам данной статьи предлагаю наряду с "эффектом Марса" ввести новый термин "эффект Сатурна", как общий принцип появления таких эффектов, как "эффект Марса". Иными словами, объяснением "эффекту Марса " служит "эффект Сатурна".
Для тех, кто захочет открыть свой собственный эффект, например узнать какая планета отвечает за рождение булочников и козявочников - вот код программы на перле slil.ru/27887279 Можно поиграться. Если кто-то хочет поиграться, но не умеет пользоваться перлом, спрашивайте - напишу инструкцию.
Проверить статистическую значимость найденных эффектов можно тут: www.stat.tamu.edu/~west/applets/binomialdemo.ht... (n = количество людей в секторах из контроля + выборки, p = 0.5, k = количество людей из выборки попавших в сектора, просим "at least", то есть "не меньше")
+ en.wikipedia.org/wiki/Mars_effect
* В астрологии Плутон, Луна и Солнце тоже будут считаться планетами, поэтому всего "планет" я использовал 10.
** www.skepsis.nl/mars.html
*** Kenneth Irving and Suitbert Ertel, The Tenacious Mars Effect, The Urania Trust, London: 1996, p. A2-18
Ссылки для дальнейшего чтения:
Еще про астрологию: scinquisitor.livejournal.com/8174.html
Почему люди во все это верят: scinquisitor.livejournal.com/1922.html
Про другие ошибки, которые делают люди по неосторожности: scinquisitor.livejournal.com/9724.html
Update
Я прогнал программу 100000 раз и считал сколько раз из 100000, какая-нибудь планета (из 10) попадет в два сектора (из 12) 119 раз или больше из 535 испытаний. Получилось 67418 раз. То есть на одно исследование в среднем приходится 0.67 корреляций с p<= 0.0005
Что это означает? Если Вы возьмете 535 представителей любой профессии, в среднем найдется 0.67 планет, которые будет ассоциирована с их профессией так же хорошо, или даже лучше, чем Марс ассоциирован с рождением спортсменов в исследовании Гоклена. Это при полном отсутствии какой-либо реальной взаимосвязи. Это только если мы рассматриваем всегда два сектора и абсолютно не имеем никакого bias, не исключаем "баскетболистов" и т.д.