Результаты многих исследований по психологии и социологии не поддаются воспроизведению и могли быть подделаны

  • Новость

Из сотни исследований воспроизвести результаты удалось только для половины



imageГруппа исследователей проекта «Воспроизводимость» выбрала сотню из более двух тысяч социологических и психологических исследований и воспроизвела их. Схожие с оригинальными работами результаты удалось получить только в половине случаев, сообщает ТАСС.

Таким образом, авторы оригинальных работ нарушили одно из основных требований, предъявляемых к научным исследованиям и публикациям — воспроизводимость результатов. В идеале, исследование должно быть проведено таким образом, чтобы при его полном воспроизведении, с использованием тех же исходных данных и методов, проверяющие получили бы точно такой же результат.

Участники исследования по проверке результатов выбрали сотню из более чем двух тысяч научных работ, опубликованных в трех ведущих научных психологических журналах в 2008 году. Исследование проводилось с ноября 2011 по декабрь 2014 года.

image
Руководитель Брайн Нозек и другие участники проекта «Воспроизводимость»

В результате проверки группа из 270 ученых (на фото выше не вся команда, а лишь малая часть) по всему миру пришла к выводу, что сложнее всего воспроизводятся статистически малозначимые, а так же неожиданные результаты. В ходе своей работы группа тесно сотрудничала с авторами оригинальных публикаций для того, чтобы с точностью повторить их исследования.

В тоже время проверяющие пытаются оправдать коллег. По их словам, невоспроизводимость результата не означает того, что в работе содержится ошибка — психология очень тонкая в этом плане научная область и трудности в повторении исследования и получении таких же результатов имеют место быть.
Поделиться публикацией
AdBlock похитил этот баннер, но баннеры не зубы — отрастут

Подробнее
Реклама
Комментарии 44
  • +13
    А потом окажется, что исследование воспроизводимости исследований тоже не воспроизводится. «Ровно 83% статистических чисел берутся из головы».
    • +1
      Опровергнуть получится, только если на проверке этих 100 тестов будет достигнут другой процент воспроизводимости.
      • +4
        А вдруг просто менталитет изменился и потому результаты?
        • –3
          Менталитет — индивидуальный термин, статистика — групповой.
      • 0
        Знаете, данные на полу не валяются!
        Приходится брать их с потолка.
      • +4
        Для меня всегда подозрительны фотографии, когда все на них улыбаются…

        Вообще, жизнь меняется, и, думаю, люди тоже изменились. Насколько старые исследования они пытались повторить?
        • +2
          Участники исследования по проверке результатов выбрали сотню из более чем двух тысяч научных работ, опубликованных в трех ведущих научных психологических журналах в 2008 году. Исследование проводилось с ноября 2011 по декабрь 2014 года.
          • +4
            Для меня всегда подозрительны фотографии, когда все на них улыбаются…
            Дада! Статистически крайне маловероятно, что бы 100% присутствующих на фотографии людей одновременно улыбнулись, ведь по статистике человек улыбается не так уж и часто!
            Что-то тут не то с улыбками на фотографиях.
            • +17
              Я вам больше скажу, что-то не так с наличием людей на фотографиях, ведь куда больше безлюдных мест, чем мест, где есть люди, значит, по статистике, шанс запечатлеть на фото человека очень мал!
              • 0
                И есть что-то подозрительное с тем, что на фотографии так много материи, ведь обычная концентрация материи во Вселенной гораздо меньше…
          • +6
            Пусть попробуют воспроизвести ещё раз. Успешно прошедших оба испытания работ будет 25%.
            • 0
              Психология, социология, наука, воспроизводимость, закономерности, научный подход и другие слабо связанные ключевые фразы.

              Подождите, а разве не принято сначала ждать подтверждения какого-то явления, полученного от других коллективов, на другом оборудовании и т.п.?
              Как с этим дело обстоит в социологии и психологии?
              • +3
                Очень просто там все обстоит.
                Получил интересные результаты — беги писать статью про эту тему.
                И не вздумай повторять эксперимент, интересные результаты могут не повториться.

                Объективная повторимость приветствуется в технических дисциплинах.
                • НЛО прилетело и опубликовало эту надпись здесь
              • 0
                Проблема надежности и валидности результатов является краеугольным камнем всех дисциплин, объектом исследования которых является человек. Проблема болезненная и широко известная. Если-бы ребята предложили варианты решения, то это было-бы дело, а с пустой критикой могут идти лесом
                • 0
                  Ну может они и не критикуют, а просто пытаются понять масштаб проблемы.
                  • +8
                    Проблема здесь во многом в том что вот такие вот «исследователи» не знают даже базового курса статистики, причем некоторые ошибки статистического анализа невозможно понять из результатов работы. Вот взяли выборку в 1000 человек — вроде по работе все сходится, 1000 человек для описанного фактора — достаточная выборка. Но на самом деле меряли на этой 1000 человек три сотни факторов а опубликовали только тот который оказался «статистически значимым» (на самом деле — нет, потому что «статистически значимый» он из-за непонимания того как надо проводить эксперимент). Или другой вариант — посчитали значимость по p-Value, потому что кроме p-Value других методов не знают в результате отловили сильно раздутый результат, о чем радостно и написали статью. Часто бывает что просто в принципе нету денег на нормальную выборку или выборка составлена не репрезентативно.

                    Физики наверное просто смеются над тем что кто то назыавет научными работами текст содержащий фразы типа «p-Value = 0.05 что подтверждает статистическую значимость эффекта алобалохреномалолазола при лечении борзецомы». У них то на научное открытие надо доверительный интервал шириной 99.99997%. Если бы физики оперировали p-Value < 0.05 — у нас бы было 50 разных бозонов Хиггса и 300 «стандартных моделей».
                    • +1
                      Тихо-тихо, химики знают статистику не хуже физиков
                      • +3
                        Не хотел обидеть, я не сомневаюсь в химиках, тут речь лишь об авторах изнасиловавших свои экспериментальные данные для получения нужного результата или просто делающих статистический анализ от балды.
                      • +3
                        А что делать в ситуации дорогих уникальных экспериментов? Например, всего 2 крысы с экспериментальной пересадкой искусственных тканей? Ну не вариант 1000 сделать. Каждая как автомобиль стоит и месяцы труда. Совсем не публиковать?
                        • 0
                          А что вы будете делать с такими результатами?
                          Допустим, одна крыса умерла.
                          У вас есть технология пересадки, которая работает в 50% случаев, «но это не точно».
                          Или обе крысы выжили.
                          Теперь у вас технология, которая работает в 100% случаев, «но это опять-таки не точно».
                          Думаете, теперь можно сразу применять на людях?

                          И ещё — комментарий ниже от «Perez» относится к вам.
                          Представляете, сколько миллиардов ушло на большой адронный коллайдер?
                          А ведь те исследования даже не касались лечения человека.
                          Так что на лечение человека, таких крыс «как автомобиль» все равно придется потратить несколько тысяч.
                          • +2
                            Тут есть нюанс. Мы экспериментируем и ищем новые методы. Соответственно на малых партиях можно нащупать верное направление и уже после отработки проблем сделать большую выборку. Иначе бюджета не хватит на 1000 крыс для каждой тупиковой ветки разработки.
                            • 0
                              Это безусловно верно. Главное не выдавать первое за второе. Есть задача определения наличия эффекта. Допустим у вас есть пациент на 4 стадии рака из которых умирает 100% в течение года. Если у вас есть сыворотка и вы на одном пациенте получили выздоровление — то эффект вы доказали очень неплохо. Теперь можно делать более широкое исследование чтобы понять насколько и когда ваша сыворотка эффективна. При этом конечно все равно надо учитывать изначально вероятность с которой вы можете обнаружить эффект, если это 1/1000000 (т.е. условно — «а давайте попробуем корень боярышника вколоть, вдруг выздоровеет) — то может и один эксперимент не надо проводить пока не сделан более адекватный анализ метода.
                            • 0
                              Сколько таких коллайдеров построили? Вообще странная у вас позиция, ставите одну науку выше другой. Попахивает элитизмом.
                              • –1
                                Не совсем понял, что вам не понравилось.
                                Просто считается, что жизнь человека дороже всего остального.
                                И исследования, связанные с человеческими жизнями, нужно проводить наиболее тщательно.
                                Если на БАК было потрачено N денег, то на исследования какого-то важного лечения можно потратить больше денег.
                                Я про этот момент.
                                • 0
                                  Ну мы пока людям это и не даем. Метод разработать надо с минимальным убийством животных, естественно. Массовые испытания только перед внедрением.
                                • +3
                                  Тут ещё вариант бюджета. Если выделили N денег, но этого мало на массовые исследования, то нужно бросать перспективное направление с интересными результатами? Мне кажется лучше хотя бы маленькими выборками, но найти нужный путь.
                                  • 0
                                    Если вам статистика говорит что при вашей выборке проехавший за окном поезд будет оказывать больше влияние на результат чем ваша таблетка — то это будет просто трата денег в пустую. 1000 маленьких экспериментов с такой выборкой дадут много меньше информации чем 1 эксперимент с в 1000 раз больше выборкой. Если же вопрос только в точности определения эффекта или в каких-то нюансах отбросив которые результат все равно представляет собой практическую ценность — то почему бы и не провести эксперимент.
                                    • 0
                                      Ну как-то так. Это разработка методик в совершенно новой области, по сути. Вас этический комитет расстреляет, если вы крыс будете кубометрами убивать. Это в России только можно. В той же Швеции наши коллеги там каждую крысу по месяцу практически согласовывают.
                                      • 0
                                        Ну я лично вообще удивлен что что-то называющееся «этический комитет» имеет какое-то влияние на постановку научных экспериментов. Вот истинно надо дармоедов каких-то кормить и придумывают им общественно-вредные работы.
                                        Крыски конечно дорогие в финансовом плане, но если эксперимент не может теоретически даже показать вразумительные цифры или может с вероятностью 1/10000 — то зачем деньги изводить на крыс и эксперимент в целом? Если же результаты получить можно — то и претензий нету.
                                        • +1
                                          Этика — сложный вопрос. Животных жалко и валить их негуманно. Поэтому авторитетный журнал типа Nature не опубликует вашу работу, если решит, что вы использовали слишком болезненные иглы для инъекций и животным было дискомфортно. Им разве что массаж только по требованию не надо делать. В РФ проще, но все равно правила есть и довольно жесткие. Например, на высших приматах нельзя ставить эксперименты, если их можно заменить свиньей или кем-то попроще. А если и можно, то только нелетальные типа «поиграй с цветными кубиками». Собаки, кошки во всем мире тоже запрещены практически везде. Китайцы только традиционно плюют на это дело.
                                          • 0
                                            Я согласен. Но тут я имею ввиду что если ради получения лекарства от рака нужен милилон крыс — то лучше все же изобрести «лекарство от рака» (ой, и заплююте вы меня как доктор за эту фразу), т.к. это спасет гораздо больше жизней. Ну а высшие приматы — они стоят столько что там первыми на глотку инвесторы наступят и никакие комитеты по этике даже не получат задачи на рассмотрение.
                                            • 0
                                              Да, цена там тоже суровая. Обычный бабуин около миллиона стоит.
                              • +1
                                Здесь вопрос в том на что направлен эксперимент, какова его статистическая сила и прочее. Например если ITER выстрелит — мы не будем говорить что вероятность успешного термоядерного синтеза 1/(количество неуспешных токомаков + 1). Мы будем говорить «технология есть, можем строить». Если вероятность доказать наличие эффекта на 2 крысах — 30% — оно стоит того. Если же вероятность обнаружения — 1/10000 — вероятно стоит подумать 10 раз, а стоит ли эксперимент денег (ведь 1 эксперимент с 20 000 крыс гораздо более статистически информативен чем 10 000 экспериментов с 2 крысами, а еще чаще и гораздо дешевле в сумме), или стоит объединиться и делать более широкое исследование. Пересадка тканей в данном примере — хороший образец proof of concept с достаточно низкой степенью неопределенности. В случае успешной пересадки мы конечно можем сказать что это только потому что «днк оказались редчайшим образом совместимы» или что то подобное, но скорее всего мы все же получили эффект и дальнейшая задача понять условия при которых он успешен.
                                Кроме того проблема то не в публикации как таковой, а в том что статистика (с умыслом или без умысла) применена не верно и из этого сделаны необеспеченные выводы. Писать о проверяемых аспектах эксперимента — это нормально хоть у вас 2 крысы, делать же на основе ложных предпосылок или неверного использования статистического аппарата вывод что ваша условная таблетка работает в 50% случаев — не верно.
                                • 0
                                  В данной ситуации мы обычно «осторожно предполагаем возможные причины и тенденции». Слишком область неразведана.
                              • –2
                                Было бы круто, если бы «физики» знали правило написания слов «них-то», «как-то» и употребляли пунктуацию. ;)
                                • +4
                                  Правило демагога #20.
                                  Если тебе нечего ответить оппоненту, то следует тщательно проверить его сообщение на предмет орфографических и пунктуационных ошибок.
                            • 0
                              Да да, физики всё также продолжают хохотать — «как автомобиль» :_))
                              • 0
                                Для лаборатории ВУЗа это очень много тем не менее) не бросать же исследования.
                                • +1
                                  Но с другой стороны у физиков очень редко бывают ситуации, когда для каждого повтора эксперимента нужно строить установку с нуля с соответствующими затратами (обычно же стоимость повтора эксперимента в разы меньше первоначальных вложений), а крыски на каждый повтор новые нужны.
                                • 0
                                  Психологи выяснили, что 51% учёных из проекта «Воспроизводимость» скучные зануды. Читайте в свежем номере «Psychologies».
                                  • 0
                                    Почему тут до сих пор не упомянут критерий Поппера? https://ru.wikipedia.org/wiki/Фальсифицируемость
                                    • 0
                                      «невоспроизводимость результата не означает того, что в работе содержится ошибка». А по-моему, это и говорит именно об ошибке.
                                      • 0
                                        Ошибка либо в одном из двух экспериментов, либо в интерпретации результатов

                                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.