Редактор Geektimes
233,5
рейтинг
28 августа 2015 в 17:54

Результаты многих исследований по психологии и социологии не поддаются воспроизведению и могли быть подделаны новость

Из сотни исследований воспроизвести результаты удалось только для половины



imageГруппа исследователей проекта «Воспроизводимость» выбрала сотню из более двух тысяч социологических и психологических исследований и воспроизвела их. Схожие с оригинальными работами результаты удалось получить только в половине случаев, сообщает ТАСС.

Таким образом, авторы оригинальных работ нарушили одно из основных требований, предъявляемых к научным исследованиям и публикациям — воспроизводимость результатов. В идеале, исследование должно быть проведено таким образом, чтобы при его полном воспроизведении, с использованием тех же исходных данных и методов, проверяющие получили бы точно такой же результат.

Участники исследования по проверке результатов выбрали сотню из более чем двух тысяч научных работ, опубликованных в трех ведущих научных психологических журналах в 2008 году. Исследование проводилось с ноября 2011 по декабрь 2014 года.

image
Руководитель Брайн Нозек и другие участники проекта «Воспроизводимость»

В результате проверки группа из 270 ученых (на фото выше не вся команда, а лишь малая часть) по всему миру пришла к выводу, что сложнее всего воспроизводятся статистически малозначимые, а так же неожиданные результаты. В ходе своей работы группа тесно сотрудничала с авторами оригинальных публикаций для того, чтобы с точностью повторить их исследования.

В тоже время проверяющие пытаются оправдать коллег. По их словам, невоспроизводимость результата не означает того, что в работе содержится ошибка — психология очень тонкая в этом плане научная область и трудности в повторении исследования и получении таких же результатов имеют место быть.
Александр @ragequit
карма
43,2
рейтинг 233,5
Редактор Geektimes
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (44)

  • +13
    А потом окажется, что исследование воспроизводимости исследований тоже не воспроизводится. «Ровно 83% статистических чисел берутся из головы».
    • +1
      Опровергнуть получится, только если на проверке этих 100 тестов будет достигнут другой процент воспроизводимости.
      • +4
        А вдруг просто менталитет изменился и потому результаты?
        • –3
          Менталитет — индивидуальный термин, статистика — групповой.
    • 0
      Знаете, данные на полу не валяются!
      Приходится брать их с потолка.
  • +4
    Для меня всегда подозрительны фотографии, когда все на них улыбаются…

    Вообще, жизнь меняется, и, думаю, люди тоже изменились. Насколько старые исследования они пытались повторить?
    • +2
      Участники исследования по проверке результатов выбрали сотню из более чем двух тысяч научных работ, опубликованных в трех ведущих научных психологических журналах в 2008 году. Исследование проводилось с ноября 2011 по декабрь 2014 года.
    • +4
      Для меня всегда подозрительны фотографии, когда все на них улыбаются…
      Дада! Статистически крайне маловероятно, что бы 100% присутствующих на фотографии людей одновременно улыбнулись, ведь по статистике человек улыбается не так уж и часто!
      Что-то тут не то с улыбками на фотографиях.
      • +17
        Я вам больше скажу, что-то не так с наличием людей на фотографиях, ведь куда больше безлюдных мест, чем мест, где есть люди, значит, по статистике, шанс запечатлеть на фото человека очень мал!
        • 0
          И есть что-то подозрительное с тем, что на фотографии так много материи, ведь обычная концентрация материи во Вселенной гораздо меньше…
  • +6
    Пусть попробуют воспроизвести ещё раз. Успешно прошедших оба испытания работ будет 25%.
  • 0
    Психология, социология, наука, воспроизводимость, закономерности, научный подход и другие слабо связанные ключевые фразы.

    Подождите, а разве не принято сначала ждать подтверждения какого-то явления, полученного от других коллективов, на другом оборудовании и т.п.?
    Как с этим дело обстоит в социологии и психологии?
    • +3
      Очень просто там все обстоит.
      Получил интересные результаты — беги писать статью про эту тему.
      И не вздумай повторять эксперимент, интересные результаты могут не повториться.

      Объективная повторимость приветствуется в технических дисциплинах.
      • НЛО прилетело и опубликовало эту надпись здесь
  • 0
    Проблема надежности и валидности результатов является краеугольным камнем всех дисциплин, объектом исследования которых является человек. Проблема болезненная и широко известная. Если-бы ребята предложили варианты решения, то это было-бы дело, а с пустой критикой могут идти лесом
    • 0
      Ну может они и не критикуют, а просто пытаются понять масштаб проблемы.
    • +8
      Проблема здесь во многом в том что вот такие вот «исследователи» не знают даже базового курса статистики, причем некоторые ошибки статистического анализа невозможно понять из результатов работы. Вот взяли выборку в 1000 человек — вроде по работе все сходится, 1000 человек для описанного фактора — достаточная выборка. Но на самом деле меряли на этой 1000 человек три сотни факторов а опубликовали только тот который оказался «статистически значимым» (на самом деле — нет, потому что «статистически значимый» он из-за непонимания того как надо проводить эксперимент). Или другой вариант — посчитали значимость по p-Value, потому что кроме p-Value других методов не знают в результате отловили сильно раздутый результат, о чем радостно и написали статью. Часто бывает что просто в принципе нету денег на нормальную выборку или выборка составлена не репрезентативно.

      Физики наверное просто смеются над тем что кто то назыавет научными работами текст содержащий фразы типа «p-Value = 0.05 что подтверждает статистическую значимость эффекта алобалохреномалолазола при лечении борзецомы». У них то на научное открытие надо доверительный интервал шириной 99.99997%. Если бы физики оперировали p-Value < 0.05 — у нас бы было 50 разных бозонов Хиггса и 300 «стандартных моделей».
      • +1
        Тихо-тихо, химики знают статистику не хуже физиков
        • +3
          Не хотел обидеть, я не сомневаюсь в химиках, тут речь лишь об авторах изнасиловавших свои экспериментальные данные для получения нужного результата или просто делающих статистический анализ от балды.
      • +3
        А что делать в ситуации дорогих уникальных экспериментов? Например, всего 2 крысы с экспериментальной пересадкой искусственных тканей? Ну не вариант 1000 сделать. Каждая как автомобиль стоит и месяцы труда. Совсем не публиковать?
        • 0
          А что вы будете делать с такими результатами?
          Допустим, одна крыса умерла.
          У вас есть технология пересадки, которая работает в 50% случаев, «но это не точно».
          Или обе крысы выжили.
          Теперь у вас технология, которая работает в 100% случаев, «но это опять-таки не точно».
          Думаете, теперь можно сразу применять на людях?

          И ещё — комментарий ниже от «Perez» относится к вам.
          Представляете, сколько миллиардов ушло на большой адронный коллайдер?
          А ведь те исследования даже не касались лечения человека.
          Так что на лечение человека, таких крыс «как автомобиль» все равно придется потратить несколько тысяч.
          • +2
            Тут есть нюанс. Мы экспериментируем и ищем новые методы. Соответственно на малых партиях можно нащупать верное направление и уже после отработки проблем сделать большую выборку. Иначе бюджета не хватит на 1000 крыс для каждой тупиковой ветки разработки.
            • 0
              Это безусловно верно. Главное не выдавать первое за второе. Есть задача определения наличия эффекта. Допустим у вас есть пациент на 4 стадии рака из которых умирает 100% в течение года. Если у вас есть сыворотка и вы на одном пациенте получили выздоровление — то эффект вы доказали очень неплохо. Теперь можно делать более широкое исследование чтобы понять насколько и когда ваша сыворотка эффективна. При этом конечно все равно надо учитывать изначально вероятность с которой вы можете обнаружить эффект, если это 1/1000000 (т.е. условно — «а давайте попробуем корень боярышника вколоть, вдруг выздоровеет) — то может и один эксперимент не надо проводить пока не сделан более адекватный анализ метода.
          • 0
            Сколько таких коллайдеров построили? Вообще странная у вас позиция, ставите одну науку выше другой. Попахивает элитизмом.
            • –1
              Не совсем понял, что вам не понравилось.
              Просто считается, что жизнь человека дороже всего остального.
              И исследования, связанные с человеческими жизнями, нужно проводить наиболее тщательно.
              Если на БАК было потрачено N денег, то на исследования какого-то важного лечения можно потратить больше денег.
              Я про этот момент.
              • 0
                Ну мы пока людям это и не даем. Метод разработать надо с минимальным убийством животных, естественно. Массовые испытания только перед внедрением.
            • +3
              Тут ещё вариант бюджета. Если выделили N денег, но этого мало на массовые исследования, то нужно бросать перспективное направление с интересными результатами? Мне кажется лучше хотя бы маленькими выборками, но найти нужный путь.
              • 0
                Если вам статистика говорит что при вашей выборке проехавший за окном поезд будет оказывать больше влияние на результат чем ваша таблетка — то это будет просто трата денег в пустую. 1000 маленьких экспериментов с такой выборкой дадут много меньше информации чем 1 эксперимент с в 1000 раз больше выборкой. Если же вопрос только в точности определения эффекта или в каких-то нюансах отбросив которые результат все равно представляет собой практическую ценность — то почему бы и не провести эксперимент.
                • 0
                  Ну как-то так. Это разработка методик в совершенно новой области, по сути. Вас этический комитет расстреляет, если вы крыс будете кубометрами убивать. Это в России только можно. В той же Швеции наши коллеги там каждую крысу по месяцу практически согласовывают.
                  • 0
                    Ну я лично вообще удивлен что что-то называющееся «этический комитет» имеет какое-то влияние на постановку научных экспериментов. Вот истинно надо дармоедов каких-то кормить и придумывают им общественно-вредные работы.
                    Крыски конечно дорогие в финансовом плане, но если эксперимент не может теоретически даже показать вразумительные цифры или может с вероятностью 1/10000 — то зачем деньги изводить на крыс и эксперимент в целом? Если же результаты получить можно — то и претензий нету.
                    • +1
                      Этика — сложный вопрос. Животных жалко и валить их негуманно. Поэтому авторитетный журнал типа Nature не опубликует вашу работу, если решит, что вы использовали слишком болезненные иглы для инъекций и животным было дискомфортно. Им разве что массаж только по требованию не надо делать. В РФ проще, но все равно правила есть и довольно жесткие. Например, на высших приматах нельзя ставить эксперименты, если их можно заменить свиньей или кем-то попроще. А если и можно, то только нелетальные типа «поиграй с цветными кубиками». Собаки, кошки во всем мире тоже запрещены практически везде. Китайцы только традиционно плюют на это дело.
                      • 0
                        Я согласен. Но тут я имею ввиду что если ради получения лекарства от рака нужен милилон крыс — то лучше все же изобрести «лекарство от рака» (ой, и заплююте вы меня как доктор за эту фразу), т.к. это спасет гораздо больше жизней. Ну а высшие приматы — они стоят столько что там первыми на глотку инвесторы наступят и никакие комитеты по этике даже не получат задачи на рассмотрение.
                        • 0
                          Да, цена там тоже суровая. Обычный бабуин около миллиона стоит.
        • +1
          Здесь вопрос в том на что направлен эксперимент, какова его статистическая сила и прочее. Например если ITER выстрелит — мы не будем говорить что вероятность успешного термоядерного синтеза 1/(количество неуспешных токомаков + 1). Мы будем говорить «технология есть, можем строить». Если вероятность доказать наличие эффекта на 2 крысах — 30% — оно стоит того. Если же вероятность обнаружения — 1/10000 — вероятно стоит подумать 10 раз, а стоит ли эксперимент денег (ведь 1 эксперимент с 20 000 крыс гораздо более статистически информативен чем 10 000 экспериментов с 2 крысами, а еще чаще и гораздо дешевле в сумме), или стоит объединиться и делать более широкое исследование. Пересадка тканей в данном примере — хороший образец proof of concept с достаточно низкой степенью неопределенности. В случае успешной пересадки мы конечно можем сказать что это только потому что «днк оказались редчайшим образом совместимы» или что то подобное, но скорее всего мы все же получили эффект и дальнейшая задача понять условия при которых он успешен.
          Кроме того проблема то не в публикации как таковой, а в том что статистика (с умыслом или без умысла) применена не верно и из этого сделаны необеспеченные выводы. Писать о проверяемых аспектах эксперимента — это нормально хоть у вас 2 крысы, делать же на основе ложных предпосылок или неверного использования статистического аппарата вывод что ваша условная таблетка работает в 50% случаев — не верно.
          • 0
            В данной ситуации мы обычно «осторожно предполагаем возможные причины и тенденции». Слишком область неразведана.
      • –2
        Было бы круто, если бы «физики» знали правило написания слов «них-то», «как-то» и употребляли пунктуацию. ;)
        • +4
          Правило демагога #20.
          Если тебе нечего ответить оппоненту, то следует тщательно проверить его сообщение на предмет орфографических и пунктуационных ошибок.
  • 0
    Да да, физики всё также продолжают хохотать — «как автомобиль» :_))
    • 0
      Для лаборатории ВУЗа это очень много тем не менее) не бросать же исследования.
    • +1
      Но с другой стороны у физиков очень редко бывают ситуации, когда для каждого повтора эксперимента нужно строить установку с нуля с соответствующими затратами (обычно же стоимость повтора эксперимента в разы меньше первоначальных вложений), а крыски на каждый повтор новые нужны.
  • 0
    Психологи выяснили, что 51% учёных из проекта «Воспроизводимость» скучные зануды. Читайте в свежем номере «Psychologies».
  • 0
    Почему тут до сих пор не упомянут критерий Поппера? https://ru.wikipedia.org/wiki/Фальсифицируемость
  • 0
    «невоспроизводимость результата не означает того, что в работе содержится ошибка». А по-моему, это и говорит именно об ошибке.
    • 0
      Ошибка либо в одном из двух экспериментов, либо в интерпретации результатов

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.