Слайд 1Лекция 7:
Проблема мнимых повторностей в экологических исследованиях
Слайд 2Основные выводы
предыдущих лекций
Основной вид научного продукта – публикация в
журнале, предпочтительно – в международном, предпочтительно – с высоким импакт-фактором.
Такие
журналы предпочитают публиковать статьи, описывающие экспериментальную проверку гипотез.
Планирование эксперимента начинается с формулировки гипотезы и определения приемлемой вероятности ошибок первого и второго рода.
Во «Введении» должна быть сформулирована проблема, а текст должен убедить читателя в важности её решения.
Раздел «Материалы и методы» должен позволить другому специалисту воспроизвести Ваши результаты.
Если условия, обеспечивающие взятие репрезентативной и несмещенной выборки, не соблюдены, то исследователь не имеет права делать вероятностные выводы о генеральной совокупности.
Слайд 3Задачи лекции
Ознакомление с соотношением понятий «экспериментальная единица» и «измеряемая /
оцениваемая единица».
Ознакомление с проблемой мнимых повторностей в экологических исследованиях.
Приобретение
навыков критического анализа экспериментальных планов.
Слайд 4Способы размещения экспериментальных единиц
Лекция 6
На предыдущей лекции мы обсудили основные
требования к процедуре взятия выборок в условиях пассивного эксперимента и
к процедуре соотнесения воздействий с экспериментальными единицами в условиях активного эксперимента.
Сегодня мы будем обсуждать ошибочные экспериментальные планы и ошибки в использовании статистического анализа, вызванные нарушением требования независимости выборок.
Слайд 5Способы размещения экспериментальных единиц
Лекция 6
Если повторности сгруппированы в пространстве или
во времени,
либо все повторности связаны друг с другом, либо
все «повторно-
сти» взяты в пределах одной экспериментальной единицы, то
нарушается требование независимости элементов выборки.
Слайд 6Определение
Экспериментальная единица – это один из группы исходно равноценных объектов,
который экспериментатор выбирает для некоторого воздействия и который испытывает это
воздействие независимо от всех остальных объектов той же группы.
Хотя экспериментальная единица служит наименьшим независимым элементом экспериментального воздействия, она может (но не обязана) состоять из нескольких измеряемых / оцениваемых единиц.
Слайд 7Определение
Измеряемая / оцениваемая единица - элемент экспериментальной единицы, служащий основой
для получения индивидуальной оценки либо замера.
Лекция 6
Слайд 8Определение
Проблемой мнимых повторностей (pseudoreplication) называют некорректное использование статистических методов для
выявления эффекта, когда
воздействие применялось в одной повторности (из которой
было взято несколько измеряемых единиц), либо
«повторности» не были статистически независимыми.
Суть ошибки в том, что при статистическом анализе экспериментальные единицы подменяют измеряемыми единицами.
Слайд 9Пример 1
Экспериментальная единица – группа студентов (разным группам преподавали материал
с использованием разных методик).
Оцениваемая единица – студент (оценивали степень усвоения
материала).
Придумайте эксперимент, в котором и экспериментальной, и оцениваемой единицей будет индивидуальный студент.
Слайд 10Пример 1
Экспериментальная единица – группа студентов (разным группам преподавали материал
с использованием разных методик).
Оцениваемая единица – студент (оценивали степень усвоения
материала).
Придумайте эксперимент, в котором и экспериментальной, и оцениваемой единицей будет индивидуальный студент.
Слайд 11Пример 1
И экспериментальной, и оцениваемой единицей индивидуальный студент будет в
следующих экспериментах:
Влияние учебного пособия, используемого при подготовке к экзамену, на
степень усвоения материала.
Влияние физических нагрузок на степень усвоения материала.
... ... ...
Слайд 12Пример 2
Экспериментальная единица – участок леса (на разных участках применяли
разные удобрения).
Оцениваемая единица – дерево сосны (оценивали годичный прирост и
жизненное состояние дерева).
Придумайте эксперимент, в котором и экспериментальной, и оцениваемой единицей будет индивидуальное дерево.
Слайд 13Пример 2
Экспериментальная единица – участок леса (на разных участках применяли
разные удобрения).
Оцениваемая единица – дерево сосны (оценивали годичный прирост и
жизненное состояние дерева).
Придумайте эксперимент, в котором и экспериментальной, и оцениваемой единицей будет индивидуальное дерево.
Слайд 14Пример 2
И экспериментальной, и оцениваемой единицей индивидуальное дерево будет в
следующих экспериментах:
Влияние уровня дефолиации (изъятия хвои) на годичный прирост и
жизненное состояние дерева.
Влияние муравьев на годичный прирост и жизненное состояние дерева (муравьев не пускает на дерево клеевое кольцо у основания ствола).
... ... ...
Слайд 15Сравнение двух групп объектов
Вывод о сходстве либо различии двух групп
объектов может быть сделан тогда и только тогда, когда различия
между группами сравниваются со внутригрупповой изменчивостью.
Слайд 16Изменчивость внутри группы
Изменчивость внутри экспериментальной единицы отличается от изменчивости между
экспериментальными единицами и не может подменять последнюю при анализе эффектов
эксперимента.
Ошибочен (основан на мнимых повторностях) такой статистический анализ, в котором множественные измерения, выполненные в пределах одной экспериментальной единицы, используются для выявления эффекта воздействия.
Слайд 17Пример 1а
Экспериментальная единица – группа студентов (разным группам преподавали материал
с использованием разных методик).
Оцениваемая единица – студент (оценивали степень усвоения
материала).
Анализ основан на сравнении между группами: ПРАВИЛЬНО.
Анализ основан на сравнении между студентами: НЕПРАВИЛЬНО.
Слайд 18Пример 2а
Экспериментальная единица – участок леса (на разных участках применяли
разные удобрения).
Оцениваемая единица – взрослое (35-40 лет) дерево сосны (оценивали
годичный прирост и жизненное состояние дерева).
Анализ основан на сравнении между участками леса: ПРАВИЛЬНО.
Анализ основан на сравнении между изученными деревьями: НЕПРАВИЛЬНО.
Слайд 19Пример 3
Проверяем гипотезу о том, что частоты выпадения орла и
решки одинаковы.
Экспериментальная единица – монета.
Эксперимент – подбрасывание монеты.
Корректный эксперимент –
подбросить несколько монет.
решка
решка
орел
орел
орел
Слайд 20Пример 3
Проверяем гипотезу о том, что частоты выпадения орла и
решки одинаковы.
Экспериментальная единица – монета.
Эксперимент – подбрасывание монеты.
Корректный эксперимент –
подбросить одну монету несколько раз.
(1) решка
(3) решка
(2) орел
(4) орел
(5) орел
Слайд 21Пример 3
Проверяем гипотезу о том, что частоты выпадения орла и
решки одинаковы.
Экспериментальная единица – монета.
Эксперимент – подбрасывание монеты.
Некорректный эксперимент –
подбросить одну монету один раз и провести «независимые» наблюдения разных участков этой монеты.
решка
решка
решка
решка
решка
Слайд 22Сравнение двух групп объектов
Очевидно, что внутригрупповая изменчивость может быть оценена
только в тех случаях, когда группа состоит из двух и
более объектов.
Слайд 23Лингвистические проблемы
Английский термин ‘pseudoreplication’ не имеет прямого аналога в русском
языке, поскольку обозначает в первую очередь процесс – ошибочный выбор
повторностей для оценки внутригрупповой изменчивости в статистическом анализе.
Слайд 24Медицинская терминология
Сходные методологические ошибки часто встречаются и в медицинских экспериментах,
где они обозначаются как
‘фиктивные повторности’ (spurious replication),
‘инфляция повторностей’
(trial inflation), либо
‘проблема выбора единицы анализа’ (the unit of analysis problem or error).
Слайд 25Термин «мнимые повторности»
Предложен М. Козловым в 2003 г.
Судя по русскоязычному
интернету, термин «прижился» - по крайней мере, неизвестно ни одного
альтернативного предложения.
Слайд 26Два источника проблемы
мнимых повторностей
Проблема мнимых повторностей возникает:
из-за ошибок
в планировании эксперимента; а также
вследствие некорректного применения статистического анализа к
результатам хорошо спланированного исследования.
Слайд 27История
Оригинальная публикация:
Перевод на русский язык:
http://www.ievbras.ru/ecostat/Kiril/Article/A30/11/11_r.htm
Слайд 28История
В 1984 г. Стюарт Хёлберт (Stewart Н. Hurlbert) проанализировал 156
экспериментальных экологических статей, появившихся в течение 1960-1980х годов в ведущих
англоязычных экологических журналах.
В 27 % случаев исследуемое воздействие применялось в одной повторности, либо повторности не были статистически независимыми; тем не менее для доказательства эффекта использовались статистические методы.
Слайд 29И великие ошибались…
Первым такую ошибку совершил Фишер. В одном из
его экспериментов изучалось влияние калиевых удобрений (3 типа) и навоза
на урожайность 12 сортов картофеля.
Поле было разделено на две части, одна из которых была удобрена навозом; остальные факторы были случайным образом распределены по площадкам в пределах обеих половин поля.
Навоз - Навоз +
Слайд 30И великие ошибались…
Такой план эксперимента не позволяет статистически оценить влияние
навоза, однако Фишер применил дисперсионный анализ для выявления эффекта.
Он
вскоре осознал ошибочность такого плана и в своей книге привел в качестве примера только результаты, полученные на удобренной навозом половине поля, умолчав о существовании второй половины.
Навоз - Навоз +
Слайд 31Реакция на статью Хёлберта -
в мире
Web of Science (20
сентября 2017 г.) включает 5226 ссылок на статью Хёлберта.
Термин
‘pseudoreplication’ прочно вошел в лексикон как экологии, так и прикладной статистики.
Проблема мнимых повторностей в экологических исследованиях широко обсуждается в научных статьях.
В англоязычных экологических публикациях частоты мнимых повторностей в полевых экспериментах упали с 27% в 1960-80 гг. до 12% в 1991-92 гг.
Слайд 32До начала 2000х гг. понятие мнимых повторностей было неизвестно большинству
русскоязычных экологов.
Просмотр литературы по прикладной статистике (более 20 учебников
и учебных пособий, изданных в России после 1987 г.) показал, что термин ‘pseudoreplication’ (либо его аналог) не встречается ни в одном из изданий.
По данным Института научной информации работа Хёлберта до 2003 г. ни разу не цитировалась в русскоязычной периодике.
Реакция на статью Хёлберта -
в России
Слайд 33Обсуждение – в России
http://biometrica.tomsk.ru/kozlov_2.htm
Слайд 34Обсуждение – в России
Проблема оказалась очень болезненной, особенно для ученых,
экспериментальные планы которых подверглись критике.
Было предпринято несколько попыток «опротестовать» критику.
После
того, как «Журнал Общей Биологии» отказался от продолжения дискуссии, был издан сборник работ, пытающихся доказать, что проблема мнимых повторностей надуманна.
Слайд 35Обсуждение – в России
http://www.ievbras.ru/ecostat/Kiril/Article/A30/12/12_r.htm#a9
(сокращенный вариант!)
Слайд 36Обсуждение – в России
http://biometrica.tomsk.ru/kozlov_1.htm
Слайд 37Согласованная точка зрения
С. Хёлберта и М. Козлова
«Основная
идея статьи Д.В. Татарникова (2005) лучше всего описывается известным русским
афоризмом: “Если нельзя, но очень хочется, - то можно”. Хотя такой подход может оказаться выигрышным в некоторых ситуациях, он, безусловно, опасен в науке, – если, конечно, Российские экологи не намереваются (вслед за некоторыми политиками) заявить, что русская наука идет особым путем и подчиняется лишь своим собственным правилам. Однако в этом случае мы должны быть готовы к тому, что следующим объектом “научной дискуссии” станет таблица умножения.»
М.Козлов, С.Хёлберт (2006) Журн. Общ. Биол. 67 (2): 145-152
Слайд 38Обсуждение – в России
После того, как «Журнал Общей Биологии» отказался
от продолжения дискуссии, Институт экологии Волжского бассейна издал сборник работ,
пытающихся доказать, что проблема мнимых повторностей надуманна.
Слайд 39Обсуждение – в России
Дискуссия основана на разных трактовках независимости измерений.
Высказываются
разные мнения о возможности анализа результатов экспериментов, не включающих истинные
повторности.
Слайд 40Результат обсуждения – в России
Понятие «мнимые повторности», со ссылкой на
наши работы, теперь включено в описание учебных дисциплин по крайней
мере в трех университетах (включая МГУ).
Слайд 41Суммарная статистика
Просмотрено 562 статьи.
86 статей (15.3 %) попали в раздел
экспериментальных работ с применением статистического анализа.
30 из 86 статей
(34.9 %) несомненно и 10 статей (11.6 %) предположительно основывались на мнимых повторностях.
Частота мнимых повторностей в лабораторных экспериментах была 42.9%, при работах с мезокосмами – 60%, в полевых экспериментах – 48.0 %.
Слайд 42Пример: Мнимые повторности в пассивном эксперименте
Г. С. Малышева и П.
Д. Малаховский (2000) озаглавили статью «Пожары и их влияние на
растительность сухих степей».
Статья описывает последствия одного пожара.
Площадки, заложенные в пределах выгоревшего участка, представляют собой зависимые (мнимые) повторности: поскольку изучаемое воздействие (пожар) произошло однократно, то истинная (независимая) повторность для данного воздействия одна – выгоревший участок степи.
Слайд 43К. А. Смирнов (2001) сравнивал характеристики растительности внутри огороженного участка
леса (ограда использовалась для того, чтобы исключить влияние лосей) и
вне этого участка.
В каждом из вариантов (огороженный и неого-роженный участки) заложено 35 площадок.
Площадки, заложенные в пределах огороженного участка, представляют собой зависимые (мнимые) повторности: поскольку изучаемое воздействие (огораживание) произошло однократно, то истинная (независимая) повторность для данного воздействия одна – огороженный участок леса.
Пример: Мнимые повторности в активном полевом эксперименте
Слайд 44А сколько же брать
измеряемых единиц?
Эту критику не следует понимать
как запрет на изучение нескольких измеряемых единиц в пределах одной
экспериментальной единицы.
Такой план повышает точность оценки параметра (подробнее – в лекции 10), однако не влияет на число степеней свободы статистической модели.
На практике это означает, что значения, полученные при анализе нескольких измеряемых единиц из одной повторности, следует усреднить: одна повторность - одно значение переменной.
Другой способ анализа – использование иерархических (nested) статистических моделей.
Слайд 45Важность формулировки гипотезы для оценки независимости повторностей
Статистическая независимость может быть
оценена только когда известны как структура данных, так и к
проверяемая гипотеза.
Если мы имеем несколько оценок плотности некоего вида насекомых на каждой из двух площадок, «ошибки измерения» будут обладать статистической независимостью, необходимой для проверки гипотезы об отсутствии различий между двумя площадками.
Однако если одна из площадок была обработана инсектицидом, а вторая служит контролем, те же самые «ошибки измерения» не будут обладать статистической независимостью, необходимой для проверки нулевой гипотезы об отсутствии различий между опытом и контролем.
S.H. Hurlbert (1997)
Слайд 46Важность описания структуры эксперимента и методов анализа данных
Корректность статистического анализа
не может быть оценена, если неизвестна структура эксперимента.
Повторности не могут
рассматриваться как «истинные» либо «мнимые» сами по себе – лишь их использование в статистическом анализе может расцениваться как правильное либо ошибочное.
Слайд 47Эмпирическое правило
Описание как структуры эксперимента, так и применявшихся методов анализа
данных, должно позволить читателю однозначно идентифицировать как экспериментальные единицы, так
и измеряемые / оцениваемые единицы.
Слайд 48«Материалы и методы»
Для оценки влияния загрязнения на размер листа березы
пушистой мы сравнили длины 100 листьев, собранных вблизи завода, и
100 листьев, собранных вдали от него.
Оцените корректность экспериментального плана.
Задача не имеет решения – не хватает данных.
Пример: Оценка плана эксперимента
Слайд 49«Материалы и методы»
Для оценки влияния загрязнения на размер листа березы
пушистой мы сравнили длины 100 листьев, собранных вблизи завода, и
100 листьев, собранных вдали от него.
Оцените корректность экспериментального плана.
Задача не имеет решения – не хватает данных.
Пример: Оценка плана эксперимента
Слайд 50Для оценки влияния загрязнения на размер листа березы пушистой мы
сравнили среднюю длину 100 листьев, собранных с 10 берез (по
10 листьев с дерева), растущих у северной ограды завода, и среднюю длину 100 листьев, собран-ных с 10 берез, растущих в 20 км к югу от завода.
Оцените корректность экспериментального плана.
Ошибка формулировки задачи: «Оценка влияния загрязнения» допускает двоякое толкование:
Оценка величины эффекта;
Оценка статистической значимости эффекта.
Наш вывод будет зависеть от выбранной формулировки.
Пример: Оценка плана эксперимента
Слайд 51Для оценки влияния загрязнения на размер листа березы пушистой мы
сравнили среднюю длину 100 листьев, собранных с 10 берез (по
10 листьев с дерева), растущих у северной ограды завода, и среднюю длину 100 листьев, собран-ных с 10 берез, растущих в 20 км к югу от завода.
Ошибка при формулировке задачи: не загрязнения вообще, а конкретного завода.
«Оценка влияния загрязнения» допускает двоякое толкование:
Оценка величины эффекта;
Оценка статистической значимости эффекта.
Наш вывод будет зависеть от выбранной формулировки.
Пример: Оценка плана эксперимента
Слайд 52Для проверки гипотезы о том, что выбросы завода «Красная Синька»
приводят к уменьшению длины листа березы пушистой мы сравнили среднюю
длину 100 листьев, собранных с 10 берез (по 10 листьев с дерева), растущих у северной ограды завода, и среднюю длину 100 листьев, собранных с 10 берез, растущих в 20 км к югу от завода.
Ошибка экспериментального плана: оба варианта экспериментальных единиц (участок территории) не имеют повторностей.
Некорректный анализ данных: использована оценка изменчивости между листьями.
Пример: Оценка плана эксперимента
Слайд 53Для проверки гипотезы о том, что выбросы завода «Красная Синька»
приводят к уменьшению длины листа березы пушистой мы сравнили среднюю
длину 100 листьев, собранных с 10 берез (по 10 листьев с дерева), растущих у северной ограды завода, и среднюю длину 100 листьев, собранных с 10 берез, растущих в 20 км к югу от завода.
Ошибка экспериментального плана: оба варианта экспериментальных единиц (участок территории) не имеют повторностей.
Эта ошибка ведет к некорректному анализу данных - использованию оценки изменчивости между измерямыми единицами.
Пример: Оценка плана эксперимента
Слайд 54Для численной оценки величины эффекта выбросов завода «Красная Синька» на
длину листа березы пушистой мы сравнили среднюю длину 100 листьев,
собранных с 10 берез (по 10 листьев с дерева), растущих у северной ограды завода, и среднюю длину 100 листьев, собранных с 10 берез, растущих в 20 км к югу от завода.
Экспериментальный план отнюдь не оптимален, но его нельзя назвать ошибочным.
Способ анализа данных отнюдь не оптимален, но его нельзя назвать ошибочным.
Пример: Оценка плана эксперимента
Слайд 55Для численной оценки величины эффекта выбросов завода «Красная Синька» на
длину листа березы пушистой мы сравнили среднюю длину 100 листьев,
собранных с 10 берез (по 10 листьев с дерева), растущих у северной ограды завода, и среднюю длину 100 листьев, собранных с 10 берез, растущих в 20 км к югу от завода.
Экспериментальный план отнюдь не оптимален, но его нельзя назвать ошибочным.
Способ анализа данных отнюдь не оптимален, но его нельзя назвать ошибочным.
Пример: Оценка плана эксперимента
Слайд 563 «грязных» и 3 «чистых» местообитания, по 3 березы в
каждом, по 10 листьев с дерева.
Способ анализа данных: средние значения
для двух типов местообитаний основаны каждое на трех средних (для индивидуальных местообитаний), каждое из которых основано на трех средних (для индивидуальных деревьев).
Пример: Оптимальный план
Слайд 57Для проверки гипотезы о том, что выбросы завода «Красная Синька»
приводят к уменьшению длины листа березы пушистой мы сравнили среднюю
длину листа у 10 берез (по 10 листьев с дерева), растущих в радиусе 2 км от завода (минимальное расстояние между изученными березами – 400 м), и у 10 берез, растущих на расстояниях 10-25 км от завода (минимальное расстояние между изученными березами – 4 км).
Корректный (хотя и не оптимальный) экспериментальный план: экспериментальная единица – индивидуальная береза.
Корректный анализ данных: использована оценка изменчивости между экспериментальными единицами.
Пример: Оценка плана эксперимента
Слайд 58Для проверки гипотезы о том, что выбросы завода «Красная Синька»
приводят к уменьшению длины листа березы пушистой мы сравнили среднюю
длину листа у 10 берез (по 10 листьев с дерева), растущих в радиусе 2 км от завода (минимальное расстояние между изученными березами – 400 м), и у 10 берез, растущих на расстояниях 10-25 км от завода (минимальное расстояние между изученными березами – 4 км).
Корректный (хотя и не оптимальный) план: экспериментальная единица = измеряемая единица = индивидуальная береза.
Корректный анализ данных: использована оценка изменчивости между экспериментальными единицами.
Пример: Оценка плана эксперимента
Слайд 593 «грязных» и 3 «чистых» местообитания, по 3 березы в
каждом, по 10 листьев с дерева.
Экспериментальная единица = местообитание.
Измеряемая единица
= индивидуальная береза.
Использование нескольких измеряемых единиц внутри одной экспериментальной единицы повышает точность определения интересующей нас характеристики и уменьшает трудозатраты.
Пример: Оптимальный план
Слайд 60Для оценки влияния выбросов завода ХХХ на скорость разложения листьев
мы собрали листья с 5 берез в грязном месте и
5 берез в чистом месте.
Мы выбрали две «идентичные» площадки (А и Б), на одной разложили все пакеты с загрязненными листьями, на другой – все пакеты с чистыми листьями.
Мы выбрали одну площадку (В) и в пределах неё случайным образом разложили все пакеты.
Мы выбрали несколько площадок в интересующем нас районе и в пределах каждой площадки случайным образом разложили пробы как загрязненных, так и чистых листьев.
Пример: Оценка плана эксперимента
Слайд 61Для оценки влияния выбросов завода ХХХ на скорость разложения листьев
мы собрали листья с 5 берез в грязном месте и
5 берез в чистом месте.
Мы выбрали две «идентичные» площадки (А и Б), на одной разложили все пакеты с загрязненными листьями, на другой – все пакеты с чистыми листьями.
Мы выбрали одну площадку (В) и в пределах неё случайным образом разложили все пакеты.
Мы выбрали несколько площадок в интересующем нас районе и в пределах каждой площадки случайным образом разложили пробы как загрязненных, так и чистых листьев.
Пример: Оценка плана эксперимента
?
ОК
Слайд 62Пространственное размещение
(перемешивание) повторностей
В измерительных исследованиях повторности исходно изолированы, и их
пространственную приуроченность мы изменить не в силах.
Если мы планируем
эксперимент, то первоочередной задачей исследователя становится правильное размещение экспериментальных площадок; некорректный экспериментальный план может свести на нет всю работу.
Лекция 6
Слайд 63Простое и групповое разделение
В полевых экспериментах эти два типа распределения
повторностей достаточно редки; по-видимому, подавляющее большинство исследователей интуитивно чувствует необходимость
перемешива-ния. Напротив, в лабораторных экспериментах групповое распределение встречается весьма часто.
Слайд 64Простое и групповое разделение
Опасность группировки повторностей в том, что она
повышает вероятность обнаружения различий между сравниваемыми воздействиями – как за
счет не замеченных нами различий, существовавших до начала эксперимента, так и за счет случайных событий в ходе эксперимента.
Слайд 65Пример: Простое разделение экспериментальных единиц
Для оценки влияния ДДТ на планктон
исследователь расположил в ряд на столе 8 аквариумов, наполнил их
водой с планктоном и добавил ДДТ в четыре левых аквариума. Освещенность, температура и прочие условия были одинаковы для всех аквариумов.
При проведении некоторых работ лаборант на пару часов оставил на «контрольном» краю стола открытую бутыль с формальдегидом.
Слайд 66Пример: Простое разделение экспериментальных единиц
Экспериментатор не без удивления констатировал стимулирующее
воздействие ДДТ на рост планктона.
Очевидно, что при рандомизации (перемешивании)
аквариумов шансы сделать подобное «открытие» сильно уменьшаются.
Слайд 67Изолирующее разделение
Такое разделение типично для лабораторных экспериментов. Например, при изучении
эффектов температуры, фотопериода, газового состава среды и т. п., используются
камеры с контролируемым микроклиматом. В силу дороговизны такие камеры часто не имеют повторностей.
Слайд 68Изолирующее разделение
Если мы изучаем воздействие различных температур на одинаковые растения,
то экспериментальной единицей становится климатическая камера.
Дисперсионный анализ различий между 4
группами растений (группа = камера) для доказательства влияния температуры, основанный на замерах индивидуальных растений: неправильно.
+16оС
+28оС
+24оС
+20оС
Слайд 69Изолирующее разделение
Если мы изучаем воздействие различных температур на одинаковые растения,
то экспериментальной единицей становится климатическая камера.
Корреляционный (либо регрессионный) анализ по
8+ парам значений (температура – значение признака у индивидуального растения) для доказательства влияния температуры: неправильно.
+16оС
+28оС
+24оС
+20оС
Слайд 70Изолирующее разделение
Если мы изучаем воздействие различных температур на одинаковые растения,
то экспериментальной единицей становится климатическая камера.
Корреляционный (либо регрессионный) анализ по
4 парам значений (температура – среднее значение признака в камере) для доказатель-ства влияния температуры: правильно. Но такой анализ способен выявить лишь сильные эффекты.
+16оС
+28оС
+24оС
+20оС
Слайд 71Изолирующее разделение
Если мы изучаем воздействие различных температур на одинаковые растения,
то экспериментальной единицей становится климатическая камера.
Дисперсионный анализ различий между 2
группами камер для доказательства влияния температуры, основанный на средних значениях для каждой из камер: правильно.
+18оС
+26оС
+26оС
+18оС
Слайд 72А если повторность – единственная…?
План эксперимента с единственной повторностью либо
неудовлетворительным распределением повторностей сам по себе нельзя считать ошибочным
В
силу объективных причин некоторые гипотезы не могут быть проверены в экспериментах с независимыми повторностями:
На Земле одна повторность тропической зоны.
Парниковый эффект: единственная повторность без контроля.
Принципиальными моментами становятся корректное применение статистических методов и логика автора.
Слайд 74Типы мнимых повторностей
Простые мнимые повторности.
Последовательные мнимые повторности.
Вторичные мнимые повторности в
корректно заложенном эксперименте.
Скрытые мнимые повторности.
Слайд 75Простые мнимые повторности: статья Руднева и Жерко (2000)
Описание
Изучали влияние полихлорированных
бифенилов на биохимические характеристики черноморской скорпены.
Рыб содержали в двух
аквариумах, в один из которых был добавлен исследуемый препарат.
Из каждого аквариума отбирали 6 особей, и средние значения некоторых параметров сравнивали между собой.
Слайд 76Экспериментальная и измеряемая единицы
Любые две рыбы из одного аквариума находились
в более сходных условиях, чем любые две рыбы из разных
аквариумов.
Рыбы в пределах одного аквариума, скорее всего, взаимодействовали друг с другом (на биохимическом либо поведенческом уровне), что также противоречит утверждению о независимости замеров, проводившихся на нескольких рыбах из одного аквариума.
Особь = измеряемая единица.
Аквариум = экспериментальная единица.
Простые мнимые повторности: статья Руднева и Жерко (2000)
Слайд 77Выводы
Опыт без повторностей.
Статистический анализ основан на изменчивости между измеряемыми единицами
(рыбами).
Ошибка классифицируется как «простые мнимые повторности».
Для выявления эффекта токсиканта
следовало использовать как минимум два экспериментальных и два контрольных аквариума и основывать анализ на изменчивости между аквариумами, а не между особями скорпены.
Простые мнимые повторности: статья Руднева и Жерко (2000)
Слайд 78Описание
Изучали влияние фотопериода на ритмы размножения серебристо-черных лисиц.
Три группы
самок содержали в общем закрытом вольере при разных режимах искусственного
освещения, а четвертая содержалась в открытом вольере при естественном освещении.
Экспериментальная и измеряемая единицы
Особь = измеряемая единица.
Группа = экспериментальная единица.
Простые мнимые повторности: статья Осадчук (1999)
Слайд 79Критика
Опыт без повторностей и без контроля.
Статистический анализ основан на изменчивости
между измеряемыми единицами (лисицами).
Ошибка классифицируется как «простые мнимые повторности».
Опыт
следовало разбить на 2 опыта: (1) различия между естественными и искусственным освещением; (2) различия между режимами освещения.
Каждому режиму освещения следовало подвергать не менее двух групп лисиц.
Следовало либо разместить все группы в одном вольере (с перемешиванием режимов освещения), либо в нескольких вольерах (в каждом из которых были бы применены все режимы освещения), либо помещать каждую группу в индивидуальный вольер.
Простые мнимые повторности: статья Осадчук (1999)
Слайд 80Простые мнимые повторности
Наиболее частая ошибка экологов - использование единственной повторности
для каждого типа воздействия.
Если статистический анализ основан на нескольких измеряемых
/ оцениваемых единицах, взятых из одной эксперименталь-ной единицы, то говорят о простых мнимых повторностях (simple pseudoreplication).
К сожалению, некоторые ученые до сих пор считают подобную схему статистического анализа корректной.
Слайд 81Описание
Изучали межпопуляционную изменчивость пугливости оленей.
Определяли дистанцию, на которой стадо оленей
обнаруживало человека и обращалось в бегство.
Авторы рассматривают последовательные наблюдения
как независимые; число изученных стад не указано.
Экспериментальная и измеряемая единицы
Событие (бегство стада) = измеряемая единица.
Стадо = экспериментальная единица.
Последовательные мнимые повторности: статья Баскина и Скугланд (2001)
Слайд 82Критика
Рассчитанная авторами значимость межпопуляционных различий, несомненно, сильно завышена.
В качестве повторности
следовало использовать стадо, т. е. проводить один эксперимент с одним
стадом, либо усреднять значения последовательных экспериментов.
Другой способ обработки данных – использование статистических методов, учитывающих зависимость последовательных наблюдений (repeated measure analysis).
Последовательные мнимые повторности: статья Баскина и Скугланд (2001)
Слайд 83Последовательные мнимые повторности
Единственное отличие от простых мнимых повторностей – не
одновременное, а последовательное взятие выборок в пределах экспериментальной единицы.
Отсутствие независимости
выборок в данном случае очевидно.
Слайд 84Описание
Изучали действие разных концентраций загрязнителя на прорастание семян тополей.
Эксперимент
заложен в четырех повторностях (повторность = 50 семян, помещенных в
чашку Петри).
Замерены 7 проростков в каждой повторности в пределах одного варианта опыта.
При анализе эти замеры объединены: каждый вариант представлен 28 проростками.
Экспериментальная и измеряемая единицы
Проросток = измеряемая единица.
Чашка Петри = экспериментальная единица.
Вторичные мнимые повторности: статья Седых и др. (2001)
Слайд 85Критика
Мы не знаем, как формировалась эксперимен-тальная единица (50 семян в
чашке Петри – со скольких деревьев, как отбирались пробы…) –
не ясна область генерализации выводов.
Некорректный анализ: каждый вариант представлен 28 проростками (= мнимыми повторностями), а не 4 чашками Петри (= истинными повторностями). Следовало усреднить значения замеров в пределах каждой из повторностей.
Несомненно, что в этом случае значимость различий между вариантами сильно понизится или вовсе исчезнет.
Вторичные мнимые повторности: статья Седых и др. (2001)
Слайд 86Вторичные мнимые повторности в корректно заложенном эксперименте
Даже если эксперимент заложен
в нескольких повторностях, исследователи часто «создают» мнимые повторности путем некорректного
применения статистических методов.
Типичная ошибка, частота которой вызывает удивление, - «потеря» истинных повторностей (экспериментальных единиц) и подмена их измеряемыми единицами.
Слайд 87Описание
Изучали биохимию и жизнеспособность семян кедра корейского при разных способах
хранения.
По крайней мере некоторые из условий хранения (например, типовой
склад Арсеньевского лесхоза) не имели повторностей.
Опубликованные данные (средние значения с ошибкой) позволяют провести статистический анализ; в тексте содержатся «интуитивные» сравнения между вариантами опыта.
Скрытые мнимые повторности: статья Ореховой (2001)
Слайд 88Критика
Поскольку автор сопоставляет средние значения (хотя и не применяет статистические
тесты), можно говорить о простых скрытых мнимых повторностях.
Скрытые мнимые повторности:
статья Ореховой (2001)
Слайд 89В ряде публикаций, основанных на эксперименте без повторностей, авторы приводят
средние значения и стандартные ошибки некоторых переменных. Само по себе
это - не ошибка.
Но если автор считает приведенные им данные доказательством наличия либо отсутствия некоторого эффекта (то есть подразумевает возможность статистического сравнения), то можно говорить о скрытых мнимых повторностях.
Скрытые мнимые повторности
Слайд 90Это полезно запомнить:
Около половины экспериментальных экологических статей, опубликованных в русских
академических журналах в 1998-2001 годах, были основаны на мнимых повторностях.
Причина такого состояния дел – недостаточная статистическая грамотность российских биологов (как авторов публикаций, так и рецензентов).
Особенно прискорбно «создание» мнимых повторностей при некорректном анализе хорошо спланированного эксперимента, вызванное отсутствием базовых знаний по статистике.
Слайд 91Сам по себе эксперимент без повторностей имеет право на существование.
Накопленный опыт доказывает, что эксперименты без повторностей дают существенно меньше
информации, чем эксперименты с независимыми повторностями, а результаты подобных экспериментов гораздо труднее интерпретировать и опубликовать.
Корректный статистический анализ данных, позволяющий избежать проблемы мнимых повторностей, жизненно важен для публикации результатов в международных журналах с высоким импакт-фактором.
Это полезно запомнить:
