Один результат оказался значимым среди двадцати
В учебном исследовании вы сравнили две группы по двадцати показателям анкеты. Таблица данных подготовлена правильно, каждый отдельный тест выполнен по инструкции, программа выдала двадцать p-значений. Одно равно 0,03, остальные больше 0,05. Возникает желание оставить в главе только удачную строку и написать, что группы различаются. Но способ поиска результата тоже относится к анализу. Когда проверок много, шанс получить хотя бы один случайный сигнал отличается от риска в одной заранее выбранной проверке. Это нужно учесть до окончательной формулировки вывода.
Ниже рассматривается вымышленная курсовая, где исследовательский вопрос относится ко всему набору показателей. Мы не выбираем за вас статистический критерий и считаем его предпосылки отдельной обязанностью автора. Здесь задача уже: установить семейство проверок, понять смысл общего риска ошибки и оформить все результаты так, чтобы читатель видел процедуру поиска. Численные примеры искусственные. Они показывают устройство решения, а не доказывают эффект какой-либо учебной методики. Реальный план анализа согласуйте с руководителем, особенно если требования курса задают конкретный метод учёта множественности.
Опишите, какой вывод объединяет проверки
Семейство гипотез — набор проверок, для которого вы хотите совместно контролировать ошибки определённого типа. В нашей постановке двадцать сравнений поддерживают общий поиск различий между группами по анкете. Поэтому нельзя считать каждую строку отдельным миром и одновременно выбирать самую удачную для общего заключения. Сначала сформулируйте, какое утверждение будет сделано, если хотя бы одна строка окажется значимой. Это помогает увидеть границу семейства содержательно, а не определять её по числу таблиц в редакторе текста или отдельных запусков программы.
Число вопросов анкеты само по себе ещё не равно числу проверок. По одному показателю могли сравниваться четыре курса попарно, а ещё отдельно работающие и неработающие студенты. Часть вопросов могла использоваться только описательно, без тестирования. Составьте реестр выполненных сравнений: показатель, группы, критерий, направление альтернативы и назначение. Если планы менялись по ходу работы, сохраните эти изменения. Нельзя восстановить честное число попыток только по последней красивой таблице, когда неудачные расчёты уже убраны из документа и забыты.
Различите отдельную ошибку и хотя бы одну ошибку
Ошибка первого рода означает отклонение верной нулевой гипотезы. В отдельной проверке выбранный уровень значимости задаёт ограничение такого риска при выполнении условий метода. Он не является вероятностью того, что конкретный полученный вывод ложен. Для серии нас может интересовать вероятность хотя бы одной ошибки первого рода во всём семействе. Этот показатель называют FWER. Даже когда каждый тест по отдельности устроен правильно, процедура выбора любого удачного результата из серии требует самостоятельной оценки общего риска.
Для простой иллюстрации предположим, что все двадцать нулевых гипотез верны, тесты независимы и каждая проверка имеет вероятность ложного отклонения ровно 0,05. Вероятность не получить ни одного ложного отклонения равна 0,95 в двадцатой степени, примерно 0,3585. Вероятность хотя бы одного составляет единицу минус это число, примерно 0,6415, или 64,15 процента. Это свойство воображаемого многократного повторения такой процедуры. Оно не означает, что вероятность ложности вашего конкретного результата равна 64 процентам, и не устанавливает, какая строка ошибочна.
Не переносите формулу независимости на анкету автоматически
Показатели одной анкеты часто связаны между собой. Двадцать сравнений по одним людям не становятся независимыми только потому, что лежат в разных столбцах. Поэтому число 64,15 процента нельзя автоматически подписать как точную вероятность ошибки вашей курсовой. Оно объясняет, почему множество попыток меняет задачу, при специально заданных условиях. Фактическая зависимость, свойства критериев и состав истинных гипотез могут изменить общий риск. Пример должен оставаться иллюстрацией, а не числом, якобы измеренным по вашим данным без дополнительного расчёта.
При этом отсутствие независимости не означает, что множественностью можно пренебречь. Оно означает необходимость подходящего способа контроля. Не пытайтесь доказать независимость двадцати тестов одним просмотром корреляций и затем применить красивую формулу. Для базового учебного разбора есть методы, которые не требуют такой независимости для контроля семейной ошибки. Выбор всё равно связан с корректностью отдельных p-значений. Поправка не устраняет неверный критерий, нарушенный дизайн выборки или подмену парных наблюдений независимыми. Она решает определённую задачу поверх обоснованных исходных проверок.
Простой контроль через поправку Бонферрони
Для семейства из двадцати проверок и общего уровня 0,05 поправка Бонферрони использует порог 0,05, делённый на двадцать: 0,0025 для каждой проверки. Если исходное p равно 0,03, оно не проходит этот порог. Можно представить то же решение через скорректированное p: умножить исходное на двадцать и ограничить результат единицей. Для 0,03 получаем 0,60. Тогда сравниваем 0,60 с общим уровнем 0,05. Это два согласованных способа представить один и тот же контроль, а не две последовательные поправки.
Обоснование опирается на ограничение вероятности объединения событий суммой их вероятностей; независимость здесь не обязательна. Если каждую истинную гипотезу ошибочно отклоняют с вероятностью не больше выделенного ей порога, суммарный риск хотя бы одной такой ошибки ограничивается заданным общим уровнем. В учебном отчёте достаточно показать выбранное семейство, его размер и правило решения. Не нужно утверждать, что метод даёт точную вероятность ошибки ровно пять процентов. Речь об ограничении сверху при соответствующих условиях, а не о гарантированном числе ложных строк в каждом исследовании.
Проверьте арифметику на четырёх контрольных строках
Представим, что среди двадцати исходных результатов есть значения 0,001, 0,002, 0,03 и 0,20. Остальные шестнадцать также учитываются в размере семейства. После умножения на двадцать эти четыре получают 0,02, 0,04, 0,60 и 1. Последнее число ограничено единицей, поскольку произведение равно четырём. При общем уровне 0,05 первые два примера проходят выбранное правило, третий и четвёртый нет. В таблице оставьте метки гипотез рядом с числами, чтобы не перепутать результаты после сортировки по величине p.
Не округляйте исходные p до двух знаков перед поправкой. Значение 0,002 может превратиться в 0,00 и потерять полезную информацию, а близкие к порогу числа станут неразличимыми. Для вычисления используйте доступную точность результата, для публикации — понятный согласованный формат. Если программа показывает только p меньше некоторого значения, найдите возможность получить необходимую точность или честно сохраните ограничение. Нельзя придумывать дополнительные разряды и затем делать по ним точное решение относительно порога. Сначала выясните, какую информацию действительно возвращает инструмент.
Не исправляйте уже скорректированный столбец второй раз
В результатах программы могут находиться исходные и скорректированные p. Прочитайте название столбца, параметры процедуры и примечание под таблицей. Если постфактум умножить уже скорректированное число ещё на двадцать, получится другой, излишне изменённый результат. Сохраните исходные p отдельно и выполняйте выбранное преобразование один раз. В учебной заметке укажите, что именно вводилось в процедуру и какой столбец попал в отчёт. Скриншот без заголовка не позволяет определить, к чему относится красивое число и было ли оно уже обработано.
Сверьте хотя бы одну строку вручную. Для нашего примера исходные 0,03 и двадцать проверок должны давать 0,60 при Бонферрони. Если программа показывает другое, проверьте метод, число гипотез, исходный столбец и состав выбранных строк. Не выбирайте из нескольких столбцов тот, который лучше поддерживает ожидаемый вывод. Отличия могут быть совершенно правильными для разных процедур. Вопрос заключается в том, какая процедура предусмотрена планом, что она контролирует и почему этот способ подходит к задаче, а не в удобстве её результата.
Другие методы отвечают на разные вопросы
В официальной документации R для p.adjust описано несколько способов корректировки. Метод Holm тоже контролирует семейную ошибку и обычно менее консервативен, чем простое умножение Бонферрони. Методы контроля FDR относятся к другой цели: ожидаемой доле ложных находок среди отклонённых гипотез. Это не то же самое, что вероятность хотя бы одной ошибки в семействе. Поэтому нельзя заменить один показатель другим и оставить прежнее словесное обещание. Название метода и контролируемый риск должны соответствовать друг другу в описании исследования.
Для данной статьи Бонферрони удобен прозрачной арифметикой, но это не универсальная рекомендация для любой курсовой. У разных методов есть условия применения, а у сравнений после анализа нескольких групп могут быть специальные процедуры. Обсудите выбор до окончательного просмотра выводов. Если руководитель предлагает Holm, используйте его осознанно и сохраните тот же полный набор исходных p. Не запускайте ряд методов, чтобы затем сообщить только первый давший значимость. Тогда поиск самого метода становится ещё одной скрытой частью выбора удачного результата.
Не уменьшайте семейство после просмотра результатов
Предположим, девятнадцать проверок не дали ожидаемого различия, а одна дала 0,03. Нельзя задним числом объявить её единственной основной и разделить уровень на один. Выбор был сделан по результатам уже выполненной серии, и описание должно это отражать. Также недостаточно перенести остальные девятнадцать строк в приложение и считать, что из-за этого изменился размер семейства. Место публикации не отменяет попытки анализа. Сохраните реестр и объясните, какие сравнения поддерживают общий вывод, даже если часть чисел изложена компактно.
Если одно сравнение действительно было основным до получения данных, это можно показать в заранее сохранённом плане, задании или согласованном протоколе. Дополнительные поисковые проверки описывают отдельно с соответствующим статусом. Их нельзя маскировать под заранее выбранные только потому, что они оказались интереснее. Дата в названии нового файла не доказывает прежнее решение. Для следующей работы полезно заранее записать основной показатель, группы и способ проверки. Для текущей честнее назвать фактическую последовательность, чем пытаться создать идеальную историю исследования после его завершения.
Отделите поисковую находку от подтверждения
Поисковый анализ может быть полезным: он помогает увидеть неожиданную связь и сформулировать следующую гипотезу. Проблема возникает, когда такую находку описывают как строгое подтверждение заранее поставленного утверждения. В нашей курсовой можно написать, что после просмотра двадцати сравнений выделен показатель с исходным p 0,03, но при выбранном семейном контроле он не достиг порога. Это информативный результат о выполненном анализе. Его не нужно скрывать, объявлять доказательством отсутствия различий или превращать в победу сменой критерия после просмотра.
Для дальнейшей проверки сформулируйте конкретную гипотезу и новый план до получения следующих данных. Новая независимая выборка может дать отдельное подтверждение, если дизайн и процедура подходят задаче. Просто повторный запуск теста на тех же людях не создаёт нового независимого свидетельства. Изменение фильтра, исключение неудобной группы или выбор только части показателя также требует прозрачного описания. Такая переработка может быть исследовательски обоснованной, но не должна подаваться как будто именно этот единственный расчёт всегда был запланирован и все остальные варианты никогда не рассматривались.
Что написать, когда значимость исчезла
Фраза «различий нет» слишком сильна для одного непрошедшего порога результата. Укажите оценённое различие, размер выборки, применённую процедуру и неопределённость, если её представление предусмотрено заданием. Затем сформулируйте ограниченный вывод: данных недостаточно для отклонения соответствующей гипотезы по выбранному правилу семейного контроля. Это не тождественно доказанному равенству групп. Если задача требует подтвердить практическую эквивалентность, ей нужен специальный план и критерий, а не простое отсутствие звёздочки в обычной таблице p-значений.
Статистическая значимость также не показывает практическую важность различия. Маленькая разница при большой выборке и большая, но неопределённая разница при малой требуют разных обсуждений. Не подменяйте описание эффекта перечнем значков. Для учебной главы удобно сначала показать величину и направление наблюдаемого различия, затем результат проверки и ограничение. При интервалах уточняйте, являются ли они индивидуальными или одновременными для семейства. Поправка к p сама по себе не превращает все отдельно построенные 95-процентные интервалы в совместное утверждение с тем же общим уровнем.
Соберите таблицу, которую можно проверить
В реестре результатов сохраните обозначение гипотезы, показатель, состав групп, число наблюдений, оценку эффекта, исходное p, метод корректировки и скорректированное p. Добавьте размер семейства и выбранный общий уровень в подпись или описание метода. Не требуется втиснуть все поля на одну страницу: подробный расчёт может находиться в приложении, а основной текст ссылаться на него. Важно, чтобы читатель мог восстановить соответствие строк и понять, почему два небольших исходных p получили разные решения при разных заранее заданных семействах.
Попросите однокурсника проверить одну строку без подсказки о желаемом выводе. Он должен найти исходное число, увидеть размер семейства и повторить простую контрольную арифметику. Затем пусть найдёт одну незначимую строку, которая сохранилась в отчёте. Это проверяет полноту представления, а не только наличие удачной находки. Разрешённые учебные материалы и пояснения можно хранить в папке Prepodoff. Зарегистрируйтесь, если удобно держать план анализа рядом с конспектами. Статистические вычисления и выбор метода выполняйте в профильной программе вместе с требованиями курса.
Перед сдачей вернитесь к исследовательскому вопросу
Посмотрите, не превратилось ли введение после анализа в обещание доказать любой найденный эффект. Сопоставьте исходный вопрос, фактически выполненную серию и окончательный вывод. Если направление работы уточнилось, опишите это открыто. Не нужно добавлять сложную статистику только ради вида научности. Иногда учебная задача требует описательного сравнения без проверки гипотез. Тогда честные частоты и оценки с понятными ограничениями полезнее двадцати ненужных тестов. Однако уже выполненный поиск нельзя скрывать за новым описательным изложением, если именно он определил выбор центрального результата.
Для нашего примера ключевое решение можно объяснить одним связным рассуждением: исследователь просмотрел двадцать сравнений, поэтому оценивает общий риск серии; исходные 0,03 становятся 0,60 по выбранному правилу; результат не проходит общий уровень 0,05 и остаётся поисковым наблюдением. Другой заранее обоснованный метод может дать собственный вывод, который нужно показать вместе с условиями. Завершённая работа сохраняет все проверки, понятную границу семейства и честный статус находки. Тогда читатель видит, как получен результат, и может оценить его без догадок о скрытых попытках.
