Когда две верные таблицы будто спорят друг с другом
В учебном отчёте сравнивают два формата решения заданий, А и Б. Общая доля успешных работ у Б выше. Но после разделения заданий по сложности в каждой категории выше оказывается А. Студенты проверяют формулы, пересчитывают строки и получают прежние числа. Ошибки может не быть: общий показатель объединяет категории с разными долями в составе каждого формата. Это один из вариантов парадокса Симпсона. Чтобы разобраться, нужно увидеть числители, знаменатели и способ смешения, а затем точно назвать вопрос, на который отвечает каждое сравнение.
Ниже используется полностью вымышленный учебный набор. Он не оценивает настоящих студентов, преподавателей или образовательные технологии. Каждая строка соответствует одной отдельной работе; повторные попытки отсутствуют, успех определён одинаково. Задания заранее отнесены к базовым или сложным, а формат обозначен отдельно. Мы считаем исходные записи и вычисления правильными. Задача не в ремонте данных, а в объяснении обращения направления и выборе честного описательного вывода. Причинную эффективность формата по этим числам устанавливать не будем: для неё нужна информация об организации сравнения.
Запишите четыре клетки до общего итога
Для формата А есть десять базовых работ, девять успешных, и девяносто сложных работ, тридцать шесть успешных. Для формата Б есть девяносто базовых работ, семьдесят две успешных, и десять сложных, три успешных. Всего у каждого формата по сто работ, вместе двести. Представьте эти сведения как четыре подписанные клетки: формат, категория, успешные, все. Если сохраняете их в таблице, каждая клетка должна содержать и числитель, и знаменатель. Один столбец процентов скрывает именно ту информацию, которая объяснит неожиданность.
Проверьте ограничения на исходные счётчики: успехов не больше, чем всех работ, категории не пересекаются, каждая работа вошла один раз. В примере у А неуспешных базовых одна, сложных пятьдесят четыре; у Б базовых восемнадцать, сложных семь. Эти числа дополняют каждую категорию до её полного объёма. Такая арифметика не доказывает правильность реального сбора, но исключает простую ошибку переписывания в учебном разборе. Если ваша сводка построена из первичных строк, сверяйте также общее число уникальных работ с принятой единицей наблюдения.
Рассчитайте результат отдельно для каждой сложности
Среди базовых заданий А даёт девять успехов из десяти, то есть 90%. Б даёт семьдесят два из девяноста, то есть 80%. Различие составляет десять процентных пунктов в пользу А. Среди сложных заданий А даёт тридцать шесть из девяноста, то есть 40%, Б — три из десяти, то есть 30%. Здесь тоже десять пунктов в пользу А. Сравнения выполнены внутри одной категории сложности и описывают наблюдаемые доли в соответствующих частях вымышленного набора.
Не делайте из совпавшего направления вывод, что категория сложности объясняет вообще все различия между работами. Она является выбранным признаком группировки, известным в условии. В реальном исследовании внутри базовых заданий могут оставаться различия подготовки, времени и условий выполнения. Для нашего арифметического примера достаточно увидеть четыре корректные доли. Запишите их рядом с исходными дробями, чтобы следующий участник команды мог получить те же результаты. Пока не усредняйте проценты и не выбирайте понравившийся общий показатель: сначала сохраните различие между категориями.
Теперь объедините числители и знаменатели
У А всего девять плюс тридцать шесть успешных работ: сорок пять из ста, или 45%. У Б семьдесят две плюс три: семьдесят пять из ста, или 75%. Общий результат Б выше на тридцать процентных пунктов. Это не противоречит предыдущим вычислениям. Мы ответили на другой вопрос: какая доля успешных работ фактически наблюдалась среди всех работ каждого формата при том составе заданий, который оказался в наборе. В состав А вошло гораздо больше сложных работ, а в состав Б — базовых.
Сравните две формулировки вслух. «Среди всех наблюдавшихся работ Б доля успеха выше» подтверждается общей таблицей. «В каждой из двух категорий сложности доля успеха А выше» подтверждается четырьмя клетками. Оба предложения верны одновременно. Ошибка появляется, если первое незаметно заменить на «Б эффективнее при любой сложности» или второе на «общая доля А на самом деле выше». Общая доля А остаётся 45%; её не требуется исправлять, поскольку она правильно описывает фактически собранную смесь.
Найдите веса, которые создают обращение
В формате А базовые работы составляют 10% набора, сложные 90%. Поэтому его общий процент получается из 90% с весом 0,1 и 40% с весом 0,9: девять плюс тридцать шесть, итого 45%. У Б веса противоположные: 90% базовых и 10% сложных. Получаются 80% с весом 0,9 и 30% с весом 0,1: семьдесят два плюс три, итого 75%. У каждого формата собственная смесь. Сопоставляются не просто два набора процентов, а разные сочетания процентов и долей категорий.
Здесь базовые задания успешнее сложных в обоих форматах, но основная масса А приходится на сложные, а Б на базовые. Этого достаточно, чтобы в нашем наборе преимущество внутри категорий сочеталось с обратным общим порядком. Похожий механизм может встречаться при объединении периодов, направлений или уровней исходной подготовки. Однако не называйте парадоксом любое расхождение общего и группового числа. Вначале воспроизведите обращение направления на явных счётчиках. Само различие численности категорий ещё не гарантирует, что итоговый порядок обязательно перевернётся.
Почему простое среднее процентов меняет вопрос
Если взять у А среднее между 90% и 40%, получится 65%. У Б среднее между 80% и 30% даст 55%. Эти значения выше у А, но они не являются фактическими общими долями нашего набора. Простое среднее двух категорий придаёт каждой вес одну вторую. Оно отвечает условному сравнению при равной смеси базовых и сложных заданий. Это допустимый описательный расчёт, когда такой вопрос выбран явно, но подменять им наблюдаемые 45% и 75% без объяснения нельзя.
Не подписывайте 65% как «исправленный процент успеха А». Подходящая подпись: «Доля при одинаковом условном составе: половина базовых, половина сложных». Затем назовите исходные категориальные доли, из которых она рассчитана. Реальные работы никуда не исчезают и не меняют результат; меняется способ обобщения. Прозрачная подпись защищает от двух ошибок: принятия условного числа за наблюдение и объявления правильного общего процента ошибочным. Для учебного отчёта это различие часто важнее сложного названия выбранной процедуры взвешивания.
Выберите общий состав до обсуждения победителя
Равные веса удобны для объяснения, но не являются универсально правильными. Если описательный вопрос касается определённого учебного плана, можно заранее выбрать его состав заданий и одинаково применить к обоим форматам. Например, условный план содержит четверть базовых и три четверти сложных. Тогда у А получится 90% умножить на четверть плюс 40% умножить на три четверти: 52,5%. У Б соответствующее вычисление даёт 42,5%. Подчеркните, что это результат для выбранного общего состава, а не новая наблюдавшаяся выборка.
В нашем примере разность внутри каждой категории одна и та же, десять пунктов, поэтому при любых одинаковых неотрицательных весах, суммирующихся до единицы, описательная разность сохраняется в пользу А. Это следует непосредственно из двух одинаковых прибавок. В реальных данных преимущества могут отличаться или иметь разное направление, и выбор состава тогда существенно влияет на обобщение. Не подбирайте веса после просмотра результатов ради желаемого лидера. Запишите содержательное основание общего состава и покажите его рядом с рассчитанным показателем.
Оставьте три ответа на три разных вопроса
Для вопроса о фактически наблюдавшихся работах нужны исходные общие доли: 45% и 75%. Для вопроса о сравнении внутри сложности нужны четыре условные доли: 90% против 80% и 40% против 30%. Для вопроса об одинаковом выбранном составе нужны явно взвешенные значения, например 65% против 55% при равных весах. Эти результаты удобно разместить в разных подписанных частях отчёта. Не соединяйте их в одну колонку «успеваемость», где читатель не видит изменения основания.
Если задание просит только описать имеющуюся выборку, не обязательно рассчитывать стандартизованный показатель. Достаточно показать общую таблицу, раскрыть состав и объяснить расхождение с категориями. Если преподаватель спрашивает об одинаковой сложности, уточните, означает ли это сравнение внутри категорий или обобщение с общими весами. Термин «с учётом сложности» сам по себе неоднозначен. Конкретное определение вопроса позволяет выбрать расчёт до оформления вывода и не устраивать спор о том, какая из двух правильных таблиц должна считаться единственной правдой.
Разделение по категориям не доказывает причину
Даже после группировки нельзя автоматически утверждать, что формат А повышает вероятность успеха. Нужно знать, как работы попадали в форматы, когда определяли сложность и какие другие условия различались. В методологическом разборе Джуды Перла подчёркивается роль сведений о процессе возникновения данных при выборе причинной интерпретации. Одних таблиц для этого недостаточно. Для нашего отчёта безопасный установленный результат уже содержателен: наблюдаемая связь меняет направление при объединении разных составов. Это объяснение арифметики, а не доказанный эффект вмешательства.
Не делайте универсальное правило «всегда разбивайте по всем признакам». Некоторые признаки могут быть последствиями изучаемого действия, а выбор только определённых наблюдений создаёт новые вопросы. В учебном примере сложность задана заранее, но это условие нельзя молча перенести на чужое исследование. Перед причинным выводом обсудите с руководителем устройство сравнения. В описательной части укажите, какой именно признак использован и почему он содержательно важен. Разделение по понятной категории помогает увидеть смесь; само по себе оно не превращает наблюдательные данные в эксперимент.
Проверьте отсутствие категории и нулевой знаменатель
В реальной сводке один формат может вообще не иметь сложных заданий. Тогда его долю для сложной категории вычислить нельзя: знаменатель равен нулю. Не заменяйте отсутствие наблюдений нулевой успешностью и не переносите туда процент из базовых работ. Сопоставление при общем составе, включающем сложные задания, потребует дополнительных данных или отдельно обоснованной модели. Для простого учебного описания честнее показать пустую клетку с объяснением. Отсутствующая категория является ограничением сравнения, а не арифметическим неудобством, которое следует скрыть.
Если сложность неизвестна у части работ, сохраните это как отдельное состояние и выясните долю таких случаев по каждому формату. Нельзя незаметно исключить неизвестные только из групповой таблицы, оставив их в общей, а затем приписать всё расхождение парадоксу Симпсона. Сначала согласуйте состав наблюдений двух представлений. В нашем основном примере неизвестных нет, поэтому четыре клетки полностью складываются в двести работ. Для настоящего набора отдельно покажите, какие записи вошли в сравнение и почему. Такое уточнение относится к проверке основания, а не к исправлению результата под красивую историю.
Сделайте маленькую независимую арифметическую проверку
Попросите напарника получить из четырёх исходных клеток общие доли без просмотра вашего готового вывода. Он должен сложить успехи и объёмы отдельно, затем разделить суммы. Следующим действием пусть восстановит доли категорий в составе А и Б. Если он получает 45% и 75%, а затем веса 10/90 и 90/10, основное объяснение воспроизводится. Не просите просто подтвердить фразу «это Симпсон»: знакомое название не проверяет ни одного числа. Проверяемый результат — конкретная цепочка счётчиков, долей и весов.
Проведите также мысленный контроль с одинаковой смесью. Для равных весов А получает 65%, Б 55%; исходные общие значения остаются отдельно. Если ваша таблица выдаёт для А прежние 45% даже после явного задания равных весов, вероятно, используется фактический состав вместо общего. Проверьте формулу и подпись. Не нужно создавать искусственные строки студентов ради взвешивания: достаточно прозрачного вычисления из категориальных долей. В учебной работе объяснимый расчёт на четырёх клетках позволяет заметить подмену вопроса быстрее сложной автоматической сводки.
Напишите вывод, который сохраняет оба наблюдения
Вариант для нашего примера: «В фактически собранном наборе доля успешных работ составила 45% для А и 75% для Б. Среди базовых и среди сложных работ доля А выше на десять процентных пунктов. Обращение общего порядка связано с разным составом: у А преобладают сложные задания, у Б базовые. При условной равной смеси получаются 65% и 55%. Эти описательные сравнения не устанавливают причинную эффективность формата». Здесь каждое число имеет собственное основание, поэтому читатель может повторить рассуждение.
Если вывод кажется слишком длинным для слайда, оставьте короткий тезис и подпишите таблицу счётчиков рядом. Например: «Общий процент сравнивает разные смеси сложности». Устно объясните две условные доли и противоположные веса. Не скрывайте общий результат, потому что он мешает выбранной истории. Хорошая демонстрация парадокса показывает именно сосуществование двух порядков. Если используются диаграммы, сделайте явными категории и знаменатели; один столбец с общими процентами без состава снова вернёт слушателя к исходному неверному обобщению.
Сохраните разбор как пояснение к своему анализу
К рабочей версии отчёта приложите определение единицы наблюдения, четыре счётчика, правила успешности и сложности, фактические веса и основание условного общего состава, если он рассчитывался. Для маленького учебного примера всё помещается в короткое пояснение. Так после изменения данных можно повторить нужные действия, сохранив постановку вопроса. Если набор обновился, пересчитывайте и состав, и доли: прежние веса не обязаны соответствовать новой выборке. Название парадокса не освобождает от проверки конкретных чисел следующего варианта.
Пояснение можно хранить рядом с материалами предмета в личной библиотеке Prepodoff, где доступны загрузка файлов и папки. Зарегистрируйтесь, если такой порядок помогает возвращаться к методике перед защитой. Расчёт и выбор способа сравнения остаются частью вашей учебной работы. Практический результат разбора — умение объяснить, почему верные общие и групповые проценты дают разное направление, и показать, какой вопрос решает каждая таблица. Тогда неожиданность становится проверяемым свойством состава данных, а не поводом объявлять неудобный результат ошибкой программы.
