Тестирование различий двух выборок. Квантили

[Гость]

Добрый день!

Имеется две больших независимых выборки. Для сравнения их между собой я делю наблюдения в каждой из них на N бакетов случайным образом, внутри каждого бакета считаю перцентили.
Теперь у меня есть две новых выборки, в каждой из которых по N наблюдений.
Получается, теперь я сравниваю группу А с N наблюдениями (где каждое наблюдение - перцентиль по бакету) и группу B с N наблюдениями. Для сравнения используется t-test.

Сравнение показало, что для 50 и 95 процентилей между выборками есть различие (p-value < 0.05). Однако для тех же данных для 75 перцентиля значимого различия между выборками не нашлось. Как так могло получиться? Возможно ли такое в принципе, или нужно искать ошибки в данных?

[Kreativshik]

Возможно ли такое в принципе, или нужно искать ошибки в данных?

Да, это возможно. 50-й перцентиль (медиана), 75-й и 95-й по-разному реагируют на форму распределения. Различие в медиане говорит о сдвиге "центра" распределения, различие в 95-м перцентиле - о разнице в "хвостах" (наибольших значениях). А 75-й перцентиль может оказаться в зоне, где распределения двух выборок все еще перекрываются, что и приводит к незначительному p-value.