Силата на тест за хипотеза е вероятността тестът правилно да отхвърли нулевата хипотеза. Силата на теста за хипотеза се влияе от размера на извадката, разликата, променливостта на данните и нивото на значимост на теста.
Ако тестът е недостатъчен, може да не откриете ефект и погрешно да заключите, че такъв няма. Ако мощността на теста е твърде висока, много малки и евентуално маловажни ефекти могат да изглеждат значителни.
Нито един тест не е перфектен, винаги има възможност резултатите от теста да доведат до отхвърляне на нулевата хипотеза (H 0), когато тя действително е вярна (грешка тип I) или да не отхвърли H 0, когато е наистина невярна (грешка тип II). Това е така, защото за да се изчисли популационните средства, трябва да използвате произволни извадки и случайните проби са точно това, произволни. Следователно винаги е възможно средната стойност на извадката да се различава много от средната популация.
Да предположим например, че определена нормално разпределена популация има средна стойност (μ) 10 и стандартно отклонение (σ) 2. Това разпределение показва, че 95,44% от стойностите в тази популация са между 6 и 14. Въпреки това, винаги Възможно е да изберете 10 наблюдения на случаен принцип и накрая да получите средна проба от 4. С такава извадка не бихте могли да заключите, че средната популация всъщност е 10!
Разбира се, шансовете за получаване на такава проба са невероятно малки, въпреки че все още е възможно. Грешка в извадката понякога може да доведе до грешен извод. Въпреки че не можете да знаете кога това ще се случи, можете да прецените колко често ще се случи. Това е мястото, където силата влиза в игра.
Да предположим например, че провеждате t-тест с 1 проба, за да определите дали средният обем на продукта, дозиран в бутилки шампоан във вашата фабрика, е различен от целевия обем от 8 унции. Решавате да вземете произволна проба от 10 бутилки. Ако μ наистина е 7,5 унции. (бутилките се пълнят с 0,5 унции по-малко от очакваното) и σ всъщност е 0,43 унции, така че тестът има мощност 0,9039.
Стойност на мощността от 0,9039 означава, че ако решите да повторите експеримента много пъти (с нова случайна извадка всеки път), около 90,39% от времето, в крайна сметка ще отхвърлите правилно нулевата хипотеза. В останалите 9,61% от случаите грешка при вземане на проби ще ви накара да не отхвърляте H 0, въпреки че всъщност е невярна. Разбира се, малко вероятно е да тествате повече от веднъж, но е добре да знаете, че шансовете за получаване на подвеждаща проба са относително ниски.