контролирани

За да вземаме интелигентни решения по време на работа, са ни необходими данни. Откъде идват тези данни и как ги анализираме, зависи от много фактори, като например какво се опитваме да направим с резултатите, колко точни се нуждаем от резултатите и колко бюджет разполагаме. Съществува набор от експерименти, които мениджърите могат да направят от бързи и неформални, до пилотни проучвания, полеви експерименти и лабораторни изследвания. Един от по-структурираните експерименти е рандомизиран контролиран експеримент.

За да разбера по-добре какво представлява рандомизиран контролиран експеримент и как компаниите го използват, разговарях с Том Редман, автор на Driven by Data: Печалба от вашия най-важен бизнес актив. Той също така съветва организациите относно качеството на данните и програмите за данни.

Какво е рандомизиран контролиран експеримент?

Когато хората чуят термина, през повечето време се сещат за клинични изпитвания, при които една група получава лечение, а друга - плацебо, но фармацевтичните компании и медицинските учени не са единствените, които използват този тип експерименти. Всички видове компании могат да извършват тези експерименти и не е задължително те да са скъпи или да отнемат много време; те трябва само да бъдат „контролирани“ и да включват елемент на „рандомизиране“.

Нека започнем с думата експеримент. „Експериментът е планирана дейност, чиято цел е да научи нещо за света“, обяснява Редман. Дайте пример с двегодишни деца, които непрекъснато експериментират: „Те си мислят:„ Ако изкрещя, мама ще избяга. „Те събират данни за света и въпреки че той не се контролира, те го правят умишлено“.

Ето още един пример, свързан с бизнеса. Да предположим, че се занимавате с бизнес за сондиране на нефтени кладенци и имате нова бита, която се управлява от програма за изкуствен интелект, която регулира налягането и скоростта, с които бита се върти. Искате да знаете как този нов, по-скъп бит се сравнява с този, който използвате в момента, затова провеждате експеримент, сравняващ съществуващия ви бит с новия. Изберете 30 отвора и пробийте 15 от тях със стария бит и 15 с новия. Това е вашият експеримент и вашата променлива на интерес може да бъде колко ефективно сте пробили сондажа.

Имайте предвид, че броят на кладенците тук е доста малък в сравнение с експеримент, например, където показвате на 1000 потенциални клиенти нова маркетингова кампания. Колкото по-голям е размерът на извадката, толкова по-вероятно е да постигнете статистически значими резултати. Но трябва да сте реалисти и по отношение на цената на вашия експеримент и тъй като струването на милиони долари за пробиване на петролен кладенец, вероятно ще проведете този експеримент на по-малко кладенци.

В експеримент променливата, която представлява интерес, се нарича негова зависима променлива(имайте предвид, че можете да имате множество зависими променливи, но за улеснение тук ще се позова на зависима променлива). Но има и много независими променливи - фактори, за които подозирате, че оказват влияние върху зависимата ви променлива. „Обикновено в експеримент се опитвате да научите нещо за една или най-много някои независими променливи, но много други фактори могат да попречат“, казва Редман. Искате да знаете коя тренировка е по-добра, но други фактори, като например размера на дупката, нейната дълбочина и това, което копаете, също ще повлияят на това колко ефективно е дупката и ще усложнят оценката на новата тренировка. По подобен начин в клинично изпитване има много други фактори, като възрастта на пациентите, общото здравословно състояние, режимите на упражняване и кръвното налягане, които могат да затруднят установяването дали резултатите от експеримента всъщност могат да се отдадат на лекарството а не някакъв друг фактор.

Тук идва думата „контролиран“. Този термин може да обърка, защото статистиците го използват, за да опишат повече от една концепция. Както се шегува Редман, „Нека статистиците замъгляват една напълно проста концепция!“ Първото значение е "да се изолира въздействието на една (или някои) променливи", обяснява Редман. "Контролиран" в този смисъл означава въвеждане на ограничения, така че някои променливи да не влияят на резултата от експеримента Ви. Така че в клинично изпитване за наркотици може да се притеснявате, че диетата на участниците ще повлияе дали лекарството е ефективно. Вие "контролирате" това, като поставяте всички пациенти на една и съща диета по време на експеримента. По същия начин, при вашия сондажен експеримент, може да искате да се уверите, че отчитате „очакваната твърдост на скалата“, така че да можете да създадете 15 двойки кладенци въз основа на това колко трудно очаквате да бъдат пробити. Това би контролирало очакваната твърдост. Можете също така да се уверите, че използвате сондажни съоръжения и оборудване, за да контролирате въздействието, което тези фактори могат да окажат върху вашия експеримент.

Допълнителна информация


В крак с Quants

    Томас Х. Давънпорт и Джиньо Ким

Много рандомизирани контролирани експерименти се правят в лаборатория, защото „по-лесно е да се контролират нещата в лабораторна обстановка“, казва Редман. Но доколкото Redman знае, няма „тренировъчна лаборатория“, така че правите най-доброто, което можете. Например, вероятно можете да контролирате по-добре твърдостта на скалите, като инсталирате две платформи на разстояние 50 фута на едно и също място и изкопаете сухи кладенци. Това ще ви даде по-надежден резултат от гледна точка на това как работят нови и стари битове при подобни обстоятелства, но също така ще ви струва много пари, за да направите това и няма да печелите пари в процеса. Така че трябва да решите колко контрол струва цената.

Второто значение на "контрол" се отнася до групите, които изучавате: контролна група и група за лечение. Тук контролът означава текущия начин на извършване на нещата (например стария бит), а третирането означава новия начин на извършване на нещата (например новия бит). Това е важно, защото за да прецените резултатите от експеримента си, трябва да попитате „в сравнение с какво?“ Не започвате да пробивате с новия бит и решавате „по-добре“. Трябва да го сравните с контролна група, в този случай 15-те дупки, които копаете със стария бит, който е вашата базова линия.

По същия начин, когато опитвате ново лекарство, трябва да сте наясно с „плацебо ефекта“, при който хората се оправят, просто защото смятат, че се лекуват, така че вие ​​третирате вашата контролна група точно по същия начин като групата на лечението и търсите подобрения в третираната група спрямо контролната група.

Но кои кладенци или хора влизат в контролната група и кои влизат в експерименталната група? И кой първо влиза в експеримента? Тук се появява рандомизацията. За да отхвърлите ефектите на променливи, които не познавате (да речем моделите на съня на пациента в клинично изпитване), произволно разпределяте субекти към контролната група или групата на лечение. С вашите двойки кладенци, вие бихте избрали на случаен принцип, може би дори ще обърнете монета, която ще получи новата тренировка във всяка двойка. Това е, което Редман нарича „изваждане на скритото пристрастие от експеримента“. В крайна сметка, ако всички здрави пациенти получат лечението и след това се подобрят, не сте показали нищо. Или ако случайно пробиете 15 от най-лесните дупки за копаене с новия бит, наистина не знаете дали е по-добре.

Рандомизацията (в съчетание с по-голям размер на извадката) ви кара да се чувствате по-уверени, че каквито и резултати да получите, всъщност са причинени от независимата променлива от интерес - във фармацевтичния случай, ефектът от лекарството - и следователно е „обобщаваща извън експеримента“, според Редман.

Ако класирането на този участник звучи като A/B тестване, това е така, защото те са сходни. A/B може да бъде рандомизиран контролиран експеримент, ако приемем, че сте контролирали рандомизирани субекти и фактори, но не всички рандомизирани контролирани експерименти са PARTIALURLPLACEHOLDER тестове.

Така че нека да съберем всичко. По думите на Редман: „Идеята е да изолирате независимите променливи, които ви интересуват. Рандомизиран контролиран експеримент е експеримент, при който вие контролирате фактори, които познавате, и след това рандомизирате, за да отчетете тези, които не познавате ».

Какви са основните стъпки за провеждане на рандомизиран контролиран експеримент?

„Не оставяйте експерименталния дизайн на анализаторите на данни“, казва Редман. Важно е мениджърът да познава и разбира процеса, за да може да си сътрудничи по-добре, като донесе знания и опит с бизнеса и анализатора, допринасяйки за опита в събирането и анализа на данни.

Това са основните стъпки:

След като анализирате резултатите (и вероятно тествате дали са статистически значими), прилагате резултатите на практика. Тук гумата удря пътя, разбира се. Това, което се открива в лабораторен експеримент, не винаги може да се съхранява на полето. Както казва Редман, „Вие не печелите пари в лаборатория. Печелете пари в реалния свят. Така че излезте бързо от лабораторията ».

Какви грешки допускат хората, когато правят рандомизирани контролирани експерименти?

Редман казва, че една от най-големите грешки, които компаниите правят, е просто да не правят достатъчно експерименти - не само рандомизирани контролирани експерименти, но дори и по-неформални, които са по-евтини и отнемат много време. „Очаква се мениджърите да знаят отговорите. За да може мениджърът да каже: „Не съм сигурен, че знам, нека направим експеримент,„ изисква известна изтънченост и разбиране как да се управляват тези неща “. Но без експерименти не можете да сте сигурни, че вашите предположения са правилни.

Дори мениджърите, които са готови да поискат експерименти, често не планират експеримента достатъчно внимателно. Редман казва, че е важно да се направят всички стъпки, описани по-горе, но през повечето време мениджърите правят първите стъпки - да открият променливата от интерес и може би популацията - и след това да скочат напред, за да извършат експеримента. „Те не са мислили за това“, казва Редман. „Върнете хората в онези часове по природни науки, които не им харесаха“, но това не прави стъпките по-малко критични.

Това води до друга грешка: не сте поставили достатъчно контроли, за да изолирате променливите, които ви интересуват. Лесно е да го прецакате. Правенето на тези експерименти изисква да се знае много за експерименталния дизайн. Как точно изолирате факторите, които се опитвате да изучите? Но ако не направите това, означава, че можете да припишете резултатите на грешни фактори.

Последната грешка, която Redman посочва, е лесна за разрешаване: без участието на анализатора. „Много мениджъри смятат, че могат да предоставят данни на учен за данни“, казва той, но „всеки полезен анализатор на данни ще иска да участва в настройването на експеримента и писането на протокола“. И това е добре за всички. Колкото по-рано в процеса си сътрудничите, толкова по-вероятно е да можете да се възползвате от опита на другия.