Тази сутрин се задавих на закуска с чуруликане от Луис Гарикано, сочещо към тази статия. По същество журналистът е постигнал универсално медийно въздействие, като е направил RCT (рандомизирано контролирано проучване, вида на методологията, за чиято употреба те току-що са дали наградата на Принцесата на Астурия на Естер Дюфло), който заключи, че пиенето на шоколад ускорява ефектите от загубата на тегло от диета с ниско съдържание на въглехидрати.

шоколад

И вчера имаше оттегляне на статия в Science, в която един от авторите вероятно е измислил данните от рандомизирано проучване за ефекта от пропагандисти от врата до врата, за да подкрепи положителния вот на референдума за брак. Калифорния. Есето твърди, че показва, че само използването на хомосексуални пропагандисти може да промени мнението на интервюираните в дългосрочен план (повече от три седмици).

Те са два различни случая, но илюстрират добре как работят науката и медиите, съществуващите опасности и как могат да се борят с тях. Случаят с журналиста и шоколада е много интересен, защото капанът е фин. Експериментът всъщност е направен. Има две лекувани групи, които правят съответно диета с ниско съдържание на въглехидрати и диета с ниско съдържание на въглехидрати, където участниците вземат и блокче черен шоколад. И, разбира се, има контролна група, която не спазва диети. Групите са ефективно избрани на случаен принцип и участниците тестват, за да изключат диабет и други опасни състояния. Статистическият анализ разкрива, че двете лекувани групи са отслабнали (около два килограма и в двата случая). Но този, който го направи с шоколад, го направи с 10% по-бързо и в края на експеримента имаше по-добри данни за холестерола и благосъстоянието.

Някой ще си помисли, добре, какво става, това е наука, нали? Това, че журналистът искаше да ни направи глупак, не доказва нищо, резултатът е такъв, какъвто е. Ами не, както той самият казва, той използва стар статистически трик. Ако тествате достатъчно голям брой хипотези и се поставите като условие, за да подкрепите хипотезата, че тя е значителна при 5%, е малко вероятно да няма такива, които да са верни, освен ако не са донякъде независими (това ви принуждава да бъдете минимално креативни, търсейки неща за измерване, но малко други). Останалото беше лесно, той изпрати статията до хищническо списание (за което вече говорихме надълго и нашироко) и, разбира се, беше публикувана веднага. Това, на което авторът не разчита, е, че толкова много журналисти получиха новината и й дадоха голямо отзвук, без достатъчно контраст.

Поуките от този случай са ясни. Първото е, че трябва да бъдете много по-внимателни с хищническите списания. Те очевидно представляват риск за науката. Второто е, че трябва да бъдем по-строги при проектирането на рандомизирани проучвания. Инициатива, която все повече се следва в медицината и от онова, което Маркос Вера ми казва, започва да се следва в икономиката и психологията, е, че е удобно да се регистрират тестовете, преди да се правят, включително хипотезите, които човек иска да тества, избягвайте възможно най-много „риболова за резултати“. И логично журналистите трябва да си вършат работата по-добре. Ако се специализират в науката, те трябва да знаят за това и преди да съобщят за откритие, трябва да отидат при източника.

Тук уроците също са ясни. Просто не е приемливо данните от която и да е научна статия да не са достъпни за общността за критично изследване. Всички сериозни икономически асоциации (испански, американски, британски, европейски, иконометрични) вече имат строги разпоредби за достъп до данни.

Освен това, възпроизвеждането (или невъзпроизвеждането) на анализите на други учени трябва да носи важна професионална награда. Асоциацията на икономическите науки, която обединява експериментатори по икономика, създаде второ списание, в допълнение към успешната си „Експериментална икономика“, наречено „Вестник на Асоциацията на икономическите науки“ с изричната цел да публикува „видове статии, които са важни но те все още са слабо представени в експерименталната литература (т.е. реплики, малки разширения, проверки на устойчивостта, мета-анализи и добри експериментални дизайни, дори с нулеви резултати “.