Fem procentsäkerhet och prestanda för biomedicinska igångsättningar

Anonim

Framgången eller misslyckandet av biomedicinska start-ups beror på myndighetsgodkännande. Regeringen vill med rätta se till att dessa produkter löser de problem som de menas att de ska lösa och inte skada de människor som använder dem.

Men den statistiska analysen som används för att visa hur bra en ny biomedicinsk produkt fungerar, och därmed om det är värd att godkännas, har några intressanta rynkor.

$config[code] not found

Ta till exempel fallet med Boston Scientifics nya Taxus Liberte hjärtstent. Marknadsplatsen i Wall Street Journal den 14 augusti hade en historia om en "fel" i en Boston Scientific-studie av sin nya stent.

Två saker spelar mycket roll i studier av prestanda av nya biomedicinska produkter: hur stor är effekten och hur säker är vi att effekten är verklig och inte bara en lyckotävling. Diskussionen handlar inte om storleken av effekten av Boston Scientific's Taxus Liberte stent. Studien gjorde det för FDA att visa att den nya stenten var lika bra för att undvika clogging som sin gamla stent.

Frågan är hur säker är vi att forskarnas fundering inte är fel.

Wall Street Journal artikel förklarade, "Medicinska studier definierar framgång eller misslyckande vid testning av en hypotes genom att beräkna en viss grad, känd som p-värdet. P-värdet måste vara mindre än 5% för att resultaten ska betraktas som signifikanta. "Det står vidare att det finns olika sätt att beräkna p-värdet och de genererar lite olika resultat.

Med hjälp av ett statistik som kallas Wald-värde, sa Boston Scientific-forskarna att det bara fanns en 4,874% chans att de hade fel om effekten. Men om de använde NCSS LLCs exakta dubbla binomialtest var chansen att de hade fel 5,47%.

Det vill säga ett statistiskt test visar en 0,596% mindre chans att upptäckten var fel än det andra testet.Problemet är att Wald-testet sa att chansen att de hade fel var mindre än 5% och NCSS-testet sa att chansen att de hade fel var mer än 5%.

Den skillnaden betyder att 5% är ett magiskt nummer. Om forskarna hade funnit att Wald-testet hade visat ett p-värde på 4,278% och NCSS LLCs exakta dubbla binomialtest hade visat ett p-värde på 4,874%, även en skillnad på 0,596% mellan de två testen, skulle det finnas inget problem eftersom båda p-värdena skulle vara mindre än 5% säkerhet.

En ny biomedicinsk produkts framgång kan rida på huruvida 0,596% skillnaden i säkerheten att finna en effekt av ett nytt läkemedel eller medicinsk apparat över olika statistiska verktyg faller över eller under 5%.

Problemet är att 5% bara är en konvention. Världen av vetenskaplig forskning kunde ha utvecklat konventet att den säkerhetsnivå som vi behöver är 4% eller 6% eller något annat.

Nu är Boston Scientific ett stort företag och kommer troligen att överleva oavsett vad som händer med den här produkten. Men anta att vi pratade om en uppstart här. De flesta biomedicinska nybörjare försöker i första hand att utveckla en enda ny produkt. Så deras framgång eller misslyckande som företag beror på godkännandet av den produkten. Om produkten inte godkänns går de ofta i drift och får inte chansen att utveckla en andra version av produkten eller en annan produkt.

I huvudsak utvärderar vi effekten av biomedicinska produkter och inverkar på framgång eller misslyckande av biomedicinska nystartade företag om huruvida ett visst statistiskt verktyg visar att det förtroende vi har för att finna sig något över eller något under en viss säkerhetsnivå som händer att vara en konvention som forskare har utvecklat.

* * * * *

Om författaren: Scott Shane är A. Malachi Mixon III, professor i företagsekonomiska studier vid Case Western Reserve University. Han är författare till åtta böcker, inklusive illusioner av entreprenörskap: de kostsamma myter som entreprenörer, investerare och policymakare lever av; Att hitta fruktbar mark: Identifiera extra möjligheter för nya företag; Teknikstrategi för chefer och entreprenörer; och från is till internet: Använda franchising för att driva tillväxten och vinsten i ditt företag.

4 kommentarer ▼