Poniższy fragment pochodzi z książki Analiza danych dla menedżerów. Jak zrozumieć i wykorzystać dane dostępne w twojej firmie, autorstwa Howarda Stevena Friedmana i Akshaya Swaminathana, która została wydana przez MT Biznes.
W biznesie wszyscy chcemy podejmować decyzje oparte na danych — ale same dane tego za nas nie zrobią. Bez umiejętności ich właściwej interpretacji nawet najlepsze raporty mogą prowadzić do błędnych wniosków.
Zrozumienie danych i współpraca z zespołem specjalistów ds. danych to jedno, a podejmowanie decyzji w oparciu o dane to drugie. Czasami chodzi o poważne decyzje biznesowe, mające wpływ na wiele rzeczy. W tym rozdziale powiemy, jak podejmować decyzje w oparciu o dane i co może pójść nie tak, gdy dane te będą wypaczone, ich prezentacja wadliwa lub jakość dowodów niska. Powiemy także o tym, jak interpretować dane, aby nie wpaść w typowe pułapki prowadzące do błędnych wniosków. Będziemy towarzyszyć Kamali w zagłębianiu się w szczegóły tego nowego badania i w próbach oceny, czy dowody są wiarygodne, czy dane są tendencyjne i – w końcu – czy jej firma powinna działać tak, jak sugerują te dane, wycofując się z refundacji ClaroMaxu.
Przyczynowość i klonowanie
Ustalenie związku przyczynowego jest jednym z głównych celów analizy danych. Przyczynowość odnosi się do związków między zjawiskami: X jest przyczyną Y. Języka przyczynowości używamy stale w codziennym życiu (powiedzenie „Jedno jabłko dziennie i lekarz niepotrzebny” sugeruje, że jedzenie jabłek jest przyczyną lepszego zdrowia). Badania w dziedzinie epidemiologii żywieniowej starają się odnaleźć związki między przyjmowaniem określonych pokarmów i różnymi chorobami. Wielkie nagłówki wskazujące na związek wina z lepszym zdrowiem albo Big Maca z rakiem zazwyczaj przyciągają uwagę mediów. Przyczynowość może być również ważna w kontekście biznesowym.
Firma Meta może być zainteresowana tym, jakie typy wpisów skłaniają użytkowników do dłuższego pozostawania na platformie. Firma Whole Foods może być zainteresowana określeniem sposobu rozmieszczenia produktów na półkach, który skutkuje zwiększeniem sprzedaży. W pierwszym z tych przykładów firma Kamali jest zainteresowana tym, jakie czynniki skłaniają pacjentów do intensywniejszego korzystania ze świadczeń zdrowotnych, co wiąże się z wnioskowaniem o większą refundację. A obecnie Kamala jest zainteresowana zrozumieniem, czy stosowanie ClaroMaxu naprawdę wiąże się z gorszymi wynikami i wyższymi kosztami leczenia pacjentów z chorobą nowotworową. Zwraca się więc do Davida z zespołu specjalistów ds. danych, aby szybko odbyć przyśpieszony kurs w dziedzinie przyczynowości. – Davidzie, potrzebuję twojej pomocy w zrozumieniu przyczyny i skutku. Właśnie pojawiło się nowe badanie, z którego wynika, że nowy lek nie jest tak skuteczny, jak myśleliśmy. Muszę wiedzieć, czy te wnioski są słuszne. Jak możemy określić przyczynowość na podstawie danych? – Ach, przyczynowość! Ludzie myślą, że nauka o danych to tylko robienie modeli prognostycznych i maszynowe uczenie.
Wnioskowanie przyczynowe to niedoceniana dziedzina statystyki! Chętnie nauczę cię jej podstaw. Możemy zacząć od tego, jak wnioskujemy o przyczynowości w codziennym życiu. David stanął przy tablicy i zaczął rysować.
-Wyobraźmy sobie, że poszedłem na kolację do meksykańskiej restauracji i zamówiłem nachos i enchiladę. Nazajutrz obudziłem się z silnym bólem brzucha i biegunką. Co spowodowało moje problemy żołądkowe? Zakładając, że w ciągu dnia nie jadłem nic innego niż zwykle, nie mam pewności, czy mój ból brzucha był spowodowany przez nachos, czy przez enchiladę, czy przez połączenie tych dań. W wyimaginowanym świecie jedynym sposobem rozstrzygnięcia, które danie spowodowało moje problemy gastryczne, byłoby sklonowanie mojej osoby i wysłanie tych klonów w przeszłość. Klon 1 zamówiłby enchiladę, klon 2 nachos, a klon 3 oba dania. Następnego dnia zobaczyłbym, który z moich trzech klonów doświadczył problemów żołądkowych, i w ten sposób znalazłbym winowajcę. Gdyby zachorowały tylko klony 1 i 3, najprawdopodobniej przyczyną byłaby enchilada. Gdyby zachorowały klony 2 i 3, prawdopodobną przyczyną byłyby nachos. Gdyby zachorował tylko klon 3, najprawdopodobniej przyczyną moich objawów byłoby połączenie tych dań. Kamala skinęła głową.
– Tak, to ma sens. Nie da się powiedzieć, które danie było przyczyną, dopóki nie rozdzieli się jakoś ich wpływów.
– Właśnie! – David skierował swój suchościeralny pisak na Kamalę.
– Ten przykład może być wymyślony, ale idea klonowania ilustruje ważną koncepcję statystyczną w badaniu przyczynowości. Klonując siebie, zapewniam, że jedyną różnicą między trzema klonami jest zamówione przez nie danie. Innymi słowy, kontroluję wszystkie możliwe zmienne, aby wszystkie objawy gastryczne obserwowane w następnym dniu można było przypisać zamówionemu jedzeniu. Ponieważ klony są identyczne pod wszystkimi innymi względami, nie może być żadnych innych zmiennych niż spożyte danie, które miałyby wpływ na ich zachorowanie.
– Racja – przyznała Kamala. – Bez klonowania dużo trudniej byłoby określić, które danie spowodowało twoje dolegliwości.
– A teraz przygotuj się na zwrot akcji – uśmiechnął się David. – Wyobraź sobie, że zamiast klonować siebie, zabrałem do restauracji dwóch kolegów. Jeden zamówił nachos, drugi enchiladę, a ja zamówiłem jedno i drugie. Nazajutrz ja byłem chory, ale obaj moi przyjaciele czuli się dobrze. W przykładzie z klonowaniem, kiedy zachorował tylko klon 3, mogliśmy wnioskować, że dolegliwości spowodowało połączenie nachos z enchiladą. W sytuacji bez klonowania nie możemy stwierdzić, że winne jest połączenie, ponieważ istnieje możliwość, że moi koledzy mają cechy sprawiające, że są mniej podatni na problemy gastryczne niż ja. Nie jest to więc dobre porównanie. Tylko to, że oni nie zachorowali po zamówieniu samych nachos albo samej enchilady, nie oznacza, że ja bym nie zachorował! Oni mogli mieć silniejszy żołądek niż ja, mogli poprzednio jeść w tej restauracji, mogli nie zjeść tak dużo jak ja, mogli… Bez uwzględnienia wszystkich możliwych różnic na wejściu, wpływających na podatność na problemy gastryczne, trudno jest wyciągać wnioski na temat przyczynowości.
– Okej, rozumiem, że klonowanie to świetna sprawa, ale jak możemy potwierdzić przyczynowość w świecie, w którym klonowanie nie jest możliwe? – spytała Kamala.
David się uśmiechnął. – Randomizacja.
Potęga randomizacji
David starł z tablicy swoje rysunki przedstawiające schematyczne ludziki jedzące meksykańskie jedzenie i zaczął pisać.
– Firma BioFarm, producent leku ClaroMax, chce się dowiedzieć, czy jej lek skutecznie zapewnia przeżywalność starszych pacjentów – mężczyzn chorych na raka prostaty. Zastanówmy się, w jaki sposób firma może dowieść istnienia związku przyczynowego między ClaroMaxem i dłuższym czasem przeżycia. W wyimaginowanym świecie firma BioFarm mogłaby zastosować metodę klonowania. Najpierw zrekrutowałaby reprezentatywną próbę starszych mężczyzn z rakiem prostaty, a potem sklonowałaby ich, tworząc dwie identyczne grupy pacjentów. Jednej grupie podawałaby ClaroMax, a drugiej placebo (imitację leku, niemającą działania terapeutycznego), aby sprawdzić, która z tych grup będzie żyła dłużej. Ponieważ dwie grupy klonów są identyczne pod każdym wyobrażalnym względem, jakiekolwiek różnice w przeżywalności obu grup będzie można powiązać z działaniem leku.
Kamala podążała za jego tokiem rozumowania. – To ma sens, podobnie jak w przykładzie z restauracją. Klonowanie, aby wszelkie różnice w przeżywalności można było przypisać lekowi, a nie różnicom między uczestnikami badania.
David skinął głową. – A teraz zastanówmy się, w jaki sposób BioFarm może przeprowadzić podobny eksperyment w rzeczywistym świecie, nie mając możliwości klonowania. W prawdziwym życiu takie eksperymenty są prowadzone w ten sposób, że tworzy się dwie grupy, z założenia jak najbardziej podobne pod względem ważnych cech. W praktyce obie interesujące nas grupy powinny możliwie najbardziej przypominać „klony”. Ważne cechy to te zmienne, co do których spodziewamy się powiązania z interesującym nas wynikiem. W przykładzie z problemami gastrycznymi ważnymi zmiennymi branymi pod uwagę były między innymi: wcześniejszy kontakt z jedzeniem z tej restauracji i silny żołądek. W eksperymencie z ClaroMaxem do ważnych cech zaliczamy zmienne, które mogą mieć związek z okresem przeżycia, na przykład wyjściowy wiek, wcześniejsze choroby i stadium zaawansowania nowotworu. – Na przykład – kontynuował David – jeśli starsi mężczyźni w grupie, której podawano ClaroMax, mają średnio 70 lat, BioFarm musi zadbać o to, by starsi mężczyźni w grupie, której podaje się placebo, również mieli średnio 70 lat. Innymi słowy, BioFarm powinna „sztucznie sklonować” leczoną grupę, aby była możliwie najbardziej podobna do grupy otrzymującej placebo.
W ten sposób wszystkie różnice w wynikach można przypisać działaniu ClaroMaxu i różnicom w cechach na wejściu. Te cechy wejściowe – takie jak wiek, płeć, rasa czy klasa – które mogą być powiązane z interesującym nas wynikiem, jak również z interwencją, są nazywane czynnikami zakłócającymi. Czynnik zakłócający to czynnik, który ma związek przyczynowy zarówno z wynikiem, jak i z interwencją. Kluczowe jest to, że przy ustalaniu przyczynowości nie jest ważne, czy obie grupy interwencyjne są w 100 procentach identyczne pod względem każdej możliwej zmiennej. Powinny być raczej wystarczająco podobne pod względem ważnych czynników zakłócających.
– Rozumiem – zaczęła Kamala. – Więc klonowanie to swego rodzaju przesada? Oczywiście, w idealnym świecie chcielibyśmy mieć klony, ale jeśli potrafimy zapewnić podobieństwo dwóch grup pod względem ważnych czynników zakłócających, to nadal możemy wyciągać słuszne wnioski przyczynowe.
– Właśnie – odpowiedział David. – Aby zrozumieć wpływ czynników zakłócających na ustalanie przyczynowości, wyobraźmy sobie, że starsi mężczyźni w grupie otrzymującej ClaroMax mają średnio 70 lat, ale starsi mężczyźni w grupie otrzymującej placebo są średnio osiemdziesięciolatkami. Czy jeśli na końcu badania BioFarm stwierdzi, że grupa otrzymująca ClaroMax przeżyła dłużej, to należy wyciągać z tego wniosek, że to ten lek odpowiada za zwiększenie przeżywalności?
– Nie – odpowiedziała bez zastanowienia Kamala. – Dlatego, że te grupy nie były porównywalne pod względem wieku. Możliwe, że to wyjściowa różnica wieku doprowadziła do różnicy w czasie przeżycia.
– Zgadza się. – David był dumny ze swojej uczennicy. – Wiemy, że wiek jest tutaj ważnym czynnikiem zakłócającym. To oczywiste, że młodzi ludzie przeżywają dłużej niż starsi. Innym ważnym czynnikiem zakłócającym w tym badaniu mogą być choroby współistniejące, początkowe nasilenie choroby nowotworowej i mutacje genetyczne związane z przeżyciem. Jak długo uwzględniamy kluczowe czynniki zakłócające, nie jest ważne, czy grupy interwencyjne są podobne pod względem innych atrybutów.
– Chcę się tylko upewnić, czy dobrze rozumiem – przerwała mu Kamala. – Przykładami zmiennych niezakłócających mogą być tutaj takie rzeczy jak długość paznokci u nóg, liczba włosów na głowie, to, czy ulubionym kolorem jest niebieski, czy ktoś woli gofry czy naleśniki itp., tak? Nawet gdyby wszyscy w grupie otrzymującej ClaroMax lubili niebieski, a nikt w grupie placebo nie lubił, to nie należy się spodziewać, że będzie miało to wpływ na naszą analizę przyczynowości, ponieważ nie mamy powodów, aby sądzić, że stosunek do koloru niebieskiego może być związany z długością okresu przeżycia. To nie jest czynnik zakłócający.
– Masz całkowitą rację – powiedział David. – Wszystkie rzeczy, które wymieniłaś, nie są czynnikami zakłócającymi! Zatem, podsumowując, w celu ustalenia, czy ClaroMax skutecznie poprawia przeżywalność, BioFarm musi zrekrutować dwie grupy starszych mężczyzn niemal identycznych pod względem wszystkich ważnych czynników zakłócających (wiek, choroby przewlekłe, nasilenie choroby itp.). Ten wymóg wiąże się z dwoma problemami. Po pierwsze, wydaje się to koszmarnie skomplikowane logistycznie; dla każdego siedemdziesięcioletniego mężczyzny w trzecim stadium raka i cukrzycą, który otrzymuje ClaroMax, firma BioFarm będzie musiała znaleźć kogoś z podobnymi cechami, aby umieścić go w grupie placebo. Po drugie, co jeszcze ważniejsze, BioFarm nie będzie w stanie mierzyć wszystkich istotnych czynników zakłócających. Może istnieć mutacja genetyczna silnie powiązana z mniejszą oczekiwaną długością życia pacjentów z nowotworami, ale nie ma dostępnych testów genetycznych umożliwiających określenie, kto ma tę mutację. W idealnej sytuacji rozkład tych mutacji genetycznych powinien być podobny w obu grupach, ponieważ jest to czynnik zakłócający, jednak bez możliwości zmierzenia, kto ma tę mutację, niemożliwe jest nawet zapewnienie podobnego rozkładu w obu grupach. – I tu właśnie wkracza randomizacja – ciągnął dalej David. – Losowe przydzielenie uczestników do jednej z dwóch grup interwencyjnych zapewni mniej więcej równy rozkład czynników zakłócających, zarówno tych, które można zmierzyć, jak i tych, w przypadku których nie mamy takiej możliwości. Wyobraźmy sobie szkołę, w której mniej więcej połowa uczniów to chłopcy, a druga połowa to dziewczynki. Przypuśćmy, że losowo przydzielamy uczniów do jednej z dwóch grup na podstawie rzutu monetą. Jaki procent w grupie pierwszej stanowią chłopcy i dziewczynki?
Kamala zastanawiała się chwilę nad odpowiedzią. – Ponieważ populacja wyjściowa składała się w pięćdziesięciu procentach z chłopców i w pięćdziesięciu procentach z dziewczynek i ponieważ losowo rozmieszczaliśmy uczniów w dwóch grupach zamiast preferencyjnie przydzielać na podstawie płci, możemy się spodziewać, że proporcja między chłopcami i dziewczynkami w grupie pierwszej również wynosi 50:50.
– Racja – powiedział David i wyjaśnił: – Potęga randomizacji polega na tym, że pozwala ona uwzględniać zarówno mierzalne, jak i niemierzalne czynniki zakłócające. Przypisując uczniów do dwóch grup, nie czynimy specjalnych starań, aby zapewnić rozkład płci w obu grupach – po prostu rzucamy monetą! Możemy jednak oczekiwać, że rozkład między grupami będzie mniej więcej równy przy wystarczająco dużej próbie.
– Tak byłoby w przypadku każdej cechy: rasy, wzrostu, wagi, rozmiaru obuwia itp., prawda? – zastanawiała się Kamala. – Przypisując uczniów losowo do dwóch grup, możemy mieć większą pewność, że niezależnie od istniejącego rozkładu cech w całej populacji zostanie on powielony w podgrupach.
– Dokładnie tak – potwierdził David i kontynuował. – Nawet jeśli rozkład mierzalnych i znanych czynników zakłócających nie jest w stu procentach dokładny lub równy w obu grupach, możemy być pewni, że rozkład niemierzalnych lub nieznanych czynników zakłócających też jest mniej więcej równy w obu grupach. Jeśli średni wiek w grupie uczestników badania BioFarm wynosił 72 lata, możemy oczekiwać, że w dwóch losowo stworzonych podgrupach średnia wieku również wyniesie 72 lata. Mając to na uwadze, nie powinniśmy jednak być zaskoczeni, jeśli średni wiek w jednej grupie wyniesie 71 lub 73 lata. Taka jest natura losowości. Ponieważ wiek jest czynnikiem zakłócającym, lepiej, aby rozkład wieku był w obu grupach identyczny (przypomnij sobie klonowanie!), ale często wystarczy, jeśli rozkład czynników zakłócających będzie podobny. Idealna zgodność nie jest niezbędna we wnioskowaniu przyczynowym. To przecież niewielka cena, jaką płacimy za wiedzę, że rozkład czynników zakłócających, zarówno mierzalnych, jak i niemierzalnych, po randomizacji będzie mniej więcej równy!
Trzeba zwrócić uwagę, że podczas analizy danych możliwe jest pojawienie się niewielkiej nierównowagi mierzalnych czynników zakłócających w obu grupach. Randomizacja interwencji medycznych umożliwia wnioskowanie o przyczynowości związanej z efektem interwencji, ponieważ randomizacja zazwyczaj zachowuje rozkład cech w grupach interwencyjnych. Teraz dowiemy się, jak stosować randomizację w wielu eksperymentach i wyciągać z nich wnioski o przyczynowości.
Testy A/B
W tym podrozdziale omówimy wykorzystanie zasad randomizacji w poszukiwaniu odpowiedzi na pytania o przyczynowość Skupimy się na testach A/B, schemacie do projektowania i przeprowadzania eksperymentów randomizowanych w skali mini. Zobaczymy, czego Kamala dowie się o testach A/B od zespołu marketingu, którego zadaniem jest wykorzystywanie tych testów do znajdowania najskuteczniejszych podejść w marketingu i reklamie.
– Mamy zatem minielementarz przyczynowości! Następnym wielkim krokiem byłoby udanie się do Kyry z zespołu marketingu, aby się dowiedzieć, jak oni wykorzystują randomizację do świadomego kształtowania swojej strategii reklamowej – powiedział David, ścierając z tablicy swoje bazgroły.
Kamala umówiła spotkanie z Kyrą na popołudnie. Nie była pewna, w jaki sposób nauka o marketingu miałaby jej pomóc w interpretacji badania nad ClaroMaxem, ale nauka o wnioskowaniu przyczynowym sprawiła jej radość, więc przychyliła się do sugestii Davida.
– Dziękuję za spotkanie, Kyro – powiedziała. – Staram się nauczyć czegoś o przyczynowości i eksperymentach randomizowanych, a David z zespołu specjalistów ds. danych zasugerował, żebym zwróciła się do ciebie. Z przyjemnością posłucham, jak wykorzystujecie w swojej codziennej pracy randomizację i wnioskowanie przyczynowe.
Kamala wyjaśniła, dlaczego jest zainteresowana zdobyciem wiedzy na temat randomizacji, i krótko streściła Kyrze badania nad ClaroMaxem. Kyra ochoczo podzieliła się swoimi spostrzeżeniami.
– Dziękuję tobie, Kamalo, za umówienie się! Mogłabym opowiadać o tym całymi dniami. Nie miałam przygotowania w zakresie nauki o danych, kiedy zaczynałam się tym zajmować. Wygląda na to, że ty też nie! Ale współpracowaliśmy z Davidem i stworzyliśmy procesy umożliwiające włączenie nauki o danych oraz wnioskowania przyczynowego do codziennej pracy i uwierz, że to zupełnie zmieniło zasady gry. Cieszę się, że mogę ci pokazać, jak wykorzystujemy w swojej pracy eksperymenty randomizacyjne. Kyra wyjęła plik czystych kartek i zaczęła zapisywać niektóre punkty.
– Pierwszym krokiem w znajdowaniu odpowiedzi na pytanie o przyczynę jest określenie pytania! Na ogół pytania o przyczynowość przyjmują formę: Jaki jest wpływ [interwencji] na [wynik]? Interwencja to coś, co chciałabyś przetestować, a wynik to wielkość, której zmiany spodziewasz się na skutek tej interwencji. Kiedy nasz zespół marketingu testuje nową reklamę, interwencją może być ta nowa reklama, a wynikiem liczba telefonów od klientów. Wygląda na to, że w przypadku BioFarmu interesującą nas interwencją jest lek ClaroMax, a wynikiem przeżywalność. Dla sieci restauracji interwencją może być zmniejszenie ilości cukru w deserach, a wynikiem całkowita sprzedaż deserów. Jak możesz zauważyć, pytania o przyczynowość mogą odnosić się do wielu sytuacji.
– To wydaje się oczywiste, prawda? Każde badanie musi zacząć się od jakiegoś pytania – powiedziała Kamala. Nie była pewna, dlaczego Kyra kładzie na to aż taki nacisk.
– Masz rację. To oczywiste, ale nie znaczy, że łatwe! Częstą pułapką w definiowaniu pytania jest wykorzystanie niejasnych terminów. Spójrzmy na pytanie: „Jaki jest wpływ ClaroMaxu na zdrowie pacjentów?”. W tym wypadku wynik nie jest jasno określony. Co składa się na zdrowie pacjenta? Co, jeśli pacjent odczuwa bolesne skutki uboczne (negatywny wynik zdrowotny), ale ostatecznie żyje dłużej (pozytywny wynik zdrowotny)? W przypadku restauracji próbującej nowego menu źle sformułowane pytanie może brzmieć: „Jaki jest wpływ ulepszenia naszego jedzenia na zadowolenie klientów?”. Co to znaczy „ulepszenie naszego jedzenia”? Czy restauracja zamierza całkowicie zmienić swoje menu? Zastąpić sałatki smażonymi potrawami? Zastąpić smażone potrawy sałatkami? Podobnie źle jest zdefiniowany wynik. Jak jest mierzona satysfakcja klientów? Ważne jest, by zdefiniować interwencję i wynik na tyle jasno, żeby zapewnić ich powtarzalność.
Kamala skinęła głową. – Rozumiem. Zatem staranne sformułowanie pytania umożliwia precyzyjne określenie mierzonych wielkości.
– Złapałaś to – powiedziała Kyra. – Oprócz jasnych definicji potrzeba, żeby wyniki były znaczące. BioFarm mógł zamiast czasu przeżycia wybrać do badania nad ClaroMaxem wiele zmiennych wynikowych: odsetek pacjentów, u których wystąpiły niepożądane skutki uboczne, czas, jaki upłynie do progresji nowotworu, lub odsetek pacjentów, którzy wycofali się z badania. Nie istnieje jeden, najlepszy wybór wyniku. Wszystko zależy od interesującego nas pytania. Jeśli celem jest określenie, czy ClaroMax jest bezpieczny, wybór skutków ubocznych jako zmiennej wynikowej ma sens. Jeśli celem jest określenie, czy ClaroMax przedłuża życie, ma sens przyjrzenie się czasowi przeżycia. Wynik powinien być zgodny z pytaniem postawionym w badaniu.
– W porządku. Jasne zdefiniowanie wszystkiego, to ma sens. Co potem? – Kamala nie mogła się doczekać, kiedy teoria spotka się z praktyką.
Kyra odwróciła kartkę na czystą stronę. – Kiedy będziemy już mieć jasno zdefiniowaną interwencję i wynik, nadejdzie czas na projektowanie badania. Następnym krokiem jest zdefiniowanie populacji uczestniczącej w badaniu: kim są uczestnicy badania, którzy otrzymają interwencję? Zazwyczaj dobrze jest określić kryteria włączenia i wyłączenia, opisujące, kto zostanie włączony do populacji uczestniczącej w badaniu lub kto zostanie z niej wyłączony. Kiedy na przykład wyświetlamy nową reklamę skierowaną do ludzi kwalifikujących się do jednego z naszych planów Medicare Advantage, chcemy wykluczyć wszystkich poniżej 60. roku życia, ponieważ takie osoby przez najbliższe pięć lat nie będą uprawnione do skorzystania z Medicare. Kamala zaczęła dostrzegać analogie.
– To ma sens. W badaniu nad ClaroMaxem firma BioFarm wykluczyła pacjentów z bardzo zaawansowaną chorobą nowotworową, ponieważ postęp choroby przekroczył już punkt, w którym ClaroMax mógłby przynieść efekt terapeutyczny. Do kryteriów włączenia firma BioFarm zaliczyła zdiagnozowanie raka prostaty oraz wiek powyżej 65 lat.
– Ważne jest, aby po zdefiniowaniu kryteriów włączenia i wyłączenia zastanowić się nad sposobem rekrutacji uczestników – kontynuowała Kyra. – Jedną z najważniejszych kwestii jest możliwość uogólniania. W jakim stopniu metodologia rekrutacji umożliwi rozszerzenie wniosków z badania poza określoną populację?
Załóżmy, że firma BioFarm postanowiła rekrutować uczestników, którzy mogą być leczeni w najlepszym instytucie onkologicznym w Stanach Zjednoczonych. Czy potrafisz wymyślić jakieś powody, dlaczego taki mechanizm rekrutacji mógłby mieć wpływ na uogólnienie wyników? Kamala zastanawiała się przez kilka sekund.
– Przychodzi mi na myśl kilka powodów. Po pierwsze, pacjenci leczeni w tym instytucie onkologicznym mogą mieć zapewnioną opiekę na wyższym poziomie niż pacjenci leczeni w innych miejscach w kraju. Po drugie, pacjenci leczeni w tym najlepszym centrum onkologicznym mogą różnić się od pacjentów leczonych w innych miejscach. Mogą mieć lepsze polisy ubezpieczeniowe, mogą być zamożniejsi, mogą mieć bardziej zaawansowaną chorobę nowotworową itd. Mechanizm rekrutacji wzbudziłby wątpliwości co do tego, czy wyniki badania można uogólnić na pacjentów leczonych w innych miejscach w kraju. Na pewno ClaroMax mógłby działać, gdyby był podawany w najlepszym centrum onkologicznym w Stanach Zjednoczonych, ale co będzie, kiedy zostanie podany w niedoinwestowanej klinice onkologicznej na wsi na Środkowym Zachodzie? Firma BioFarm powinna rozważyć rekrutację uczestników z różnych środowisk klinicznych, aby poprawić możliwość uogólniania swoich wniosków. Kyra była pod wrażeniem.
– Mówisz, jakbyś już była ekspertem od wnioskowania przyczynowego! Kiedy gotowa jest już strategia rekrutacji, następną rzeczą do przemyślenia jest operacjonalizacja randomizacji. Chodzi o to, jak losowo alokować interwencje w tych dwóch grupach. W przypadku reklam internetowych mamy doskonałe narzędzie informatyczne umożliwiające nam przeprowadzanie eksperymentów losowych. Jednym kliknięciem możemy kontrolować, które reklamy będą wyświetlane na których witrynach i w jakim czasie. Ale to nie zawsze jest łatwe. Czasami ograniczenia organizacyjne decydują o tym, jakie schematy randomizacji są możliwe do wprowadzenia. Na przykład klinika, z którą współpracuje BioFarm, może nie mieć zdolności operacyjnych do losowego podawania ClaroMaxu niektórym pacjentom, a placebo innym. W takim wypadku BioFarm może rozważyć randomizację na poziomie klinicznym: niektóre kliniki podawałyby wszystkim pacjentom ClaroMax, a inne placebo. Takie podejście może radzić sobie z ograniczeniami organizacyjnymi, ale wprowadza inne komplikacje. Mianowicie firma BioFarm będzie musiała zadbać o to, żeby w grupach, którym jest podawany ClaroMax, i w grupach placebo znalazła się mniej więcej taka sama liczba pacjentów. – Mając już gotową strategię randomizacji – kontynuowała Kyra – musimy zastanowić się nad kolejną ważną kwestią, czyli nad zbieraniem danych. W jaki sposób zapewnimy, że dane na temat interwencji i wyniku zostały zebrane dokładnie i we właściwym czasie? W świecie reklamy internetowej tutaj też mamy łatwo. Nasze komputery automatycznie zbierają dla nas wszystkie dane. Wiemy dokładnie, w które reklamy klika w każdym momencie więcej osób. Wyobrażam sobie, że zbieranie danych w teście klinicznym byłoby dużo trudniejsze – powiedziała Kyra.
– To prawda – skinęła głową Kamala. – Jak rozumiem, zbieranie danych z testów klinicznych może być niezwykle czasochłonne. Firma BioFarm musiałaby współpracować z każdą kliniką dla zapewnienia, że mechanizm zbierania danych został odpowiednio wdrożony. Pielęgniarki wpisywałyby datę i czas każdego podania leku, a inni koordynatorzy byliby odpowiedzialni za kontakt z pacjentem w celu zebrania danych o skutkach ubocznych leku. I wreszcie koordynatorzy ośrodka byliby odpowiedzialni za śledzenie dokumentacji dotyczącej zgonów wśród uczestników badania. Wszystkie dane byłyby przechowywane na bezpiecznym serwerze danych spełniającym wymogi HIPAA (amerykańskiej ustawy o przenośności danych i odpowiedzialności w ubezpieczeniach zdrowotnych). To naprawdę dużo ruchomych elementów do śledzenia! Wprawdzie przeprowadzenie analizy przyczynowości może wiązać się z wieloma niuansami, jednak randomizacja istotnie zmniejsza obciążenie analityczne. Jeśli odpowiednio i skutecznie przeprowadzimy randomizację, analiza danych sprowadzi się do prostego porównania dwóch grup interwencyjnych. Po zakończeniu badania BioFarm może po prostu porównać czasy przeżycia w grupie otrzymującej ClaroMax i w grupie placebo, wykonując test hipotezy statystycznej. Otrzymane w tej sposób oszacowanie siły efektu i wartości p może zostać użyte do sformułowania wniosków przyczynowych dotyczących wpływu ClaroMaxu na wydłużenie czasu przeżycia pacjenta. Powiedzmy na przykład, że grupa otrzymująca ClaroMax osiągnęła o 4 procent wyższą przeżywalność niż grupa placebo, a wartość p wyniosła 0,23. To odpowiada wzrostowi długości okresu przeżycia o jakieś 4 procent, co – jak wskazuje wartość p – nie jest statystycznie istotne. Czteroprocentowy wzrost w tej populacji skutkuje wzrostem mediany przeżycia, którego nie uważa się nawet za klinicznie istotną poprawę w leczeniu raka. To mogłoby sugerować, że Claro- Max nie jest szczególnie skuteczny w wydłużaniu ogólnego czasu przeżycia w tej populacji.
Powyższy fragment pochodzi z książki Analiza danych dla menedżerów. Jak zrozumieć i wykorzystać dane dostępne w twojej firmie, autorstwa Howarda Stevena Friedmana i Akshaya Swaminathana, która została wydana przez MT Biznes.
