7.4.3. Aplikacje mobilne i oprogramowanie wspierające muzykoterapię
10. Ocena wyników terapii prowadzonych za pomocą aplikacji mobilnych
Ocena skuteczności interwencji muzykoterapeutycznych realizowanych przez aplikacje mobilne wymaga systematycznego ujęcia teoretycznego, które łączy psychometrię, projektowanie badań oraz analitykę zachowań cyfrowych. Kluczowe elementy tej teorii to: określenie celów terapeutycznych (np. redukcja objawów lękowych, poprawa jakości snu, wzrost umiejętności regulacji emocji), dobór odpowiednich wskaźników efektu (mierzalnych i trafnych względem celu), zaprojektowanie protokołu badawczego (randomizacja, grupa kontrolna, obserwacja przed/po), a także integracja danych subiektywnych (ankiety, dzienniki) z obiektywnymi (sensory, logi aplikacji). Ocena powinna uwzględniać nie tylko efekt krótkoterminowy, lecz także podtrzymanie efektu w czasie.
Zasady definiowania hipotez i miar efektu
-
Hipoteza główna powinna być konkretna i mierzalna: np. „Użytkownicy korzystający z adaptacyjnych ścieżek dźwiękowych przez 8 tygodni osiągną istotne statystycznie obniżenie poziomu lęku w porównaniu z grupą kontrolną otrzymującą standardową playlistę.”
-
Wskaźniki (outcomes) dzielimy na: primarne (np. zmiana w skali lęku), wtórne (jakość snu, liczba przerw w nocy, funkcjonowanie społeczne), procesowe (adherence, czas sesji, liczba logowań) i bezpieczeństwa (zgłoszenia niepożądanych reakcji).
-
Trafność i rzetelność pomiarów: używać skal psychometrycznych o potwierdzonej rzetelności i trafności w populacji docelowej (np. skale depresji i lęku zaadaptowane i zwalidowane po polsku), a także standaryzować pomiary fizjologiczne.
Projekt badania — warianty i rekomendacje
-
Badanie kontrolowane randomizowane (najwyższy poziom dowodu)
-
Grupa interwencyjna: aplikacja z pełnym zestawem funkcji terapeutycznych.
-
Grupa kontrolna: placebo cyfrowe (np. aplikacja z neutralnymi dźwiękami) lub standard opieki.
-
Randomizacja stratifikowana względem kluczowych zmiennych (wiek, nasilenie objawów).
-
Pomiar: baseline, natychmiast po interwencji, follow-up 1 miesiąc, 3 miesiące.
-
-
Badanie quasi-eksperymentalne (np. sekwencyjne w czasie) — gdy randomizacja niemożliwa.
-
Studium pojedynczych przypadków z wielokrotnymi pomiarami (przy małych grupach, np. w praktyce klinicznej).
-
Badania mixed methods — łączenie danych ilościowych (skale, logi) z jakościowymi (wywiady, grupy fokusowe) celem zrozumienia mechanizmów działania.
Dobór próby i analiza mocy
-
Zanim rozpoczęto rekrutację, należy przeprowadzić analizę mocy (planowanie liczebności) opartą na oczekiwanym efekcie terapeutycznym (np. efekt umiarkowany d = 0,5), poziomie istotności α = 0,05 i mocy testu 0,8.
-
Należy uwzględnić przewidziany odsetek utraty uczestników (dropout), typowo 15–30% w badaniach mobilnych, i zwiększyć próg rekrutacji odpowiednio.
-
W badaniach pilotowych dopuszczalne są mniejsze próby, ale wyniki traktuje się jako wstępne i niekonkluzywne.
Metody pomiaru: narzędzia ilościowe i jakościowe
-
Skale psychometryczne (przykłady i zastosowanie)
-
Skala lęku — mierzyć przed i po interwencji; uwzględnić normy populacyjne.
-
Skala nastroju i samopoczucia — codzienne krótkie ankiety (ecological momentary assessment) w aplikacji.
-
Skala jakości snu — jeśli celem jest wspieranie snu, stosować walidowane miary subiektywne.
-
Skale funkcjonowania społecznego i jakości życia — jako miary wtórne.
-
-
Pomiary fizjologiczne i behawioralne
-
Tętno, zmienność rytmu serca (HRV) zbierane z pulsometrów lub zegarków; przydatne do mierzenia reakcji autonomicznych.
-
Czas trwania sesji, liczba sesji tygodniowo, retencja użytkownika (logi aplikacji).
-
Dane środowiskowe (np. pora dnia) jako moderatory efektu.
-
-
Metody jakościowe
-
Półstrukturalizowane wywiady: eksploracja doświadczenia użytkownika, odbioru treści, barier i ułatwień.
-
Dzienniki użytkownika: zapisy emocji, sytuacji wywołujących potrzebę użycia aplikacji.
-
Grupy fokusowe z terapeutami: ocena funkcjonalności z perspektywy klinicznej.
-
Analiza danych — techniki i interpretacja
-
Analizy podstawowe
-
Porównania przed i po: test t dla prób zależnych lub analiza wariancji z powtarzanymi pomiarami (ANOVA), jeśli spełnione są założenia; w przeciwnym razie testy nieparametryczne.
-
Porównania między grupami: test t niezależny, analiza kowariancji (ANCOVA) przy korekcie o wartości bazowe.
-
Współczynniki efektu (np. d Cohena) do oceny praktycznej istotności.
-
-
Modele zaawansowane
-
Modele wielopoziomowe (hierarchiczne) do analizy powtarzanych pomiarów u poszczególnych użytkowników i wnioskowania o zmianach w czasie.
-
Modele przeżycia (time-to-event) dla analizy retencji i odsetka rezygnacji.
-
Analizy mediacji i moderacji w celu zbadania mechanizmów działania (np. czy adherence mediatuje wpływ aplikacji na objawy).
-
-
Analiza danych z logów i big data
-
Wykorzystanie eksploracyjnych technik analitycznych do identyfikacji wzorców użycia (klastrowanie, analiza sekwencji).
-
Metryki angażowania: średni czas sesji, odsetek powracających użytkowników, współczynnik aktywacji nowych kont.
-
-
Walidacja wyników i uogólnianie
-
Sprawdzanie, czy efekty utrzymują się w subpopulacjach (analizy podgrupowe).
-
Replikacja wyników w niezależnej próbie — kluczowa dla wiarygodności.
-
Bardzo liczne praktyczne ćwiczenia i scenariusze (dla zespołów badawczych i praktyków)
Ćwiczenie 1 — „Opracowanie planu ewaluacji aplikacji”
Cel: stworzyć kompletny plan oceny interwencji mobilnej.
Kroki:
-
Zidentyfikuj cel terapeutyczny (np. redukcja lęku u osób dorosłych).
-
Wybierz primarne i wtórne wskaźniki efektu.
-
Wybierz design badania (np. RCT 2-ramienny), okres obserwacji i punkty pomiarowe.
-
Sporządź budżet na pomiary (skale, sensory) i plan rekrutacji.
-
Przygotuj formularze zgody i protokół etyczny.
Ćwiczenie 2 — „Pilot test narzędzi pomiarowych”
Cel: sprawdzenie działania ankiet online i integracji z aplikacją.
Kroki:
-
Prześlij krótką ankietę przed i po sesji do 10 pilotów.
-
Zbierz logi i porównaj zgodność czasów (czy ankieta wypełniona tuż po sesji).
-
Oceń zrozumiałość pytań i wskaż konieczne poprawki.
Ćwiczenie 3 — „Symulacja analizy mocy i planu rekrutacji”
Cel: oszacować liczbę uczestników.
Kroki:
-
Przyjmij oczekiwany efekt (np. d = 0,4).
-
Policzyć wielkość próby dla α = 0,05, moc = 0,8.
-
Dodaj margines na stratę uczestników i określ liczbę do rekrutacji.
Ćwiczenie 4 — „Zbieranie i analiza logów użytkowania”
Cel: zrozumieć, jak zachowanie w aplikacji koreluje z wynikami terapeutycznymi.
Kroki:
-
Zdefiniować metryki procesu (sesje/tydzień, średni czas sesji).
-
Ustawić eksport danych i wykonać analizy korelacyjne z wynikami ankiet.
-
Zidentyfikować wzorce wysokiej efektywności (np. minimalna liczba sesji, po której występuje poprawa).
Ćwiczenie 5 — „Triada: ilościowo, jakościowo, ekspercko”
Cel: połączyć wyniki ilościowe z wywiadami i opinią terapeutów.
Kroki:
-
Po zakończeniu pilotażu przeprowadzić 10 wywiadów półstrukturalizowanych.
-
Analiza treści: zidentyfikować tematy, które wyjaśniają rezultaty ilościowe.
-
Spotkać się z terapeutami, przedyskutować korekty w aplikacji.
Ćwiczenie 6 — „Analiza bezpieczeństwa i niepożądanych zdarzeń”
Cel: opracować procedury raportowania.
Kroki:
-
Określić kryteria zgłoszeń (np. pogorszenie stanu > określony próg).
-
Przygotować formularz zgłoszeniowy i łańcuch reakcji (kontakt z terapeutą, informacje o wsparciu kryzysowym).
-
Przetestować procedury w symulacji.
Standardy raportowania wyników
Aby wyniki były użyteczne i porównywalne, zaleca się stosowanie ustandaryzowanych formatów raportowania: opis populacji, szczegóły interwencji (wersja aplikacji, parametry dźwięku, częstotliwość sesji), metoda pomiaru, protokół badawczy, statystyki (wraz z miarami efektu i przedziałami ufności), analiza dropoutu i analiza intencji leczenia (analiza zgodnie z przypisaniem do grup). Raport powinien też zawierać opis problemów technicznych i ograniczeń.
Zagadnienia etyczne i zgodność z przepisami
-
Informacja i zgoda: użytkownicy muszą otrzymać jasne informacje o celu badania, sposobie gromadzenia danych, prawie do wycofania zgody oraz o ryzykach i korzyściach.
-
Ochrona danych: stosować szyfrowanie danych w tranzycie i w spoczynku, minimalizować zakres przechowywanych danych, przechowywać metadane oddzielnie od danych identyfikujących.
-
Zgodność: przestrzegać krajowych regulacji dotyczących badań z udziałem ludzi i przepisów o ochronie danych osobowych.
-
Rola terapeuty: algorytm nie zastępuje decyzji klinicznej; aplikacja powinna oferować mechanizmy kontaktu z profesjonalistą.
Monitorowanie i ewaluacja ciągła (postmarket surveillance)
Po wdrożeniu aplikacji terapeutycznej konieczne jest stałe monitorowanie: analiza wskaźników użycia, automatyczne alerty dla wzrostu wskaźników negatywnych, okresowe raporty efektywności. Systemy aktualizacji powinny uwzględniać retrening modeli i komunikację zmian użytkownikom.
Zaawansowane metody ewaluacji (opcjonalne)
-
Badania adaptacyjne: sekwencje randomizacji dostosowane do odpowiedzi użytkownika.
-
Analiza koszt-efektywność: porównanie kosztów implementacji i utrzymania aplikacji z uzyskanymi korzyściami zdrowotnymi (np. redukcja wizyt lekarskich).
-
Analiza zgodności algorytmów z zasadami sprawiedliwości: testowanie wydajności modeli w różnych grupach demograficznych i korekta uprzedzeń.
Przykładowe scenariusze ćwiczeń szczegółowych (do zastosowania w praktyce)
Scenariusz A — ocena pilotażowa 6-tygodniowa:
-
Rekrutacja 60 uczestników (po analizie mocy).
-
Randomizacja 1:1 (aplikacja adaptacyjna vs aplikacja statyczna).
-
Pomiary: skala lęku na start, po 3 tygodniach, po 6 tygodniach; codzienne krótkie ankiety nastroju; rejestracja tętna w sesjach.
-
Analiza: testy porównawcze międzygrupowe i modele wielopoziomowe do analizy zmian w czasie.
-
Raport: statystyka opisowa, miary efektu, analiza retencji i jakości użytkowania.
Scenariusz B — ewaluacja długofalowa w praktyce klinicznej:
-
Implementacja modułu monitoringu w 3 punktach poradnictwa psychologicznego.
-
Zbieranie danych przez 12 miesięcy: wyniki skali, dane użycia, dowody na zmniejszenie liczby sesji kryzysowych.
-
Analiza: porównanie okresów przed i po wdrożeniu, analiza kosztów usług.
Checklisty i szablony (praktyczne narzędzia)
-
Lista kontrolna gotowości do badania: protokół, zgody, systemy backupu danych, procedury awaryjne.
-
Szablon ankiety przed/po: standardowe pytania oceniające nasilenie objawów, funkcjonowanie i satysfakcję.
-
Formularz raportu niepożądanego zdarzenia.
-
Matryca metryk: cel kliniczny ↔ miara primarna ↔ miara procesowa ↔ częstotliwość pomiaru.
Podsumowanie kluczowych zaleceń praktycznych (bez osobnego podsumowania)
-
Zdefiniować jasne, mierzalne cele terapeutyczne.
-
Łączyć miary subiektywne i obiektywne oraz dane procesowe z logów.
-
Projektować badania z myślą o replikacji i rzetelności (randomizacja, analiza mocy).
-
Zapewnić procedury raportowania zdarzeń niepożądanych i mechanizmy wsparcia.
-
Wdrożyć monitoring postmarket i plan retreningu modeli AI, jeżeli są używane.
-
Uwzględnić aspekty etyczne i ochronę danych jako element integralny projektu.
Ten rozbudowany zbiór teorii, metod i praktycznych ćwiczeń stanowi solidną bazę do przygotowania, przeprowadzenia i interpretacji oceny efektywności terapii muzykoterapeutycznych prowadzonych przez aplikacje mobilne.