Przekazywanie informacji o stanie zdrowia chatbotowi to, co nie jest zaskoczeniem, okropny pomysł

Co tydzień ponad 230 milionów ludzi zapytaj ChatGPT według OpenAI w celu uzyskania porad dotyczących zdrowia i dobrego samopoczucia. Firma mówi że wielu postrzega chatbota jako „sojusznika”, który pomaga poruszać się po labiryncie ubezpieczeń, wypełniać dokumenty i stać się lepszymi self-adwokatami. W zamian ma nadzieję, że powierzysz jego chatbotowi szczegółowe informacje na temat diagnoz, leków, wyników badań i innych prywatnych informacji medycznych. Ale choć rozmowa z chatbotem może przypominać trochę gabinet lekarski, to nim nie jest. Firmy technologiczne nie mają takich samych obowiązków jak dostawcy usług medycznych. Eksperci mówią Krawędź mądrze byłoby dokładnie rozważyć, czy chcesz przekazać swoje dokumenty.

Zdrowie i dobre samopoczucie szybko wyłaniają się jako kluczowe pole bitwy dla laboratoriów AI i główny test na to, jak chętnie użytkownicy chcą powitać te systemy w swoim życiu. W tym miesiącu dwóch największych graczy w branży otwarcie wkroczyło na rynek medycyny. OpenAI udostępniło ChatGPT Health, dedykowaną kartę w ChatGPT zaprojektowaną, aby użytkownicy mogli zadawać pytania związane ze zdrowiem w, według niej, bezpieczniejszym i spersonalizowanym środowisku. Antropiczny przedstawił Claude’a w służbie zdrowiaprodukt „gotowy do stosowania w ramach ustawy HIPAA”, który według niego może być używany przez szpitale, podmioty świadczące usługi zdrowotne i konsumentów. (Szczególnie nieobecny jest Google, którego chatbot Gemini jest jednym z najbardziej kompetentnych i powszechnie używanych narzędzi sztucznej inteligencji na świecie, chociaż firma to zrobiła ogłaszać aktualizacja modelu medycznej sztucznej inteligencji MedGemma dla programistów.)

OpenAI aktywnie zachęca użytkowników do udostępniania poufnych informacji, takich jak dokumentacja medyczna, wyniki badań laboratoryjnych oraz dane dotyczące zdrowia i dobrego samopoczucia z aplikacji takich jak Apple Health, Peloton, Weight Watchers i MyFitnessPal, za pomocą ChatGPT Health w zamian za głębsze spostrzeżenia. Wyraźnie stwierdza, że ​​dane dotyczące zdrowia użytkowników będą traktowane jako poufne i nie będą wykorzystywane do uczenia modeli sztucznej inteligencji, a także że podjęto kroki, aby zapewnić bezpieczeństwo i prywatność danych. OpenAI twierdzi, że rozmowy ChatGPT Health będą również prowadzone w osobnej części aplikacji, a użytkownicy będą mogli w dowolnym momencie przeglądać lub usuwać „wspomnienia” dotyczące zdrowia.

Zapewnienia OpenAI, że zapewni bezpieczeństwo wrażliwych danych użytkowników, w niemałym stopniu pomogło wypuszczenie przez firmę identycznie brzmiącego produktu z bardziej rygorystycznymi protokołami bezpieczeństwa niemal w tym samym czasie co ChatGPT Health. Narzędzie o nazwie ChatGPT for Healthcare jest częścią szerszej gamy produkty sprzedawane, aby wspierać firmy, szpitale i lekarzy pracujących bezpośrednio z pacjentami. Sugerowane zastosowania OpenAI obejmują usprawnienie prac administracyjnych, takich jak sporządzanie pism klinicznych i podsumowań wypisów, a także pomaganie lekarzom w gromadzeniu najnowszych dowodów medycznych w celu poprawy opieki nad pacjentem. Podobnie jak w przypadku innych produktów klasy korporacyjnej sprzedawanych przez firmę, istnieją większe zabezpieczenia niż oferowane zwykłym konsumentom, zwłaszcza użytkownikom darmowym, a OpenAI twierdzi, że produkty zostały zaprojektowane tak, aby spełniać obowiązki dotyczące prywatności wymagane w sektorze medycznym. Biorąc pod uwagę podobne nazwy i daty wprowadzenia na rynek – ChatGPT dla Healthcare został ogłoszony dzień po ChatGPT Health – bardzo łatwo jest pomylić te dwa elementy i założyć, że produkt przeznaczony dla konsumenta ma ten sam poziom ochrony, co ten bardziej zorientowany klinicznie. Zrobiło to wiele osób, z którymi rozmawiałem, relacjonując tę ​​historię.

Jednakże niezależnie od tego, jakie zabezpieczenie bezpieczeństwa przyjmiemy, nie jest ono całkowicie szczelne. Eksperci twierdzą, że użytkownicy narzędzi takich jak ChatGPT Health często nie mają zapewnionej wystarczającej ochrony przed naruszeniami lub nieuprawnionym użyciem, wykraczającej poza warunki użytkowania i politykę prywatności Krawędź. Ponieważ większość stanów nie przyjęła kompleksowych przepisów dotyczących prywatności – a nie ma kompleksowego federalnego prawa dotyczącego prywatności – ochrona danych w przypadku narzędzi AI, takich jak ChatGPT Health, „w dużej mierze zależy od tego, co firmy obiecują w swoich politykach prywatności i warunkach użytkowania” – mówi Sara Gerke, profesor prawa na Uniwersytecie Illinois w Urbana-Champaign.

Nawet jeśli ufasz obietnicy firmy dotyczącej ochrony Twoich danych – OpenAI twierdzi, że domyślnie szyfruje dane dotyczące zdrowia – może po prostu zmienić zdanie. „Chociaż ChatGPT w swoich aktualnych warunkach użytkowania stwierdza, że ​​zachowa te dane w tajemnicy i nie będzie ich wykorzystywać do uczenia swoich modeli, nie jesteś chroniony przez prawo i z czasem wolno zmieniać warunki użytkowania” – wyjaśnia Hannah van Kolfschooten, badaczka prawa cyfrowego zdrowia na Uniwersytecie w Bazylei w Szwajcarii. „Musisz zaufać, że ChatGPT tego nie robi.” Carmel Shachar, adiunkt prawa w Harvard Law School, zgadza się: „Ochrona jest bardzo ograniczona. Część z nich to ich słowa, ale zawsze mogą wrócić i zmienić swoje praktyki dotyczące prywatności”.

Zapewnienie, że produkt jest zgodny z przepisami o ochronie danych obowiązującymi w sektorze opieki zdrowotnej, takimi jak ustawa o przenośności i odpowiedzialności w ubezpieczeniach zdrowotnych (HIPAA), również nie powinna zapewniać dużego komfortu, mówi Shachar. Choć jest to świetny przewodnik, ryzyko jest niewielkie, jeśli firma, która dobrowolnie zastosuje się do tych zasad, tego nie zrobi, wyjaśnia. Dobrowolne podporządkowanie się nie jest równoznaczne z byciem związanym. „Wartość ustawy HIPAA jest taka, że ​​jeśli popełnisz błąd, obowiązują zasady egzekwowania prawa”.

To coś więcej niż tylko prywatność. Jest powód, dla którego medycyna jest dziedziną ściśle regulowaną – błędy mogą być niebezpieczne, a nawet śmiertelne. Nie brakuje przykładów pokazujących, że chatboty śmiało przekazują fałszywe lub wprowadzające w błąd informacje zdrowotne, na przykład kiedy jest to mężczyzna rozwinęła się rzadka choroba po tym, jak zapytał ChatGPT o usunięcie soli ze swojej diety, a chatbot zasugerował zastąpienie soli bromkiem sodu, który był historycznie stosowany jako środek uspokajający. Lub gdy Google AI Reviews błędnie doradził osobom chorym na raka trzustki, aby unikały pokarmów o wysokiej zawartości tłuszczu – co jest całkowitym przeciwieństwem tego, co powinny robić.

Aby rozwiązać ten problem, OpenAI wyraźnie stwierdza, że ​​ich narzędzie skierowane do konsumentów zostało zaprojektowane do stosowania w ścisłej współpracy z lekarzami i nie jest przeznaczone do diagnozowania i leczenia. Narzędzia przeznaczone do diagnostyki i leczenia są określane jako wyroby medyczne i podlegają znacznie bardziej rygorystycznym przepisom, takim jak badania kliniczne potwierdzające ich działanie i monitorowanie bezpieczeństwa po ich zastosowaniu. Chociaż OpenAI jest w pełni i otwarcie świadomy, że jednym z głównych zastosowań ChatGPT jest wspieranie zdrowia i dobrego samopoczucia użytkowników – przypomnijmy sobie, że 230 milionów osób prosi o poradę co tydzień – twierdzenie firmy, że nie jest ono przeznaczone jako wyrób medyczny, ma duże znaczenie dla organów regulacyjnych, wyjaśnia Gerke. „Zastosowanie podane przez producenta jest kluczowym czynnikiem w klasyfikacji wyrobów medycznych” – mówi, co oznacza, że ​​firmy twierdzące, że narzędzia nie są przeznaczone do użytku medycznego, w dużej mierze wymkną się nadzorowi, nawet jeśli produkty będą wykorzystywane do celów medycznych. Podkreśla wyzwania regulacyjne, jakie stwarza technologia, taka jak chatboty.

Przynajmniej na razie to zastrzeżenie sprawia, że ​​ChatGPT Health pozostaje poza kompetencjami organów regulacyjnych, takich jak Agencja ds. Żywności i Leków, ale van Kolfschooten twierdzi, że całkowicie uzasadnione jest pytanie, czy tego typu narzędzia rzeczywiście powinny być klasyfikowane jako urządzenie medyczne i jako takie regulowane. Wyjaśnia, że ​​ważne jest, aby zwracać uwagę na to, w jaki sposób jest on używany, a także na to, co mówi firma. Ogłaszając produkt, OpenAI zasugerowało, że ludzie mogliby używać ChatGPT Health do interpretacji wyników badań laboratoryjnych, śledzenia zachowań zdrowotnych lub pomagania w podejmowaniu decyzji dotyczących leczenia. Jeśli produkt tak się zachowuje, można rozsądnie argumentować, że może wchodzić w zakres amerykańskiej definicji wyrobu medycznego, mówi, sugerując, że silniejsze ramy regulacyjne w Europie mogą być powodem, dla którego nie jest on jeszcze dostępny w regionie.

Pomimo twierdzeń, że ChatGPT nie powinien być używany do diagnozowania ani leczenia, OpenAI włożyło wiele wysiłku w udowodnienie, że ChatGPT jest ładnym narzędziem zdolny medyk i zachęcaj użytkowników do klikania go w celu uzyskania informacji o stanie zdrowia. Firma podkreśliła, że ​​głównym przypadkiem zastosowania jest zdrowie uruchomienie GPT-5a nawet dyrektor generalny Sam Altman zaprosiła pacjentkę chorą na raka i jej męża na scenie, aby omówić, w jaki sposób narzędzie pomogło jej zrozumieć diagnozę. Firma twierdzi, że ocenia sprawność medyczną ChatGPT w oparciu o punkt odniesienia, który sama opracowała z udziałem ponad 260 lekarzy kilkudziesięciu specjalizacji, Ławka Zdrowiaktóre jednak „testuje skuteczność modeli sztucznej inteligencji w realistycznych scenariuszach zdrowotnych”. zauważają krytycy nie jest to zbyt przejrzyste. Inne badania – często małe, ograniczone lub prowadzone przez samą firmę – również wskazują na potencjał medyczny ChatGPT, pokazując, że w niektórych przypadkach może on zdać egzaminy na uprawnienia lekarskie, lepiej komunikować się z pacjentamiI przewyższają lekarzy w diagnozowaniu choróba także pomóc lekarzom w tworzeniu mniej błędów gdy jest używany jako narzędzie.

Wysiłki OpenAI mające na celu przedstawienie ChatGPT Health jako wiarygodnego źródła informacji zdrowotnych mogą również podważyć wszelkie zawarte w nim zastrzeżenia, informujące użytkowników, aby nie używali go do celów medycznych, mówi van Kolfschooten. „Kiedy system sprawia wrażenie spersonalizowanego i ma aurę autorytetu, zastrzeżenia medyczne niekoniecznie podważą zaufanie ludzi do systemu”.

Firmy takie jak OpenAI i Anthropic mają nadzieję, że zyskają takie zaufanie, walcząc o pozycję na tym, co postrzegają jako kolejny duży rynek dla sztucznej inteligencji. Liczby pokazujące, ile osób korzysta już z chatbotów AI w celach zdrowotnych, sugerują, że mogą mieć coś do powiedzenia, a biorąc pod uwagę poważne nierówności w zdrowiu i trudności, z jakimi boryka się wiele osób dostępu nawet do podstawowej opiekito może być dobra rzecz. Przynajmniej mogłoby tak być, jeśli zaufanie będzie dobrze umiejscowione. Powierzamy nasze prywatne informacje podmiotom świadczącym opiekę zdrowotną, ponieważ zawód ten zasłużył na to zaufanie. Nie jest jeszcze jasne, czy branża ciesząca się reputacją firmy działającej szybko i psującej wszystko osiągnęła to samo.