Widzenie językiem. Substytucja zmysłów
Nieskomplikowane technicznie urządzenia mogą sprawić, że treści wzrokowe odbierane są dzięki zmysłowi dotyku czy słuchu. Mózg potrafi tak doskonale je interpretować, że niewidomi odzyskują zdolność widzenia.
Współczesne technologie dają wiele nadziei na przywrócenie funkcjonalności utraconych zmysłów. Jedną z nich są neuroprotezy – sztuczne implanty, które mogą zastępować uszkodzone w wyniku wypadku bądź choroby narządy zmysłów. Jednakże, takie rozwiązanie obciążone jest szeregiem wad – jest bardzo drogie, mocno inwazyjne, a stosować można go tylko w przypadku wąskiej grupy chorób. Na dodatek użytkownicy neuroprotez wzrokowych muszą się borykać z istotnymi ograniczeniami – współczesne urządzenia mają wąskie pole widzenia i dają obraz o słabej rozdzielczości. Paradoksalnie, dużo lepszym rozwiązaniem okazuje się wykorzystanie narzędzi, które treść właściwą dla uszkodzonego zmysłu tłumaczą na sygnał innej modalności zmysłowej. Dzięki adaptacji takich sygnałów, ludzki mózg ma możliwość zastąpienia utraconych danych zmysłowych i potrafi wytworzyć obraz zbliżony do tego, jaki tworzy zdrowy organizm.
Metoda substytucji zmysłów została zaproponowana przez Paula Bach-y-Ritę z Uniwersytetu Wisconsin-Madison w latach 80-tych poprzedniego stulecia. Założył on, że gdy człowiek traci jeden ze zmysłów, np. staje się niewidomy, nie traci tym samym zdolności widzenia. Tym, czego mu w takiej sytuacji brakuje, jest możliwość przesyłania sygnałów nerwowych z siatkówki oka do mózgu.
Bach-y-Rita doszedł do konkluzji, że w dotychczasowych projektach rehabilitacji osób niewidomych nadmiernie koncentrowano się na odtworzeniu „hardwaru” uszkodzonych organów, nie doceniając potencjału odtworzenia „widzenia mentalnego”. Tymczasem, jak dowodził naukowiec, subiektywne poczucie widzenia niekoniecznie musi wiązać się z przetwarzaniem sygnałów typowo wizualnych. Dodatkowo, nabywanie takich wrażeń może zostać wyuczone. To mózg jest odpowiedzialny za efekt końcowy percepcji i dzięki temu możliwa jest zastępowanie uszkodzonego zmysłu przez dane pochodzące z innych kanałów zmysłowych.
Prowadząc badania z ludźmi z takimi deficytami poznawczymi jak utrata wzroku czy zaburzenia równowagi, Bach-y-Rita wypracował metody i urządzenia wcielające jego pomysł w życie. Jego pionierskie odkrycia są aktywnie rozwijane i dopracowywane po to, aby pomóc jak największej liczbie osób. Dostarczają również interesujących przesłanek do wnioskowania na temat działania mózgu i umysłu.
Widzieć dotykiem
Erik Weihenmayer urodził się z postępującym rozwarstwieniem siatkówki, w którego wyniku w wieku 13 lat stracił całkowicie wzrok. Mimo tego, Weihenmayer uprawia wspinaczkę, jeździ na nartach i biega w maratonach. W 2001 roku – jako pierwsza i jedyna w historii niewidoma osoba – zdobył Mount Everest; rok później Koronę Ziemi. Obecnie planuje samotną wyprawę kajakarską po Wielkim Kanionie.
Te wyczyny umożliwiło Weihenmayer m.in. zastosowanie urządzenia o nazwie BrainPort, stworzonego w laboratorium Bach-y-Rity. Jest to system, który pobiera informacje o charakterze wizualnym za pomocą kamery osadzonej na okularach. Zarejestrowany obraz jest następnie przetwarzany przez zainstalowany na smartfonie program, a następnie przesyłany na kilkusetpikselową matrycę, którą umieszcza się na języku użytkownika. Matryca ta wyposażona jest w elektrody mogące stymulować język impulsami elektromagnetycznymi o różnym nasileniu. Transformacja obrazu na sygnał dotykowy odbywa się według prostych reguł – mocna stymulacja odpowiada kolorowi białemu, słaba szaremu, brak stymulacji to kolor czarny, natomiast rozkład elektrod odpowiada przestrzennie obrazowi z kamery.
Weihenmayer po pierwszej godzinie używania BrainPort był już w stanie złapać poruszającą się piłkę tenisową, co komentuje twierdząc, że „czuł” turlającą się piłkę od tyłu języka do jego czubka, bodziec zmieniał położenie i stawał się coraz większy. Po kilkudniowym treningu wrażenia odbierane przez Weihenmayera stawały się coraz bogatsze a jego mózg dokonał rzeczy zdumiewającej – nauczył się interpretować sygnały odbierane językiem jako obrazy. Proces przekładu informacji dotykowej na wzrokową, który początkowo wymagał wysiłku i kontroli poznawczej, został zautomatyzowany a bodźce odbierane na języku zaczęły tworzyć wrażenia o charakterze wizualnym, a nie dotykowym – stymulacja języka tworzyła w świadomości pacjenta reprezentacje wzrokowe.
Widzieć słuchem
Pat Fletcher straciła wzrok w wyniku wybuchu niebezpiecznych materiałów zaraz po zakończeniu studiów, więc już jako dorosła osoba. Nie poddała się, jej determinacja doprowadziła ją do tego, że wzięła udział w testach systemu vOICe, nazywanego także w skrócie OIC (Oh, I See!). System vOICe składa się z oprogramowania, które pobiera obraz rejestrowany przez kamerę zainstalowaną na okularach użytkownika i tłumaczy go na zbiór dźwięków (soundscapes), odtwarzanych w słuchawkach.
Przekład obrazu na dźwięki, podobnie, jak w przypadku BrainPort, opiera się na kilku prostych zasadach: wysoki dźwięk odpowiada wyższej pozycji obiektu na obrazie z kamery, niski dźwięk to niska pozycja w obrazie; to, co bardziej po lewej „pojawia się” w lewym uchu i odpowiednio dla prawej strony – obiekty, które się tam znajdują, odtwarzane są w prawej słuchawce; biały piksel to głośny dźwięk, czarny – cichy, a między tymi potencjałami odtwarzana jest skala szarości.
Podobnie jak w przypadku BrainPort, reprezentacje wzrokowe oglądanych okiem kamery przedmiotów powstają w mózgu dopiero po pewnym treningu. Początkowo mózg użytkownika intencjonalnie dekoduje docierające z kanału słuchowego informacje w korze słuchowej, jednakże już po kilkunastu godzinach ćwiczeń stymulacja tym samym kanałem aktywuje rejony kory wzrokowej. W ciągu dalszego użytkowania pacjenci uczą się coraz lepiej rozpoznawać obrazy, coraz wyraźniej widzą szczegóły. Pat Fletcher relacjonuje, że po kilku miesiącach korzystania z vOICe przestała skupiać się już na odbieranych dźwiękach – traktowała je tylko jako informacje w tle, które jej mózg interpretował jako obrazy. O ile w początkowej fazie treningu jej reprezentacje wzrokowe składały się głównie z linii i prostych obrazów holograficznych, to po dekadzie użytkowania vOICe była już w stanie zobaczyć szczegóły obrazu, teksturę i głębię sceny. Z jej opisu wynika, że obraz w jej głowie przypomina stare czarno-białe filmy. Fletcher przypisuje jednak także kolory przedmiotom – tym, które rozpoznaje jako znajome. Robi to na podstawie wiedzy wykształconej przed utratą wzroku. W swojej relacji mówi także o uczuciu przekształcenia środowiska z dwuwymiarowego, kiedy funkcjonuje bez urządzenia vOICe, na trójwymiarową reprezentację przestrzeni, kiedy otrzymuje sygnał z urządzenia.
Neuroplastyczność
Proces widzenia jest najlepiej przebadanym i opisanym od strony mechanizmów neuronalnych procesem zmysłowym a mimo to wciąż nie rozumiemy wszystkich jego fenomenów. W szczególności, zagadką wciąż pozostaje zagadnienie wiązania różnych aspektów postrzeganego obiektu, takich jak kształt, barwa czy faktura, w jeden spójny obraz, którego analiza odbywa się na wyższych poziomach korowych.
Z grubsza rzecz biorąc, w zdrowym organizmie sygnał wzrokowy rozpoczyna się na siatkówce oka, gdzie znajdują się fotoreceptory – wyspecjalizowane komórki przetwarzające światło na sygnał w postaci impulsów elektrycznych. Większość odbieranego w ten sposób sygnału trafia do wzgórza a stamtąd do pierwszorzędowej kory wzrokowej, znajdującej się w płacie potylicznym mózgu. Tutaj sygnał jest rozdzielany na dwa szlaki. Szlak brzuszny kieruje się w stronę płata skroniowego, gdzie następuje identyfikacja przedmiotów, ich kształtu, barwy, faktury itp. Strumień grzbietowy kieruje się do płata ciemieniowego i wspomaga układ ruchowy w lokalizacji przedmiotów w otoczeniu oraz sposobów zbliżania się do nich, chwytania itp.
Podczas procesu substytucji nienaruszone narządy zmysłowe przekazują informacje do części mózgu fizjologicznie odpowiedzialnych za uszkodzoną modalność. Dzieje się tak dzięki podstawowej własności mózgu, jaką jest neuroplastyczność. Mówiąc ogólnie, jest to cecha układu nerwowego, która zapewnia jego zdolność do adaptacji, zmienności, samonaprawy, a także uczenia się i pamięci. Jest to powszechna własność neuronów, znajdowana na wszystkich szczeblach układu nerwowego. Na poziomie systemowym możemy scharakteryzować ją jako zdolność komórek nerwowych mózgu do regeneracji i tworzenia nowych sieci połączeń synaptycznych.
Przypadki Fletcher i Weihenmayera wskazują, że fizjologicznie istnieje możliwość „tworzenia protezy” dla utraconych w wyniku wypadku czy choroby perceptów wzrokowych poprzez adaptację sygnałów pochodzących od innych zmysłów. Badania neuroobrazowania przeprowadzone na pacjentach używających BrainPort wykazywały silne pobudzenie kory wzrokowej. Podobne badania wykonywane na Pat Fletcher, dowodzą szybkiej adaptacji, a z czasem przejęcia przewodzenia neuronalnego sygnału dźwiękowego specyficznego dla kory słuchowej przez korę wzrokową. Widoczne zwiększenie aktywności tych obszarów korelowało z subiektywnym poczuciem badanej przekształcenia się wrażeń słuchowych na wzrokowe, przejściem od świadomego i kontrolowanego tłumaczenia kodu dźwiękowego do automatycznego tworzenia reprezentacji obrazowej otoczenia. Fletcher poddano także badaniu, w czasie którego za pomocą TMS (przezczaszkowej stymulacji magnetycznej) wyłączono u niej obszar kory wzrokowej. Skutek tej operacji był taki sam, jaki obserwuje się u „normalnie” widzących pacjentów – nie była w stanie rozpoznać i nazwać przedmiotów, z którymi nie miała wcześniej żadnych problemów.
Nie tylko wzrok
W metodach wypracowanych w laboratorium Bach-y-Rity główną modalnością wykorzystywaną do substytucji utraconych zmysłów jest dotyk. Może on skutecznie zastępować nie tylko ubytki w zdolności widzenia, lecz także utratę innych zmysłów. Ze względu na charakter fal akustycznych jest on naturalnym kandydatem na substytut słuchu. Ponadto, w przypadku niektórych schorzeń, dotykiem rekompensuje się… sam dotyk. Jedną z takich chorób jest trąd, który często powoduje utratę czucia w kończynach. W takim wypadku, odpowiednio skonstruowana rękawiczka przekazuje dane odebrane na opuszkach w inne miejsce na ciele, niedotknięte jeszcze przez chorobę. Pacjenci korzystający z tego rozwiązania deklarują, że po krótkim treningu mają wrażenie zwykłego dotykania przedmiotów, bez względu na to, że bodziec pojawia się w zupełnie innym miejscu. Dotyk może równie dobrze kompensować zaburzenia równowagi, które pojawiają się czasem na skutek działania ubocznego antybiotyków. Informację o położeniu ciała przesyłane są z hełmu wyposażonego w żyroskop na matrycę umieszczaną na języku (podobnie, jak to miało miejsce w systemie BrainPort). Co ciekawe, pacjentom z tym zaburzeniem wystarczy jedna krótka sesja z tym urządzeniem, by móc samodzielnie utrzymywać równowagę do końca dnia.
Istnieje ogromne pole możliwości pozaklinicznego wykorzystania urządzeń służących do substytucji zmysłów. Wyobraźmy sobie żołnierza, którego hełm wyposażony jest w kamerę wychwytującą promieniowanie podczerwone a jej obraz tłumaczony jest na zbiór dźwięków w taki sposób, jak miało to miejsce w systemie vOICe. Dzięki takiemu wzbogaceniu naturalnego aparatu poznawczego, żołnierz na polu bitwy posiadałby dodatkowy atut – informację o tym, czy za ścianą znajduje się przeciwnik, czy też czy w danym miejscu można bezpiecznie się poruszać.
Czy to rzeczywiście widzenie?
Przypadki Erika Weihenmayera i Pat Fletcher pozwalają sądzić, że reprezentacje wizualne obiektów świata zewnętrznego, które do tej pory rezerwowaliśmy dla modalności wzroku, mogą być tworzone niezależnie od niej, za pomocą właściwie dowolnego sygnału o wystarczającej zawartości informacji. Mimo ogromnych sukcesów współczesnych metod substytucji zmysłów, mówienie o „widzeniu” słuchem czy też dotykiem wciąż jednak budzi wątpliwości. Ludzkie oko jest sensorem o wysokiej rozdzielczości, a opisywane tu urządzenia dokonują ogromnego uproszczenia już na etapie przetwarzania sygnałów. Z tego powodu niektórzy teoretycy twierdzą, że doświadczeniem osób korzystających z tych urządzeń nie jest widzenie, tylko „coś jak widzenie” (quasi-widzenie). Załóżmy jednak, że istnieje możliwość dostarczania dotykowych i dźwiękowych danych na temat otoczenia, bez utraty bogactwa informacji, jakie się w nim kryje. Czy w takiej sytuacji „widzenie” słuchem i dotykiem stanie się w końcu widzeniem „normalnym”?
Według wciąż powiększającej się grupy badaczy uprawiającej nauki kognitywne w paradygmacie umysłu ucieleśnionego (embodied mind), percepcja jest wynikiem aktywnego oddziaływania z otaczającą rzeczywistością i nie jest ostatecznie zdeterminowana przez fizjologiczną strukturę poszczególnych części układu nerwowego. W świetle takiego podejścia, kwestia rozdzielczości, na której operują urządzenia substytucji zmysłów, jest źle postawionym problemem. Bardziej istotny jest sposób interakcji systemu poznawczego z otoczeniem podczas procesu postrzegania. Im bardziej proces ten będzie zbliżony do naturalnego spostrzegania (możliwość ruchów głową i ciałem, zachowywanie ciągłości obrazu), tym efekt będzie bliższy widzeniu. Wydaje się, że urządzenia substytucji zmysłów, przynajmniej częściowo, spełniają te warunki.
Oczywiście, wciąż otwartym pozostaje pytanie o jakościowy charakter takich „substytuowanych perceptów” i czy faktycznie można mówić tu o substytucji czy raczej adaptacji zupełnie nowego rodzaju. W tym przypadku polegać musimy na sprawozdaniach pacjentów, którzy deklarują, że za pomocą urządzeń, będących swego rodzaju protezą wzroku, faktycznie mają wrażenie „widzenia” obiektów otaczającego ich świata, pomimo że jest to detekcja pozbawiona pewnych aspektów jakościowych, jak na przykład widzenie barwne.