13. Znaczenie. Między ruchem a gestem.

Od problemu abstrakcji i procesów kształtowania się formy poznawczej w procesie poznania w filozofii św. Tomasza z Akwinu poprzez badania, które odkryły, że struktura i jej hierarchia są głównymi elementami, które łączą model intelektualny myśli z wewnętrzną strukturą obrazu, który jest jego przedstawieniem – doszedłem w swoich badaniach do problemu znaku i jego znaczenia.
Poszukiwania koncentrowały się na wokół odpowiedzi na pytanie: Czy istnieje znak bez sensu?.

Wiesław Gdowicz. Wykład wygłoszony na konferencji „Obrazy i obrazowanie w dobie mediów elektronicznych” Katowice Rondo Sztuki 20-21 Listopad 2008

Od problemu abstrakcji i procesów kształtowania się formy poznawczej w procesie poznania w filozofii św. Tomasza z Akwinu poprzez badania, które odkryły, że struktura i jej hierarchia są głównymi elementami, które łączą model intelektualny myśli z wewnętrzną strukturą obrazu, który jest jego przedstawieniem – doszedłem w swoich badaniach do problemu znaku i jego znaczenia.
Poszukiwania koncentrowały się na wokół odpowiedzi na pytanie: Czy istnieje znak bez sensu? .
Analiza hermeneutyczna jaką przeprowadziłem na wybranych tekstach pozwoliła na stwierdzenie, że znak bez sensu jest niemożliwy. Poszukiwania odkryły proces, który nazwałem procesem stawania się sensu. Tak przygotowany postanowiłem powrócić jeszcze raz do początku mojej drogi i rozważyć problem obrazowania myśli poprzez analizę relacji słowo-obraz.
W „Obraz. Na progu słowa” pokazałem, że proces stawania się sensu ma swój początek na styku słowa i obrazu.

Ponownie wracam do odkrytego przez Heideggera faktu, że „ze skrytości i nie jawności rzeczy trzeba niejako gwałtem wydobywać prawdę” /H. G. Gadamer Cóż to jest prawda?/, bo greckie pojęcie prawdy „alatheia” to „nieskrytość” po to by zastanowić się w jaki sposób ludzkie gesty przekazują znaczenie. W wystąpieniu chciałbym zrelacjonować badania, które mają na celu – zastosowanie mojej koncepcji znaku jako czegoś POPRZEZ co poznaje się rzecz – do szukania odpowiedzi na pytanie o znacznie gestu.

„Gestykulacja rąk, której pozbawione przemówienie zawsze jest kalekie i nieudolne, trudno nawet powiedzieć, jak jest różnorodna – dorównywa ona przecież nieomal bogactwu słów. Jeżeli bowiem ruchy pozostałych części ciała wspomagają jak gdyby nasze słowa, to ruchy rąk – można rzec – mówią same przez się. Czyż przy ich pomocy nie żądamy, nie obiecujemy, nie wzywamy, rezygnujemy, grozimy, błagamy, nie odrzucamy od siebie, nie lękamy się, pytamy, zaprzeczamy, nie wyrażamy naszej radości, smutku, powątpiewania, przekonania, żalu, nie określamy sposobu, możności, ilości, czasu? Czyż one nie podniecają, nie wstrzymują, nie pochwalają, nie korzą się?”(Kwintylian, 1, 3, 85)

Początkowe próby zajmowania się gestami rodzą przedziwne wrażenie. Wiem jak gest wygląda, kiedy występuje, jak mniej więcej przebiega. Kiedy jednak dochodzi do konkretnej obserwacji gestu bardzo trudno „przebić się” przez treść postrzeganej sceny. Wychodzi więc na to, że początkowa nabyta wiedza na temat gestu, w bezpośredniej obserwacji, nie przydaje do niczego się . To zjawisko jest dziwne w kontekście faktu powszechnego – przecież – porozumiewania się gestami. Można powiedzieć, że gdy porozumiewamy się – jesteśmy niejako zanurzeni w treści sceny porozumiewania się. Gdy natomiast podchodzimy do tej samej sceny jak obserwatorzy treść sceny natychmiast staje pomiędzy nami, a gestami.

Ta prosta konstatacja dotycząca postrzegania gestów pozwala już na samym początku podzielić postrzeganą scenę na uczestników sceny gestów, na obserwatorów oraz na badaczy. Uczestnik to ten, który wykonuje gest mający nieść jakąś treść. Obserwator to albo odbiorca treści gestu, albo postronny widz. Badacz natomiast to obserwator posiadający jakiś sposób, by móc przebić się przez treść sceny i dotrzeć do gestu.

Wieźmy prosty przykład – scena z filmu „Carmen” Charliego Chaplina. Dwóch mężczyzn walczy o kobietę. Mężczyźni stoją naprzeciw siebie – widzimy ich po prawej i lewej stronie ekranu. Gdy rozpoczyna się walka chodzą po okręgu zmieniając strony. Walka jest bardzo dynamiczna. Tyle widzi obserwator – uczestnik sceny oglądający film Chaplina. Badacz, który przechwytuje klatki i analizuje sceny gestów stwierdza, ze walka dokładnie kopiuje walkę i sposób poruszania się kogutów. Zabieg przechwytywania i analiza stanowi w tym przypadku skuteczny środek pozwalający na „przebicie się” przez treść sceny i dotarcie do gestu. Przechwytywanie klatek to nic innego jak zatrzymywanie czasu. To jest sposób na „wejście” przez „ścianę ” treści do wnętrza sceny, do znaczenia gestu .

Gesty są istotnym elementem komunikacji między istotami żywymi, a w szczególności pomiędzy ludźmi.
Stanowiąc element komunikacji interpersonalnej łączą przestrzeń aktywności ruchowej człowieka z przestrzenią sensu.

Nie każdy ruch jest gestem.
To znaczy, że w nieogarnionym świecie ruchów jakie wykonuje człowiek istnieje określony zbiór ruchów, które możemy nazywać gestami.

Jaki jest ten zbiór?
Jakie musi spełnić warunki ruch, aby mógł należeć do tego zbioru?
Jakie są kryteria przynależności?
Czy są one stałe czy zmienne?
Czy bycie w zbiorze gestów jest bezwarunkowe tj. jeżeli ruch staje się gestem to jest nim już zawsze?
Gesty można rozpatrywać z co najmniej dwóch punktów widzenia.

Punkt pierwszy – Techniczne i informatyczne metody rejestracji ruchu w przestrzeni.
Punkt drugi – Metody odczytywania i interpretacji gestów.

Myślenie o komunikacji pomiędzy człowiekiem, a komputerem powinno uwzględniać fakt rozumienia technicznych aspektów urządzenia oraz natury interpersonalnej komunikacji człowieka.

Gest będąc ruchem, który ma znaczenie – jest pośrednikiem czyli znakiem pomiędzy komunikującymi się.
Gest nie tylko pośredniczy, ale również poprzez niego wyraża się określona myśl.
Należy więc gest rozpatrywać jako element pośredniczący oraz jako element wyrażający.
Te dwie strony gestu – pośredniczenie i wyrażanie – stanowią nierozłączną cechę gestu.
Można więc zapytać – widząc dany gest – jak pośredniczy i jak wyraża.

Aspekt pośredniczenia gestu ma charakter materialny związany z percepcją przedmiotu poruszającego się w przestrzeni.
Aspekt wyrażania gestu ma charakter umysłowy związany z procesem znakowania myśli.

Analiza gestów jako elementu komunikacji rozpoczyna się od zebrania informacji o roli gestów w już istniejących systemach komunikacji. W ten sposób wiadomo jak do tej pory i gdzie, jest używany, odczytywany i interpretowany gest.

Pole analizy wstępnej wyznaczają takie zagadnienia jak:
(1) Sztuczne języki maszynowe i systemy kodów informacyjnych – większość gestów w tych systemach pełni rolę elementu systemu połączonego jakąś regułą syntaktyczną z pozostałymi. Można tu analizować zbiór znaków oraz reguły syntaktyczne pomiędzy nimi. Większość tych języków i systemów jest ograniczona do konkretnej sytuacji i stanowi zbiór zamknięty.
(2) Język i systemy zapisów do komunikacji z ludźmi upośledzonymi – język migowy i system zapisu Charlesa Blissa oraz system gestów wspomagających SIS – to zagadnienie jest istotne przede wszystkim dlatego, że uwzględnia bardzo specyficzne cechy komunikacji, często nie występujące powszechnie.
(3) Kinetografia – system zapisu Labana – system zapisu ruchu w przestrzeni ciała człowieka jest wart uwagi ze względu na sposób transformacji ruchu w trójwymiarowej na dwuwymiarowy zapis.
(4) Analiza materiału filmowego pod kątem gestów – film niemy – gest w przekazie myśli za pomocą obrazu filmowego jest celowo przygotowany i składa się z wielu elementów. Wieloskładnikowość gestu filmowego jest odbiciem struktury przekazywanej treści. Liniowy i sekwencyjny charakter filmu pokazuje nowe aspektu gestu.
(5) Semiologia – zwłaszcza w ujęciu Umberto Eco – teoretyczne opracowanie przestrzeni znaczeniowej gestu łączy ją z jednej strony ze strukturą języka, z drugiej natomiast z szeroko rozumianą kulturą.
Zebranie rezultatów wstępnej analizy tych zagadnień pozwala na określenie charakteru gestu w stosunku do jego fizycznego użycia jak również jego funkcji znaczeniowych.

Podstawą opracowania metod określania znaczeń gestów jest koncepcja pola semantycznego gestu, które jest rozumiane jako zbiór znaczeń przypisywanych danemu gestowi. Z faktu przypisywania jednemu gestowi wielu znaczeń można wyciągnąć wniosek o ich hierarchizacji w obrębie pola semantycznego. Im większe jest prawdopodobieństwo wystąpienia danego znaczenia przypisywanego określonemu gestowi, tym wyżej w hierarchii wszystkich przypisywanych temu gestowi znaczeń, znajduje się to znacznie. Najwyżej stojące w hierarchii znacznie może być uznane za najbardziej naturalne znaczenie przypisane temu gestowi.

Pola semantyczne gestu są wyznaczane dla czterech zbiorów gestów:
a. Zbiór gestów ruchomych w przestrzeni rzeczywistej. Zawiera opis gestu i orientacyjny schemat gestu. Badani obserwują każdy gest pod różnymi kątami i podają jego znaczenia. Ten zbiór stanowi rodzaj punktu odniesienia dla pozostałych zbiorów.
b. Zbiór gestów nieruchomych. Zawiera fotografie gestu z różnych punktów widzenia. Badani obserwują każdą fotografię gestu i podają jego znaczenia.
c. Zbiór gestów ruchomych. Zawiera video z zarejestrowanym gestem z różnych punktów widzenia. Badani obserwują każdy gest na video i podają jego znaczenia.
d. Zbiór gestów ruchomych w przestrzeni wirtualnej. Zawiera zapis gestu wykonany za pomocą rękawicy CyberForce i kombinezonu ShapeWrap III w formacie 3D. Badani obserwują każdy gest w przestrzeni wirtualnej 3D i podają jego znaczenia.

Wymienione cztery zbiory są poddane badaniom semantycznym, które polegają na określeniu znaczeń obserwowanych gestów. Dane zebrane we wszystkich zbiorach są poddane obróbce statystycznej mającej na celu określenie stopnia prawdopodobieństwa występowania znaczenia tego samego gestu w każdym zbiorze. A następnie porównanie miejsca w hierarchii prawdopodobieństw znaczeń danego gestu pomiędzy zbiorami.
W wyniku otrzymamy katalogi gestów, w których każdemu gestowi określono pola semantyczne dla czterech badanych sytuacji.

Porównanie pól semantycznych zbiorów b, c i d do pola semantycznego zbioru gestów ruchomych w przestrzeni rzeczywistej pozwoli na określenie stopnia różnicy pomiędzy nimi. Katalogi gestów są podstawą budowy interfejsu sterowanego gestami.

Problem przed którego rozwiązaniem stoimy jest następujący:
Stosowane do tej pory podejście do problemu komunikacji z komputerem akcentowało bardziej analizę możliwości zastosowanego sprzętu oraz oprogramowania i w niewielkim tylko stopniu uwzględniało naturę komunikacji interpersonalnej. Skutkiem czego projektowane do tej pory interfejsy są przygotowywane do możliwości komputera z założeniem, że użytkownik albo przystosuje się albo – w najgorszym przypadku – nauczy się posługiwania interfejsem.

Większość omówień i refleksji dotyczących komunikacji rozumianej jako akt międzyludzkiej komunikacji akcentuje przede wszystkim werbalny jej charakter. Elementy niewerbalne aktów mowy były traktowane jako mało istotne w kontekście językowej przestrzeni mowy. Rozwój urządzeń reagujących na ruch w obrębie rejestrowanego obrazu, zwrócił uwagę na gesty jako istotne elementy w komunikacji wizualnej. Przeniesienie ciężaru komunikacyjnego na elementy niewerbalne niosło za sobą określone skutki. Jednym z nich jest próba opisywania i klasyfikacji gestów tak jakby były elementami struktury językowej. I w tym kierunku poszło większość badaczy tego problemu.

Relacje z eksperymentów miały dać odpowiedzi na następujące pytania:
(1) W jakim zakresie nasza percepcja rodzajów gestów zależy od wizualnej analizy, a w jakim zakresie od cech językowych?
(2) Czy można zbudować system klasyfikacji gestów używając tylko językowych danych?
Jakie językowe cechy niosą najwięcej informacji przydatnych do tego celu?

Reasumując prace prowadzone na temat semantycznych właściwości gestu w większości wypadków łączą ekspresję ruchową gestów z artykulacją mowy jako faktami nierozłącznymi. To utrudnia zrozumienie roli znaczenia w całym procesie przekazywania gestu. Utrudnione jest również zrozumienie korelacji pomiędzy znaczeniem gestu rozumianego jako znak przekazywanej myśli z opisem ruchu w przestrzeni.

Najnowsze interdyscyplinarne badania prowadzone między innymi przez zespół Katedry Psychologii Eksperymentalnej KUL pod kierunkiem prof. Piotra Francuza, pokazują jak ważną rolę w komunikacji odgrywają kody wizualne. Podjęte próby poszukiwania uniwersalnego kodu wizualnego, który stanowiłby podstawę rozpoznawania spostrzeganego obiektu jako określonej figury przyniosły bardzo dobre rezultaty. Potwierdzają one, że kluczową rolę w komunikacji pełni kategoria percepcyjna, która pozwala przekazywać treść obrazów za pomocą kształtu widzianych lub wyobrażonych rzeczy. Badacze twierdzą, że kształt i jego specyficzne właściwości organizują procesy identyfikacji, interpretacji i transformacji danych sensorycznych i czynią to bez konieczności odwoływania się do struktur językowych.

Określenie znaczenia gestu jest stosunkowo proste. Gesty towarzyszą mowie, służą do wzmacniania lub osłabiania efektów działań komunikacyjnych pomiędzy ludźmi, do określania przestrzeni interpersonalnych. Każdy właściwie wie jakie jest znaczenie danego gestu. Mówimy tutaj o gestach potocznie używanych.

Czy gest jest znakiem? Jeżeli odpowiedź na to pytanie będzie pozytywna – to skutkiem tego będzie zastosowanie wszystkich określeń dotyczących znaku – do opisu gestu. Jeżeli odpowiedź będzie negatywna to koniecznym będzie określenie – co to znaczy, że gest nie jest znakiem.

Dlaczego ludzie wykonują gesty? To najważniejsze pytanie na które trzeba odpowiedzieć. Chciałem zaproponować dwie hipotezy na ten temat.

Pierwsza , którą nazwałem hipotezą naddatku mówi o tym, że treść przekazywanej informacji nie mieści się w słowie i jej naddatek jest umieszczany w geście. Przyjęcie takiej teorii oznaczałoby uznanie, że gest jest nierozerwalnie związany z przekazywanym słowem i nie bardzo wiadomo jak wyglądałaby sytuacja, gdyby ktoś pokazywał treść wyłącznie przez gest (bez udziału słów).

Drugą nazwałem hipotezą rozdzielenia kanałów. Mówi ona o tym, że treść poznawcza, która ma być przekazana przy pomocy słowa, z jakiegoś powodu zostaje rozdzielona na słowo i na gest.
Znak jest czymś poprzez co poznajemy przedmiot, to znaczy bycie znakiem jest swego rodzaju bramą i jednocześnie narzędziem do jej przekroczenia i poznania przedmiotu. Treść poznawcza zostaje rozdzielona na dwa kanały: słowa i gestu. Oznaczałoby to, że z jakiegoś powodu treść poznawcza potrzebuje dwóch (może więcej) kanałów.

Od razu nasuwa się pytanie o treść poznawczą przekazywaną tylko przez gest.
Czy sytuacja, w której używamy tylko gestu jest wynikiem uniezależnienia się gestu w stosunku do słowa?
Jeśli tak, to jak ten proces przebiega.

Jeżeli jedyną możliwością przybliżenia się do gestu jest przebicie się przez treść obserwowanej sceny, poprzez zapis sekwencji gestu czyli zatrzymanie czasu w zapisie sekwencyjnym, to znaczyłoby to, że gest nie może istnieć bez czasu. Innymi słowy nie można opisać gestu bez uwzględnienia czasu. Gestu nie można rozpatrywać w stanie zamrożenia. Opisując gest musimy uwzględnić co najmniej dwa jakieś jego elementy.

Ten fakt powoduje zmianę koncepcji pola znaczeniowego gestu. W myśl definicji pole znaczeniowe gestu to zbiór znaczeń przypisywanych danemu gestowi. Tak sformułowana definicja to przypadek odnoszący się do zamrożonego gestu. Pole znaczeniowe gestu nie może być statyczne. To oznaczałoby, że obok zmian hierarchii znaczeń danego gestu dokonuje się proces budowania znaczeń. Tak rozumiane pole zmienia się dynamicznie w trakcie trwania gestu. Można więc powiedzieć, że dynamiczne pole znaczeniowe gestu to proces w trakcie którego dokonuje się budowanie znaczeń oraz zmiany ich hierarchii.

Bibliografia

1. A. Wexelblat. An Approach to Natural Gesture in Virtual Environments. MIT Media Laboratory Sept. 1995
2. Jacob Eisenstein, Randall Davis. Visual and Linguistic Information in Gesture Classification. Computer Science and Artificial Intelligence Laboratory, MIT Cambridge USA
3. J. Rittschera, A. Blakeb, S.J. Robertsc. Towards the automatic analysis of complex human body motions. Image and Vision Computing 20 (2002) 905–916
4. M. Kipp, M. Neff, K.H. Kipp, and I.Albrecht. Towards Natural Gesture Synthesis: Evaluating gesture units in a data-driven
approach to gesture synthesis. Saarland University, Experimental Neuropsychology Unit, Germany.
5. E. Jarmołowicz. Niewerbalne elementy aktów mowy. Institute of Linguistics, Adam Mickiewicz University Poznań, Investigationes Linguisticae, vol. XII, Poznan, December 2005
6. M. Ampel-Rudolf. Konwecjonalne gesty I mimika we współczesnej literaturze. Bulletin de la Société Polonaise de Linguistique, fasc. lv, 1999
7. Kessler, Hodges, Walker. Evaluation of the CyberGlove™ as a Whole Hand Input Device.
8. J. Eisenstein; R. Davis. Natural Gesture in Descriptive Monologues. MIT Cambridge 2003
9. P. Eslambolchilar, R. Murray-Smith. Model-Based, Multimodal Interaction In Document Browsing.
10. J.K. Aggarwal. Problems, ongoing research and future directions in motion research. Machine Vision and Applications (2003) 14: 199–201
11. P. Francuz. Obrazy w umyśle. Wydawnictwo Naukowe Scholar Warszawa 2007
12. Umberto Eco. Nieobecna struktura. Wydawnictwo KR Warszawa 1996
13. J. Shaughnessy, E. Zechmeister, J. Zechmeister. Metody badawcze w psychologii. Gdańskie Wydawnictwo Psychologiczne Gdańsk 2002
14. Z. Polański. Współczesne metody badań doświadczalnych. Wiedza Powszechna Warszawa 1978
15. E. T. Hall. Ukryty wymiar. PIW Warszawa 1976
16. B. L. Whorf. Język, myśl i rzeczywistość. PIW Warszawa 1982
17. L. Wittgestein. Tractatus logico-philosophicus. PWN Warszawa 2004
18. J. Ruesch, W. Kess. Nonverbal Communication. Notes on the Perception of Human Relations. Berkley 1956
19. D. McNeill. Hand and Mind. The University of Chicago Press 1992.
20. J. L. Austin. Mówienie I poznawanie. PWN Warszawa 1993