8. Stan wiedzy

[/
Początek badań nad komunikacją niewerbalną sytuuje się w drugiej połowie XX wieku, kiedy to Ruesch i Kees (18) analizując wartość semantyczną komunikatu stwierdzili, że „zrozumienie komunikatu to nie tylko rozkodowanie dosłowne informacji, ale również uchwycenie jego wartości pobocznych”. W swojej propozycji przedstawiają oni akt komunikacji traktowany jako informacje wielokanałowe. Oznacza to, że funkcje informacyjne pełnią również takie elementy jak postawa ciała, spojrzenie czy dystans przestrzenny.

Badania obejmujące akty komunikacji dotyczą trzech typów komunikacji niewerbalnej – parajęzyk, kinezyka i proksemika. Klasyfikacja gestów została przyjęta z propozycji Davida McNeilla z Uniwersytetu w Chicago (19) i obejmowała pięć podstawowych typów gestów: (a) gesty deiktyczne; (b) uderzenia (beats); (c) gesty kohezywne (spajacze tekstu); (d) gesty ikoniczne; (e) gesty metaforyczne.

Większość omówień i refleksji dotyczących komunikacji rozumianej jako akt międzyludzkiej komunikacji akcentuje przede wszystkim werbalny jej charakter. Mogło to być konsekwencją zbyt sztywnego przyjęcia teorii aktów mowy J. L. Austina (20). Elementy niewerbalne aktów mowy były traktowane jako mało istotne w kontekście językowej przestrzeni mowy. Rozwój urządzeń reagujących na ruch w obrębie rejestrowanego obrazu, zwrócił uwagę na gesty jako istotne elementy w komunikacji wizualnej. Przeniesienie ciężaru komunikacyjnego na elementy niewerbalne niosło za sobą określone skutki. Jednym z nich jest próba opisywania i klasyfikacji gestów tak jakby były elementami struktury językowej. Najnowsze interdyscyplinarne badania (11) prowadzone między innymi przez zespół Katedry Psychologii Eksperymentalnej KUL pod kierunkiem prof. Piotra Francuza, pokazują jak ważną rolę w komunikacji odgrywają kody wizualne. Podjęte próby poszukiwania uniwersalnego kodu wizualnego, który stanowiłby podstawę rozpoznawania spostrzeganego obiektu jako określonej figury przyniosły bardzo dobre rezultaty. Potwierdzają one, że kluczową rolę w komunikacji pełni kategoria percepcyjna, która pozwala przekazywać treść obrazów za pomocą kształtu widzianych lub wyobrażonych rzeczy. Badacze twierdzą, że kształt i jego specyficzne właściwości organizują procesy identyfikacji, interpretacji i transformacji danych sensorycznych i czynią to bez konieczności odwoływania się do struktur językowych.

Próba utworzenia klasyfikacji gestów została opisana w „Visual and Linguistic Information in Gesture Classification „(2). Przegląd stosowanych w psychologii i językoznawstwie klasyfikacji gestów pozwala na przyjęcie koncepcji podziału zbioru gestów na cztery klasy:
(a) deictic – osadzony w fizycznej przestrzeni, odnosi się do jednostek i lokalizacji lub do przestrzeni, która wcześniej jest zaznaczona jako relacja idei, koncepcji;
(b) iconic – gesty przedstawiające wybrane cechy akcji lub opisywanego zdarzenia np. „jeździliśmy po całym mieście” – pokazywanie ruchem ręki trasy;
(c) metaphoric – Gesty są również reprezentacją, ale to co pokazują nie wiąże się z fizycznymi formami, forma gestów wywodzi się z powszechnych metafor np. „to się ciągle powtarza” – koliste ruchy dłoni;
(d) beat – Te gesty są związane z ruchami np. batuty. Nie zmieniają się pod wpływem towarzyszącej treści mówionej . Pełnią pragmatyczną rolę, pojawiając się jako komentarz, wsparcie…. Mówiący podkreślają ważne punkty swojej wypowiedzi ruchem ręki w dół wykorzystując beat-rytmiczne gesty.

Za McNeill’em (19) autorzy sugerują, by nie były one traktowane jako oddzielne kategorie, ale jako możliwość kombinacji różnych cech. Badania dowiodły, że nie ma stałego zbioru ruchów – trajektorii ruchu, który by definiował każdą klasę gestów. Gesty są określane bardziej w kategoriach roli jaką pełnią podczas rozmowy, niż w kategoriach specyficznego ruchu ręki. Przedstawione są relacje z dwóch eksperymentów, które miały dać odpowiedzi na następujące pytania: (1) W jakim zakresie nasza percepcja rodzajów gestów zależy od wizualnej analizy, a w jakim zakresie od cech językowych? (2) Czy można zbudować system klasyfikacji gestów używając tylko językowych danych? Jakie językowe cechy niosą najwięcej informacji przydatnych do tego celu?

Odmienne podejście prezentuje „Towards Natural Gesture Synthesis …”(4). Podstawą eksperymentów jest chęć zapewnienia postaciom wirtualnym gestów bardziej naturalnych. Analizie zostały poddane materiały video przedstawiające spikerów telewizyjnych wykonywujących określone gesty. Materiał został tak przygotowany, aby można go poddać automatycznej analizie przy pomocy urządzenia dekodującego. Dekoder rozbija ścieżkę czasową gestów i mowy na elementy związane z wokalizacją mowy (preperation, stroke, hold czyli g-faza). Poprzez dodanie adnotacji zebranych z innych źródeł informacji o gestach tworzy się profil gestu. Następnie z całego zestawu treści eliminuje się słowa i dźwięki nieistotne. Tak przygotowany materiał stanowi podstawę do tworzenia skryptu dla animacji. Cechą charakterystyczną tego podejścia jest ścisłe połączenie gestu jako ruchu z dynamiką mowy i wewnętrzną strukturą leksykalną.

Badania nad metodą opracowywania danych dotyczących gestykulacji (1) prowadzone są w taki sposób, aby mogły one zostać zastosowane do multimedialnych aplikacji w formie interakcji z wirtualnym środowiskiem. Rozpoznawania ciągłych gestów jest część większego badania łączącego analizę i zastosowanie naturalnych gestów jako dane dla systemów komputerowych. Nadrzędnym celem jest badanie bardziej naturalnej interakcji, gdzie naturalny oznacza, że system komputerowy adaptuje się do możliwości i ograniczeń człowieka, a nie na odwrót. W tym przypadku mamy raczej do czynienia z akwizycją ruchu przy pomocy czujników ruchu umieszczonych w kombinezonie. Chodziło o odpowiedź na pytania o rodzaj gestów wykonywanych podczas przekazywania jakiegoś opisu oraz problem scharakteryzowania gestów tak, aby komputer mógł je zrozumieć.

Reasumując prace prowadzone na temat semantycznych właściwości gestu w większości wypadków łączą ekspresję ruchową gestów z artykulacją mowy jako faktami nierozłącznymi. To utrudnia zrozumienie roli znaczenia w całym procesie przekazywania gestu. Utrudnione jest również zrozumienie korelacji pomiędzy znaczeniem gestu rozumianego jako znak przekazywanej myśli z opisem ruchu w przestrzeni.

1. A. Wexelblat. An Approach to Natural Gesture in Virtual Environments. MIT Media Laboratory Sept. 1995
2. Jacob Eisenstein, Randall Davis. Visual and Linguistic Information in Gesture Classification. Computer Science and Artificial Intelligence Laboratory, MIT Cambridge USA
3. J. Rittschera, A. Blakeb, S.J. Robertsc. Towards the automatic analysis of complex human body motions. Image and Vision Computing 20 (2002) 905–916
4. M. Kipp, M. Neff, K.H. Kipp, and I.Albrecht. Towards Natural Gesture Synthesis: Evaluating gesture units in a data-driven approach to gesture synthesis. Saarland University, Experimental Neuropsychology Unit, Germany.
5. E. Jarmołowicz. Niewerbalne elementy aktów mowy. Institute of Linguistics, Adam Mickiewicz University Poznań, Investigationes Linguisticae, vol. XII, Poznan, December 2005
6. M. Ampel-Rudolf. Konwecjonalne gesty I mimika we współczesnej literaturze. Bulletin de la Société Polonaise de Linguistique, fasc. lv, 1999
7. Kessler, Hodges, Walker. Evaluation of the CyberGlove™ as a Whole Hand Input Device.
8. J. Eisenstein; R. Davis. Natural Gesture in Descriptive Monologues. MIT Cambridge 2003
9. P. Eslambolchilar, R. Murray-Smith. Model-Based, Multimodal Interaction In Document Browsing.
10. J.K. Aggarwal. Problems, ongoing research and future directions in motion research. Machine Vision and Applications (2003) 14: 199–201
11. P. Francuz. Obrazy w umyśle. Wydawnictwo Naukowe Scholar Warszawa 2007
12. Umberto Eco. Nieobecna struktura. Wydawnictwo KR Warszawa 1996
13. J. Shaughnessy, E. Zechmeister, J. Zechmeister. Metody badawcze w psychologii. Gdańskie Wydawnictwo Psychologiczne Gdańsk 2002
14. Z. Polański. Współczesne metody badań doświadczalnych. Wiedza Powszechna Warszawa 1978
15. E. T. Hall. Ukryty wymiar. PIW Warszawa 1976
16. B. L. Whorf. Język, myśl i rzeczywistość. PIW Warszawa 1982
17. L. Wittgestein. Tractatus logico-philosophicus. PWN Warszawa 2004
18. J. Ruesch, W. Kess. Nonverbal Communication. Notes on the Perception of Human Relations. Berkley 1956
19. D. McNeill. Hand and Mind. The University of Chicago Press 1992.
20. J. L. Austin. Mówienie I poznawanie. PWN Warszawa 1993

Advertisements