1. Początek

Przedmiotem badań projektu OPRACOWANIE METOD SŁUŻĄCYCH DO OKREŚLANIA ZNACZEŃ GESTÓW W KOMUNIKACJI POMIĘDZY CZŁOWIEKIEM A KOMPUTEREM jest ustalenie jaka jest rola gestów w komunikacji pomiędzy człowiekiem a komputerem, ze szczególnym uwzględnieniem interakcji dwustronnej.

Projekt jest przedsięwzięciem wspólnym Zakładu Badań Wizualnych i Interakcji ASP Katowice z Laboratorium Eksploracji Przestrzeni 3D Zespołu Systemów Multimedialnych Instytutu Informatyki Teoretycznej i Stosowanej PAN w Gliwicach i obejmuje badania w zakresie:

1. Analiza sposobów interpretacji gestów w różnych dziedzinach:

a. Sztuczne języki maszynowe i systemy kodów informacyjnych – większość gestów w tych systemach pełni rolę elementu systemu połączonego jakąś regułą syntaktyczną z pozostałymi. Można tu analizować zbiór znaków oraz reguły syntaktyczne pomiędzy nimi. Większość tych języków i systemów jest ograniczona do konkretnej sytuacji i stanowi zbiór zamknięty.
b. Język i systemy zapisów do komunikacji z ludźmi upośledzonymi – język migowy i system zapisu CH. Blissa oraz system gestów wspomagających SIS – to zagadnienie jest istotne przede wszystkim dlatego, że uwzględnia bardzo specyficzne cechy komunikacji, często nie występujące powszechnie.
c. Kinetografia – system zapisu Labana – system zapisu ruchu w przestrzeni ciała człowieka jest wart uwagi ze względu na sposób transformacji ruchu trójwymiarowego na dwuwymiarowy zapis.
d. Analiza materiału filmowego pod kątem gestów – film niemy – gest w przekazie myśli za pomocą obrazu filmowego jest celowo przygotowany i składa się z wielu elementów. Wieloskładnikowość gestu filmowego jest odbiciem struktury przekazywanej treści. Liniowy i sekwencyjny charakter filmu pokazuje nowe aspektu gestu.
e. Semiologia -zwłaszcza w ujęciu U. Eco – teoretyczne opracowanie przestrzeni znaczeniowej gestu łączy ją z jednej strony ze strukturą języka, z drugiej natomiast z szeroko rozumianą kulturą.
Zebranie rezultatów wstępnej analizy tych zagadnień pozwoli na określenie charakteru gestu w stosunku do jego fizycznego użycia jak również jego funkcji znaczeniowych.

2. Opracowanie metody określania znaczeń gestów.
3. Projekt i wykonanie stanowiska doświadczalnego pozwalającego na rejestrację gestów.
4. Wykonanie zbioru gestów:

a. Zbiór gestów ruchomych w przestrzeni rzeczywistej – opis gestu, orientacyjny schemat gestu.
b. Zbiór gestów nieruchomych – fotografie gestu z różnych punktów widzenia.
c. Zbiór gestów ruchomych – zapis video gestu z różnych punktów widzenia.
d. Zbiór gestów ruchomych w przestrzeni wirtualnej – rejestracja gestów za pomocą rękawicy CyberForce i kombinezonu ShapeWrap III.

5. Gest zawarte w zbiorach są poddane testom semantycznym, które mają trzy cele:

a. Określenie pola semantycznego każdego gestu.
b. Ustalenie hierarchii ważności znaczenia w obrębie każdego pola semantycznego.
c. Porównanie pól semantycznych gestów w poszczególnych katalogach pozwoli na określenie listy pojęć – słów każdego gestu oraz na stwierdzenie stopnia prawdopodobieństwa występowania danego znaczenia gestu.

6. Projekt i wykonanie katalogów gestów:

a. Katalog gestów ruchomych w przestrzeni rzeczywistej – karta opisu gestu, orientacyjny schemat gestu, lista znaczeń, określenie pola semantycznego gestu, ustalenie hierarchii ważności znaczenia w obrębie każdego pola semantycznego, mapa pola semantycznego.
b. Katalog gestów nieruchomych – fotografie gestu z różnych punktów widzenia – karta opisu gestu, fotografia gestu, lista znaczeń, określenie pola semantycznego gestu, ustalenie hierarchii ważności znaczenia w obrębie każdego pola semantycznego, mapa pola semantycznego.
c. Katalog gestów ruchomych – zapis video gestu z różnych punktów widzenia – karta opisu gestu, opis pliku video, lista znaczeń, określenie pola semantycznego gestu, ustalenie hierarchii ważności znaczenia w obrębie każdego pola semantycznego, mapa pola semantycznego.
d. Katalog gestów ruchomych w przestrzeni wirtualnej – karta opisu gestu, opis pliku 3D, lista znaczeń, lista znaczeń, określenie pola semantycznego gestu, ustalenie hierarchii ważności znaczenia w obrębie każdego pola semantycznego, mapa pola semantycznego.

7. Projekt interfejsu opartego na interpretacji przez komputer ludzkich gestów.

Advertisements