5. Metody określania znaczeń gestów


Celem projektu jest opracowanie metod służących do określania znaczeń gestów w komunikacji pomiędzy człowiekiem, a komputerem – ze szczególnym uwzględnieniem interakcji dwustronnej.

Podstawą opracowania metod określania znaczeń gestów jest koncepcja pola semantycznego gestu, które jest rozumiane jako zbiór znaczeń przypisywanych danemu gestowi.


Z faktu przypisywania jednemu gestowi wielu znaczeń można wyciągnąć wniosek o ich hierarchizacji w obrębie pola semantycznego. Im większe jest prawdopodobieństwo wystąpienia danego znaczenia przypisywanego określonemu gestowi, tym wyżej w hierarchii wszystkich przypisywanych temu gestowi znaczeń, znajduje się to znacznie. Najwyżej stojące w hierarchii znacznie może być uznane za najbardziej naturalne znaczenie przypisane temu gestowi.

Pola semantyczne gestu są wyznaczane dla czterech zbiorów gestów:

a. Zbiór gestów ruchomych w przestrzeni rzeczywistej. Zawiera opis gestu i orientacyjny schemat gestu. Badani obserwują każdy gest pod różnymi kątami i podają jego znaczenia. Ten zbiór stanowi rodzaj punktu odniesienia dla pozostałych zbiorów.
b. Zbiór gestów nieruchomych. Zawiera fotografie gestu z różnych punktów widzenia. Badani obserwują każdą fotografię gestu i podają jego znaczenia.
c. Zbiór gestów ruchomych. Zawiera video z zarejestrowanym gestem z różnych punktów widzenia. Badani obserwują każdy gest na video i podają jego znaczenia.
d. Zbiór gestów ruchomych w przestrzeni wirtualnej. Zawiera zapis gestu wykonany za pomocą rękawicy CyberForce i kombinezonu ShapeWrap III w formacie 3D. Badani obserwują każdy gest w przestrzeni wirtualnej 3D i podają jego znaczenia.

Wymienione cztery zbiory są poddane badaniom semantycznym, które polegają na określeniu znaczeń obserwowanych gestów. Dane zebrane we wszystkich zbiorach są poddane obróbce statystycznej mającej na celu określenie stopnia prawdopodobieństwa występowania znaczenia tego samego gestu w każdym zbiorze. A następnie porównanie miejsca w hierarchii prawdopodobieństw znaczeń danego gestu pomiędzy zbiorami.
W wyniku otrzymamy katalogi gestów, w których każdemu gestowi określono pola semantyczne dla czterech badanych sytuacji.

Porównanie pól semantycznych do pola semantycznego zbioru gestów ruchomych w przestrzeni rzeczywistej pozwoli na określenie stopnia różnicy pomiędzy nimi. Katalogi gestów są podstawą budowy interfejsu sterowanego gestami

Advertisements