Inteligentní uživatelské rozhraní založené na gestech pro ovládání asistenčního mobilního informačního robota

Tento článek představuje uživatelské rozhraní založené na gestech pro robotický nákupní vozík. Vozík je navržen jako mobilní robotická platforma, která pomáhá zákazníkům v obchodech a supermarketech. Mezi hlavní funkce patří: navigace v obchodě, poskytování informací o dostupnosti a umístění a přeprava zakoupeného zboží. Jednou z důležitých vlastností vyvinutého rozhraní je gestická modalita, přesněji řečeno ruský systém rozpoznávání prvků znakového jazyka. Pojem design rozhraní, stejně jako strategie interakce, jsou prezentovány ve vývojových diagramech, byl učiněn pokus demonstrovat gestickou modalitu jako přirozenou součást pomocného informačního robota. Kromě toho je v článku uveden krátký přehled mobilních robotů a je poskytnuta technika rozpoznávání gest založená na CNN. Možnost rozpoznávání ruského znakového jazyka má velký význam kvůli relativně velkému počtu rodilých mluvčích.This article presents a gesture-based user interface for a robotic shopping trolley. The trolley is designed as a mobile robotic platform helping customers in shops and supermarkets. Among the main functions are: navigating through the store, providing information on availability and location, and transporting the items bought. One of important features of the developed interface is the gestural modality, or, more precisely, Russian sign language elements recognition system. The notion of the interface design, as well as interaction strategy, are presented in flowcharts, it was made an attempt to demonstrate the gestural modality as a natural part of an assistive information robot. Besides, a short overview of mobile robots is given in the paper, and CNN-based technique of gesture recognition is provided. The Russian sign language recognition option is of high importance due to a relatively large number of native speakers (signers). © 2020, Springer Nature Switzerland AG