Pen and touch interactions on graphical operations

Pen and touch input on horizontal tablet devices imitate operations on paper performed with two hands, one of them holding a pen. In the physical world, a pen held on dominant hand might be used for writing and drawing on paper, while the non-preferred hand manipulates paper to support pen gestures. Modern tablets have evolved the way, so it is possible to use pen and touch simultaneously, allowing to create new tools using such combination. Graphical tablets support multiple finger inputs, but every of them is limited to its X and Y position, while the pen also allows to measure its tilt and orientation angles relatively to tablet, and its analog pressure. Past research showed that it is possible to use hand’s thumb on the side of screen to change the actions of the pen. With pen, users are able not only to draw around the screen, but also move and copy items around, zoom them in and out, set up some of their characteristics like size and value, between others. While drawing using a pen, fingers can make various transformations for richer experience on drawing tools. In this work, the openFrameworks toolkit was used and combined with other APIs that receive and process Wacom Cintiq 13HD tablet’s pen and touch data, to create a high-fidelity user interface prototype that supports graphical operations performed with pen and fingers, separated and simultaneously. Besides of single input tasks that allow to create and transform graphical operations, there were introduced new bimanual tasks that are designed to be more natural than those with keyboard and mouse. The evaluation results show that pen and touch interactions were faster for drawing a line but slower for selecting a color, when compared with mouse interactions.Interações com tecnologias de caneta e toque em superfícies horizontais imitam operações bimanuais em papel, com uma caneta numa das mãos. No mundo físico, uma caneta pode ser usada na mão dominante para escrever e desenhar em papel, enquanto a mão não preferida manipula o papel apoiando os gestos da caneta. As tablets modernas evoluíram de modo que é possível usar caneta e toque simultaneamente, permitindo criar novas ferramentas que usam esta combinação. As tablets gráficas suportam múltiplas entradas de dedo, mas cada uma destas está limitada às suas coordenadas X e Y, enquanto a caneta permite também medir os seus ângulos de inclinação e orientação em relação ao tablet e a sua pressão analógica. Investigação anterior demostrou que é possível usar o polegar no lado do ecrã para alterar as ações da caneta. Com a caneta, os utilizadores são capazes não só de desenhar em torno do ecrã, mas também mover e copiar itens, ampliá-los e reduzi-los, configurar algumas de suas características, como tamanho e valor, entre outros. Ao desenhar usando a caneta, os dedos podem fazer várias transformações para uma experiência mais rica em ferramentas de desenho. Neste trabalho, foi utilizado a plataforma openFrameworks, combinada com outras APIs que recebem e processam os dados de caneta e toque do tablet Wacom Cintiq 13HD, para criar um protótipo de alta fidelidade que suporta operações gráficas realizadas com caneta e dedos, separados e simultaneamente . Além de tarefas de modalidade única que permitem criar e transformar operações gráficas, foram introduzidas novas tarefas bimanuais que são desenhadas para serem mais naturais do que aquelas com teclado e rato. Os resultados da avaliação mostram que as interações de caneta e toque foram mais rápidas para desenhar uma linha, mas mais lentas para selecionar uma cor, quando comparadas com as interações do rato