Handwriting Rehabilitation Using a Haptic Joystick

Abstract

A escrita desempenha um papel importante na comunicação, quer num cenário de escrita digital quer num cenário de escrita manual. Assim, uma diminuição ou mesmo perda destas competências pode constituir um grande contratempo. O sistema aqui descrito visa promover a reabilitação da escrita através da análise de caracteres escritos, usando um joystick háptico. O sistema desenvolvido é capaz de efetuar a classificação de números ou de letras e de realizar quantificação da qualidade dos caracteres escritos. Nesta dissertação, são estudados e avaliados diferentes métodos para a obtenção da melhor precisão de classificação. Relativamente à classificação de caracteres, o procedimento proeminente para números consiste na utilização de Histograma de Gradientes Orientados acoplado a uma Máquina de Vetores de Suporte multiclasse (HOG-SVM – Histogram of Oriented Gradients-multiclass Support Vector Machine), enquanto no caso de letras recorre-se a uma Rede Neuronal Convolucional (CNN – Convolutional Neural Network). Para a quantificação da qualidade da escrita, foi realizada a Sincronização Temporal Dinâmica (DTW – Dynamic Time Warping) entre o caractere escrito e dez imagens de referência do mesmo caractere. Em suma, a utilização destes métodos permite realizar uma análise de caracteres escritos e poderá assim contribuir para a reabilitação das capacidades de escrita através do treino e da avaliação das mesmas.Palavras-Chave: Reabilitação da escrita; Joystick háptico; Histogram of Oriented Gradients acoplado a multiclass Support Vector Machine; Convolutional Neural Network; Dynamic Time Warping.

Writing skills play a major part in communication, whether in a typing or in a handwriting scenario. Thus, a decrease or even loss of these skills can be a major setback. The system described herein aims to promote handwriting rehabilitation through the analysis of characters written using a haptic joystick.The developed system can perform digit or letter classification and quantification of written characters quality. In this project, different methods are studied and evaluated to achieve the best classification accuracy.Regarding handwritten characters classification, the pre-eminent procedure for digits consists in the use of Histogram of Oriented Gradients coupled with a multiclass Support Vector Machine (HOG-SVM) whereas for letters the strategy involves using a Convolutional Neural Network (CNN). For handwriting quality quantification, Dynamic Time Warping (DTW) was performed between the written character and ten reference images of the same character.In sum, the use of these methods enables handwriting analysis and could thus contribute to writing skills rehabilitation through training and evaluation.Keywords: Handwriting rehabilitation; Haptic joystick; Histogram of Oriented Gradients coupled with a multiclass Support Vector Machine; Convolutional Neural Network; Dynamic Time Warping.Nota: Na dissertação, a lista de palavras-chave, tanto em inglês como em português, é composta pelas siglas dos métodos usados, uma vez que estas são apresentadas no corpo do abstract/resumo.