Time-Series Visualization: Highlighting Patterns and Deviations

Abstract

Information Visualization is usually perceived as an analytical tool with its roots in scientific reasoning. However, with the creation of programming languages directed to the design communities, along with the democratisation of data, Information Visualization expanded its conceptual boundaries to explorative and user-oriented areas. Nowadays, Information Visualization is used in different scientific and social domains, and works with different types of data, being time-based datasets common. The analysis of time-series implies understanding the evolution of data attributes over time. To achieve this, approaches from data mining and statistical areas, or even from visual design, are adopted to represent trends and patterns. The visual analysis of these temporal patterns and their disruptions is important in several fields of knowledge and are often an enticing and revealing output for the interested user.

Given the relevance of the representation of trends and patterns in time-varying data, we focus our research on the development of visual mechanisms to map and synthesise complex data and enable the user to gather more information with less effort. Our visual explorations are an integral part of the design practice and will be embraced as a necessary aid to improve the understanding and accessibility of information. This thesis aims to explore the use of time-series visualization tools to allow the user to explore the data and answer specific problems in business domains, more specifically, in the retail, banking, and online shopping domains. Overall, our investigation includes: the application of existing principles of time-series visualization in business; the development of visualization models capable of highlighting temporal patterns intrinsic to the datasets; and, the development of visual models able to adapt to the user's aesthetic preferences.

Different visualization tools were developed to enable the visualization of time-series data from the business domain. Firstly, we explored the representation of deviations to facilitate the analysis of the Portuguese consumption over time. This research project was developed in collaboration with SONAE, one of the most important Portuguese retail companies. With their data, we developed a set of visualization models to optimise their operations by improving the understanding of how the consumption values are distributed along time within their product hierarchy. Secondly, we explored the representation of fraudulent actions in finance. The visualization models were developed in collaboration with Feedzai, an important company in the fraud prevention domain. We developed two visualization tools to enable Feedzai's analysts to study the evolution over time of a set of transactions and detect possible cases of fraud more efficiently. Finally, we developed two visualization models to investigate the aesthetic dimension of the Portuguese consumption. These works aim to highlight the temporal patterns and rhythms in a simple and pleasing way. Also, these works aim to be a step towards captivating the big public through aesthetic experiences, luring them to further explore the data in a more analytical form.

Overall, our visualization tools and models enabled us to (i) represent the deviations in consumption over time; (ii) represent suspicious and fraudulent activities in the finance domain; (iii) investigate the aesthetic domain in time-oriented data and represent visually the rhythms of consumption. Through our work, we demonstrated the feasibility of representing temporal patterns and their disruptions to enhance the understanding of the data and increase the knowledge available for business intelligence.

A Visualização de Informação é normalmente vista como uma ferramenta analítica com raízes no raciocínio científico. No entanto, com a criação de linguagens de programação direccionadas para as comunidades de design, bem como a democratização dos dados, a Visualização de Informação expandiu os seus limites conceptuais para áreas mais exploratórias e orientadas para o utilizador. Hoje em dia, a Visualização de Informação é usada em diferentes domínios científicos e sociais e trabalha com diferentes tipos de dados, sendo os dados temporais comuns. A análise de dados temporais, requer conhecimento sobre a evolução de um conjunto de dados ao longo do tempo e adquirir este conhecimento implica adoptar abordagens tais como da análise exploratória de dados, análise estatística, ou até design, de forma a promover a representação de tendências e padrões. A análise visual destes padrões temporais e respectivas perturbações pode ser, simultaneamente, cativante e reveladora para o utilizador interessado e, por isso, deve ser aplicada em várias áreas do conhecimento.

Dada a relevância da representação de tendências e padrões em dados temporais, focamos a nossa investigação no desenvolvimento de mecanismos visuais para mapear e sintetizar dados complexos que permitam ao utilizador adquirir mais informação com menos esforço. As explorações visuais resultantes da nossa investigação são uma parte integral da prática do design e serão adoptadas como uma ajuda necessária para melhorar a compreensão e acessibilidade dos dados. Assim, pretendemos usar ferramentas de visualização de dados temporais de forma a permitir ao utilizador explorar os mesmos e obter respostas a problemas específicos no domínio empresarial, mais especificamente, nos sub-domínios da venda ao retalho, da banca e das compras online. Em termos gerais, a presente investigação inclui: a aplicação de conhecimento já existente sobre visualização de dados temporais ao domínio empresarial; o desenvolvimento de modelos capazes de enfatizar padrões temporais intrínsecos aos dados; e o desenvolvimento de modelos visuais capazes de se adaptar às preferências do utilizador.

No contexto desta tese, foram desenvolvidas diferentes ferramentas de visualização de forma a permitir a visualização de dados temporais. Inicialmente, foi explorada a representação de desvios por forma a facilitar a análise dos consumos dos Portugueses ao longo do tempo. Este primeiro projecto de investigação foi financiado pela SONAE, uma das mais importantes empresas Portuguesas de venda a retalho. Com estes dados, desenvolvemos um conjunto de modelos de visualização para optimizar as operações da empresa através da melhoria do conhecimento interno sobre como os valores de consumo estão distribuídos no tempo. Numa segunda fase, foi explorada a representação de actividades financeiras fraudulentas. Este estudo foi financiado pela Feedzai, uma das mais importantes empresas no âmbito da prevenção de fraude. Foram desenvolvidas duas ferramentas de visualização de forma a permitir aos analistas da Feedzai o estudo da evolução temporal de um conjunto de transacções financeiras e a detecção mais eficiente de possíveis casos de fraude. Finalmente, foram desenvolvidos dois modelos de visualização de forma a investigar a dimensão estética dos consumos dos Portugueses. Com estes modelos, pretendemos enfatizar os padrões temporais e ritmos de forma simples e apelativa. Pretendemos dar um passo no sentido de capturar o interesse do grande público através de experiências estéticas, incentivando-os a explorarem, posteriormente, os dados de forma analítica.

De forma geral, através das nossas ferramentas de visualização e modelos de visualização conseguimos: (i) representar os desvios no consumo ao longo do tempo; (ii) representar actividades financeiras suspeitas ou fraudulentas; e (iii) investigar o lado estético dos dados temporais, representando visualmente o ritmo dos consumos. Através do nosso trabalho demonstramos a viabilidade da representação de padrões temporais e respectivas perturbações de forma a melhorar o conhecimento dos dados e a aumentar o conhecimento disponível em inteligência de negócio.