Concept Creation with Regulated Activation Networks

Abstract

Concepts are of great value to humans because they are one of the building blocks of our cognitive processes. They are involved in cognitive functions that are fundamental in decision making such as classification and also capacitate us for contextual comprehension. By definition, a concept refers to an idea or a combination of several ideas. In a computational context, a concept can be a feature or a set of features. An individual concept is referred to as a concrete concept, whereas a generalized form of a set of concepts can be perceived as an abstract concept. Computational concepts can be characterized in three broad categories; i.e. symbolic (e.g. Adaptive Control of Thought based approach), distributed (e.g. Neural Networks) and spatial (e.g. Conceptual Space) representations. CLARION, a cognitive architecture, is an example of a hybrid computational framework that combines symbolic and distributed representations. Moreover, the symbolic, distributed, spatial and hybrid representations are mostly used on representing concrete concepts, whereas the notion of an abstract concept is rarely explored.

In this thesis, we propose a computational cognitive model, named Regulated Activation Network (RAN), capable of dynamically forming the abstract representations of concepts and to unify the qualities of spatial, symbolic and distributed computational approaches. Our model aims to simulate the cognitive processes of concept learning, creation and recall. In particular, the RAN’s modeling has three learning mechanisms where two perform inter-layer learning that helps in propagating activations from an input-to-output layer and vice versa. The third provides an intra-layer learning that is used to emulate regulation mechanism, which is inspired by biological Axoaxonic synapse where one node in a layer induces excitatory, neutral or inhibitory activation to other nodes in the layer. In this research, two different types of abstract concepts are modeled: first, the convex abstract concepts where the geometrical convexity among the concrete concepts was exploited to create the abstract concept; second, the non-convex abstract concepts where the similarity relationships among the convex abstract concepts were used to capture non-convexity and model it. The RAN uniquely unifies the qualities of symbolic, distributed and spatial conceptual representation, where the model has a dynamic topology, simulates cognitive process like learning and concept creation and performs machine learning operations.

Experiments with 11 benchmarks demonstrated the classification capability of RAN’s modeling and provided a proof-of-concept of convex and non-convex abstract concept modeling. In these experiments, the study has shown that RAN performed satisfactorily when compared with five different classifiers. One of the datasets was used to model the active and inactive states of three students. Further, the results of this model of students were analyzed statistically to infer students' psychological and physiological conditions. The recall experiments with RAN demonstrated the cued recall blend retrieval of abstract concepts. Besides cognitive function simulation and machine learning, the RAN’s model was also useful in the data analysis task. In one of the experiments, a RAN’s model was developed to have 7 layers showing dimension reduction and expansion operations. Additionally, the data visualization of the 1st, 3rd, and 5th layers displayed how deep data analysis with the RAN model unearth the complexities in the data.

The research work involved the study of topics from the fields of Mathematics, Computational Modeling, Psychology, Cognition, and Neurology. Based upon the results of all the experiments and analogical reasoning of RAN’s modeling processes, the hypotheses of the research work were demonstrated. The abstract concept modeling was substantiated through classification experiments, whereas the simulations of concept creation, learning, activation propagation, and recall were justified through analogy and empirical outcomes. The research work also helped in discovering new challenges, such as temporal learning and simulation of the cognitive process of forgetting, which will be taken as research projects in the future.

Os conceitos são de grande valor para os seres humanos, já que são blocos constituintes dos processos cognitivos. Eles estão envolvidos em funções cognitivas que são fundamentais na tomada de decisões, como a classificação, e também nos capacitam para a compreensão contextual. Por definição, um conceito refere-se a uma ideia ou a uma combinação de várias ideias. Num contexto computacional, um conceito pode ser um recurso ou um conjunto de recursos. Um conceito individual ´e referido como um conceito concreto, enquanto uma forma generalizada de um conjunto de conceitos pode ser percebida como um conceito abstrato. Os conceitos computacionais podem ser caracterizados em três grandes categorias segundo a forma como se representam; representações simbólicas (por exemplo, abordagem baseada no Controle Adaptativo do Pensamento), distribuídas (por exemplo, Redes Neuronais) e espaciais (por exemplo, Espaço Conceitual). A arquitetura cognitiva CLARION ´e um exemplo de uma estrutura computacional híbrida que combina representações simbólicas e distribuídas. Além disso, as representações simbólica, distribuída, espacial e híbrida são usadas principalmente para representar conceitos concretos, enquanto a noção de um conceito abstrato raramente é explorada. Nesta tese, propomos um modelo cognitivo computacional, denominado Regulated Activation Network (RAN), capaz de formar dinamicamente as representações de conceitos abstratos e de unificar as qualidades de abordagens computacionais espacial, simbólica e distribuída. O nosso modelo visa simular os processos cognitivos de aprendizagem, criação e recall de conceitos. Em particular, a modelação da RAN possui três mecanismos de aprendizagem, nos quais dois realizam aprendizagem entre camadas, que ajuda a propagar ativações de uma camada de entrada para saída e vice-versa. O terceiro fornece uma aprendizagem intra-camada que é usada para emular o mecanismo de regulação, que é inspirado pela sinapse axoaxónica biológica, em que um nó de uma camada induz ativação excitatória, neutra ou inibitória sobre outros nós da camada. Neste trabalho, são modelados dois tipos diferentes de conceitos abstratos: primeiro, os conceitos abstratos convexos, em que a convexidade geométrica entre os conceitos concretos ´e explorada para criar o conceito abstrato; segundo, os conceitos abstratos não convexos, onde as relações de similaridade entre os conceitos abstratos convexos foram usadas para capturar e modelar a não-convexidade. A RAN unifica exclusivamente as qualidades de representação conceptual simbólica, distribuída e espacial, onde o modelo tem uma topologia dinâmica, simula processos cognitivos como aprendizagem e criação de conceitos, e executa operações de aprendizagem pela máquina. Experiências com 11 benchmarks demonstraram a capacidade de classificação do modelo da RAN e a constituem prova de conceito da modelação de conceito abstrato convexo e não convexo. Nestas experiências, a RAN demonstrou um desempenho satisfatório quando comparado com cinco classificadores diferentes. Um dos conjuntos de dados foi usado para modelar os estados ativo e inativo de três estudantes. Além disso, os resultados desse modelo de estudantes foram analisados estatisticamente para inferir as condições psicológicas e fisiológicas dos alunos. As experiências de recall com RAN demonstraram a recuperação combinada de recall de conceitos abstratos. Além da simulação da função cognitiva e de aprendizagem automática, o modelo da RAN também foi útil na tarefa de análise de dados. Numa das experiências, o modelo de uma RAN desenvolvido tem 7 camadas, que comportam operações de redução e expansão de dimensão. Além disso, a visualização de dados da 1ª, 3ª e 5ª camadas mostra como uma análise profunda dos dados com o modelo RAN pode revelar as complexidades destes. Este trabalho de investigação envolveu o estudo de tópicos das áreas de Matemática, Modelação Computacional, Psicologia, Cognição e Neurologia. Com base nos resultados de toda a experiência e raciocínio analógico dos processos de modelação da RAN, foi possível demonstrar a hipótese do trabalho de investigação. A modelação de conceito abstrato foi substanciada através de experiências de classificação, enquanto as simulações de criação de conceito, aprendizagem, propagação de ativação e recall foram justificadas por analogia e resultados empíricos. Este trabalho ajudou também a descobrir novos desafios, como a aprendizagem temporal e a simulação do processo cognitivo do esquecimento, que serão objeto de investigação futura.