LabDER - Laboratório Virtual de Ensino-Aprendizagem de Banco de Dados Relacionais: Uma abordagem de avaliação automática de Diagramas ER e SQL

Abstract

A procura de profissionais de informática da área de Bases de Dados tem crescido recentemente e superado as projeções mais otimistas. Esse aumento pressiona as instituições de ensino a oferecer especialistas no domínio. Neste contexto, surgem cursos de Base de Dados com muitos alunos que requerem demasiados recursos humanos para acompanhar as atividades práticas de laboratório, sendo os ambientes virtuais de avaliação automática um forte aliado na resolução desse cenário. Entretanto, são raras as instituições que possuem ambientes virtuais para o ensino de bases de dados que automaticamente avaliem as respostas dos alunos, especificamente respostas diagramáticas. As abordagens existentes de avaliação automática possuem uma série de problemas, que resultam em sistemas que mostram apenas um feedback correto ou incorreto, e não permitem aos alunos aprimorarem a solução. O trabalho descrito nesta tese investigou como avaliar automaticamente diagramas de entidade e relacionamento que pudessem ser aplicados no contexto das disciplinas introdutórias de Bases de Dados em cursos de licenciatura em informática. O projeto seguiu a metodologia de investigação Design-Science Research, onde primeiramente foram identificados os problemas das abordagens de avaliação automática, como (a) interface restritiva, (b) resposta restritiva, (c) destaques visuais, (d) notação restritiva, (e) avaliação sem equivalência, (f) feedback inadequado, e (g) feedback estático. O método seguiu um processo interativo de definição dos objetivos, métodos e procedimentos que levaram a propor soluções para automatizar a avaliação de diagramas no contexto de ensino e aprendizagem de bases de dados relacionais. Como resultado dessa investigação foi obtido um ambiente virtual de ensino de bases de dados relacionais, denominado LabDER, que avalia automaticamente as respostas dos alunos. O LabDER automatiza a avaliação de diagramas de entidade e relacionamento, SQL, questões de escolha múltipla e de texto livre. Diferente de outras abordagens, o LabDER fornece um feedback semântico com a nota final do aluno baseado em técnicas de compilador, métricas de engenharia de software e aprendizagem computacional. Essa abordagem inspira o aluno a procurar a melhor resposta, ou seja, ajuda-o a encontrar a resposta estimada ou superior à solução do sistema. O ambiente LabDER passou por um minucioso processo de verificação e validação através de testes de funcionalidade, desempenho e usabilidade, e foi usado satisfatoriamente por 322 alunos e 8 professores de universidades do Brasil, Colômbia, Portugal e Índia. Cerca de 98% dos utilizadores aceitaram a usabilidade do sistema e 95% avaliaram o sistema como melhor imaginável na escala System Usability Scale. Garante também uma avaliação automática com tempo de resposta médio de menos de 1 segundo para 500 utilizadores em simultâneo. Foi recolhida uma base de dados com mais de 40 mil respostas, das quais 5 mil foram tratadas para ter dados suficientes de treino de modelos preditivos de diagramas de entidade e relacionamento. As questões expostas aos alunos foram cuidadosamente construídas, seguindo o plano de ensino do professor e distribuídas ao longo do semestre letivo em seis universidades com diferentes níveis de complexidade. O modelo preditivo com uma precisão acima de 90% foi obtido seguindo a metodologia CRISP-DM, após uma análise de 2.700 modelos. A abordagem de avaliação automática do LabDER oferece as seguintes vantagens: (a) aceita várias respostas corretas por questão; (b) prevê as notas finais de cada resposta do aluno, baseado no modelo preditivo que mede a distância entre a resposta do aluno e a resposta do professor pelas métricas, (c) ajuda a identificar o erro da solução submetida pelo feedback que associa erros a conceitos de BD; (d) oferece ao aluno a opção de refazer a solução; (e) oferece ao professor um sistema que pode ser usado em avaliações diagnósticas, formativas e sumativas. No futuro, espera-se que esta abordagem possa ser adaptada para avaliar outros tipos de diagramas e linguagens de programação.

Recently the demand for computing experts on Database systems has been growing and exceeding the highest expectations. This rise has imposed on the educational system and institutions the supply of experts in this field. In this scenario, introductory database subjects are faced with too many students who require a large human resources capacity to manage and monitor the practical laboratory activities. So virtual environments of automatic assessment are a strong ally to solve this scenario. Nonetheless just a few of them are able to offer a virtual learning environment for Database teaching in order to automatically assess student’s answers, explicitly diagrammatic answer. The current approaches to automatic assessment are actually coming up with a few problems which just show a correct or incorrect feedback, not allowing students to improve on any answer. The research made on this thesis was aimed at finding a way to automatically assess entity relationship diagrams. Further this research aimed to suit Database systems subjects in higher education degrees on Computer Science. This project followed the Design-Science Research Methodology. At first, problems with automatic assessment approaches were noticed, such as (a) restrictive interface, (b) restrictive answer, (c) visual highlights, (d) restrictive notation, (e) assessment with no equivalence, (f) unsuitable feedback, and (g) static feedback. The method followed an interactive process for several goal definitions, methods and procedures. This lead to the proposal of several solutions in order to automatize the diagram assessment in the learning & teaching context of Database systems. This research resulted in a virtual learning environment for teaching Database systems – known as LabDER – which automatically assesses students’ answers. LabDER automates the assessment of entity-relationship diagram, SQL, multiple choice and subject questions responses. Differing from other approaches, LabDER provides a semantic feedback with the student’s grade based using a techniques blend of compiler, software engineering metrics and machine learning. This method motivates students to achieve the best possible answer, i.e., it helps them to find the expected answer or even a superior answer than the system’s solution. The LabDER system has been run in a precise and accurate software testing, based on functionality, performance and usability tests. It was satisfactorily used by three hundred and twenty-two students and eight professors from different universities in Brazil, Colombia, Portugal and India. About 98% of the users have classified the system as acceptable and 95% evaluated the system as the best ever possible on the System Usability Scale. Automatic assessment also guarantees an average answer timing within less than one second for up to five hundred simultaneous users. A dataset of over forty thousand answers was collected. Five thousand of them were handled in order to get enough training data to determine patterns in entity relationship diagram. Along the semester, questions with different complexity levels were carefully presented to the students following the professors teaching plan in the six universities. After performing the modeling process for two thousand and seven hundred times, following CRISP-DM methodology, it was possible to get results with a precision close to 90%. The following advantages are provided by LabDER automatic assessment approach: (a) it accepts several correct answers to each question; (b) it provides a grade for each student’s answer, based on the prediction model which measures the distance between student’s answer and the professor’s answer by the metrics; (c) it helps to identify the error in the submitted solution with the feedback that associates the errors with DB concepts; (d) it gives the student the option to redo the solution; (e) it gives the professor a system that may be used either in diagnostic, formative or summative assessments. In the future, it is expected that this approach can be adopted to evaluate different diagrammatic representations and programming languages.