O Processamento Cognitivo na Avaliação Psicológica: Estudo da Interferência de Fatores Metacognitivos na Predição do Rendimento na Formação

Abstract

A realização desta tese foi motivada pela necessidade em conhecer melhor a predição do rendimento na formação técnica de modo a contribuir para o aumento da eficácia da Avaliação Psicológica em processos de seleção. Estudou-se a interferência de fatores metacognitivos no processamento cognitivo e no seu contributo para a melhoria da predição do sucesso na formação técnica. Desenvolveram-se três estudos empíricos: (1) Adaptação à cultura portuguesa e estudo psicométrico do Metacognitive Awareness Inventory (MAI) de Schraw e Dennison (1994) e do Memory and Reasoning Competence Inventory (MARCI) de Kleitman e Stankov (2007); (2) Estudo do valor instrumental dos aspetos metacognitivos na predição do rendimento na formação técnica; e (3) Estudo do valor instrumental dos processos básicos da cognição através da interferência da autoconfiança no processamento cognitivo. O MARCI apresentou coeficientes de consistência interna elevados nas suas duas escalas de raciocínio e memória (α = 0,89 e α = 0,92, respetivamente) e os itens distribuíram-se pelos dois fatores na Análise de Componentes Principais conforme o esperado. A Análise Fatorial Confirmatória sugere como modelo mais ajustado a existência de um fator de segunda ordem (X2/gl = 4,913; GFI = 0,935; PGFI = 0,681; CFI = 0,952; PCFI = 0,785; RMSEA = 0,067; (rmsea)<=0,05 = 0,000). A consistência interna do MAI foi inferior a 0,70 na maioria das suas oito escalas (conhecimento condicional, α = 0,67; conhecimento declarativo, α = 0,57; e conhecimento processual, α = 0,53, relativas ao conhecimento da cognição; e estratégias de correção, α = 0,68; avaliação, α = 0,62; estratégias de gestão de informação, α = 0,73; monitorização, α = 0,66; e planeamento, α = 0,70, relativas à regulação da cognição). Os alfas aumentam significativamente quando se considera os dois fatores conhecimento e regulação da cognição (α = 0,82 e α = 0,90, respetivamente), correspondente à orientação dos autores para a sua aplicação. Os resultados da Análise Fatorial Confirmatória são idênticos para os dois modelos testados: com um fator de segunda ordem e com dois fatores correlacionados, cujos resultados foram: (X2/gl = 3,40; GFI = 0,815; PGFI = 0,753; CFI = 0,737; PCFI = 0,708; RMSEA = 0,052; P(rmsea)<=0,05 = 0,019). O MAI e MARCI apresentam validade de critério com a nota no último ano/curso frequentado, sendo os seus coeficientes de correlação de ordem zero significativos a p < 0,05. Para testar a capacidade de incremento da validade preditiva ao conjunto de provas utilizado na seleção dos candidatos ao curso de formação técnica, foi delineado um estudo longitudinal (aproximadamente de 12 meses) em que se consideraram as provas do processo de seleção, a aplicação da versão adaptada dos questionários MAI e MARCI e se recolheu a nota final do curso para critério. Na regressão múltipla hierárquica entrou, pelo método Enter, no primeiro passo as aptidões avaliadas no processo de seleção com maior capacidade preditiva (R2 = 0,18) (modelo base) e dos 10 constructos metacognitivos considerados para o modelo complementar, foram extraídas, pelo método stepwise, as variáveis Raciocínio do MARCI (β = -0,215; p < 0,01) e Estratégias de Correção do MAI (β = 0,199; p < 0,05). No estudo relativo ao valor instrumental dos processos básicos da cognição, utilizou-se uma prova de figuras embebidas da bateria de seleção de candidatos ao curso de pilotagem da Força Aérea e que avalia a Closure Flexibility. Contrariamente ao esperado, os sujeitos apresentaram tempos de latência mais elevados nos itens em que deram maior número de respostas corretas. A análise destes itens identificou-os como geradores de maior incerteza na resposta: a figura alvo não se encontra em nenhum dos padrões desestruturados. Coloca-se a hipótese dos tempos de latência nas respostas aos itens de elevado grau de incerteza com tempo limite, poderem ser uma medida indireta da interferência da autoconfiança no processamento cognitivo dos sujeitos. Esta poderá ser uma forma de avaliação indireta da autoconfiança, tornando-se numa alternativa mais fiável aos questionários de auto descritivos, sobretudo em processos de seleção, após demonstração da sua pertinência em estudos de validade preditiva. São enunciadas algumas limitações encontradas nos estudos efetuados e discutidas orientações para pesquisas futuras.

This thesis was motivated by the need to better know the prediction of performance in technical training in order to contribute to increase the effectiveness of psychological evaluation in selection processes. We studied the interference of metacognitive factors in cognitive processing and their contribution to improve the prediction of success in technical training. Were developed three empirical studies: (1) Adaptation to the Portuguese culture and psychometric study of the Metacognitive Awareness Inventory (MAI) of Schraw and Dennison (1994 ) and Memory and Reasoning Competence Inventory (MARCI) of Kleitman and Stankov ( 2007); (2) Study of instrumental value of metacognitive factors in predicting performance on technical training; and (3) Study of the instrumental value of basic cognition processes through the interference of self-confidence in cognitive processing. The MARCI showed high internal consistency in both its reasoning and memory scales (α = 0.89 and α = 0.92, respectively) and the items were distributed by two factors on Principal Component Analysis as expected. The model better adjusted from Confirmatory Factor Analysis suggests the existence of a second order factor (X2/df = 4.913, GFI = 0.935, PGFI = 0.681, CFI = 0.952; PCFI = 0.785, RMSEA = 0.067; P(rmsea) < = 0.05 = 0.000 ) . The internal consistency of the MAI was less than 0.70 in most of the eight scales (declarative knowledge, α = 0.67; conditional knowledge, α = 0.57, and procedural knowledge, α = 0.53, for the knowledge about cognition, and debugging strategies, α = 0.68; evaluation, α = 0.62; information management strategies, α = 0.73; monitoring, α = 0.66, and planning, α = 0.70; for the regulation of cognition). Alpha coefficients increased significantly when two factors were considered: knowledge and regulation of cognition (α = 0.82 and α = 0.90, respectively), corresponding to the author’s orientation for their practical application. Results of Confirmatory Factor Analysis are identical for both models tested, with a second order factor and two correlated factors: (X2/df = 3.40, GFI = 0.815, PGFI = 0.753, CFI = 0.737, PCFI = 0.708, RMSEA = 0.052, P(rmsea) < = 0.05 = 0.019). MAI and MARCI have criterion validity with the score in the last academic year/course attended. All Pearson's zero-order correlation coefficients were significant (p < 0.05). To test the incremental validity on a set of tests used in the selection of candidates for the technical course, was designed a longitudinal study (approximately 12 months) in which data were collected from the selection process, the version adapted of MAI and MARCI were applied, and the final grade score on the course was considered for the criterion. A hierarchical multiple regression analysis was done. For first model (base model) were included the abilities with greater predictive validity assessed in the selection process (by Enter method) (R2 = 0.18), and 10 metacognitive constructs were considered for complementary model (by Stepwise method). Were selected the MARCI’s reasoning (β = -0.215, p < 0.01) and MAI’s Debugging Strategies (β = 0.199, p<.05). For studying the instrumental value of the basic processes of cognition, we used an embedded figures test from selection process of applicants for the Air Force Flying course which evaluates Closure Flexibility. Contrary to expectation, the subjects showed higher latency times on items that have a higher number of correct answers. The analysis of these items showed that it have a higher uncertainty in response: target figure is not in any of unstructured patterns. This raises the hypothesis that latency times in answering items of high uncertainty and time limit, may be an indirect measure of the interference of self-confidence in the cognitive processing. This may be a form of indirect assessment of self-confidence, making it a more reliable alternative to the self-descriptive questionnaires, especially in selection processes, after demonstration of their relevance to predictive validity studies. Limitations found in studies conducted and implications for psychological assessment and future research were discussed.