Development of integrated data-driven frameworks for the monitoring, analysis and control of complex systems

Abstract

Statistical process control (SPC) is a critical activity in all industrial process and since the introduction of the Shewhart control chart many methodologies have been developed to promptly detect process upsets as soon as possible, while avoiding unnecessary corrective actions that only introduce more variation into the system. Furthermore, current industrial data present a set of distinctive and challenging features that raise important difficulties in the implementation of efficient SPC approaches. In particular, they present megavariate, multiscale and dynamical features that need proper treatment. These three data characteristics are the main focus of this thesis. The base approach to handle both megavariate and dynamic features is dynamic principal component analysis (DPCA), which was the ability to simultaneously handle the cross- and auto-correlative behavior of processes. The concurrent modeling of such dependencies, allows for a more rigorous description of the normal behavior of processes, setting the ground for the development of improved SPC methodologies that are able to robustly detect finer deviations from normal operation conditions. A key point in the application of DPCA is the definition of its structure, namely the selection of the number of time-shifted replicates for each variable to include and the number of components to retain in the final model. To address the former aspect, two new lag selection methods are proposed in this thesis. The first method estimates a single lagged structure for all variables, while the second one refines this procedure by selecting the number of lags to be used for each individual variable. The application of these methods lead to a more rigorous estimation of the process lagged structure, and thus when implemented with SPC schemes that rely on a DPCA framework, significant improvements are observed. Still, the traditional DPCA approach leads to monitoring statistics with considerable levels of autocorrelation, a feature that seriously hinders its dissemination in practice. To handle this issue, a new set of multivariate statistics based in DPCA and missing data imputation methods were developed. The obtained DPCA with decorrelated residuals (DPCA-DR) methodology presents low autocorrelation levels, and therefore is better positioned to implement SPC over complex systems, in a more consistent and stable way. The performance of the proposed DPCA-DR was compared with a variety of current monitoring schemes for large scale systems, under different dynamic scenarios and for different types of process upsets and fault magnitudes. The results obtained clearly indicate that the statistics based on DPCA-DR consistently present superior performances regarding detection ability and decorrelation power. For instance, in the Tennessee Eastman process, the proposed DPCA-DR statistics had the highest detection rates on 19 of the 21 faults, are statistically superior to their PCA and DPCA counterparts and present low levels of autocorrelation, which simplifies their implementation and improves their reliability. Another subject treated in this thesis is the monitoring of the process correlation structure. On this regard, the analysis of the literature shows that most of the multivariate SPC methods developed so far are essentially focused on detecting changes in the process mean. Yet, the monitoring of the process multivariate dispersion is also a relevant issue in SPC, since a process failure may not manifest itself so notoriously as a deviation from the nominal mean values, especially due to the action of control systems struggling to maintain key process variables close to their target values. The monitoring of multivariate process dispersion is usually carried out through monitoring statistics based on the generalized variance or likelihood ratio tests, which are strictly based on marginal correlations. This global measure of association is not sensitive to the inner association between variables and therefore is unable, by design, to efficiently discern changes in the local correlation structure. To access and use information on the local association structure, in this thesis several monitoring statistics and sensitivity enhancing transformations (SET) are proposed that are based on partial correlations. The SET was found to be a key aspect in the development of such monitoring schemes which, for maximum effectiveness, makes use of information regarding the causal network underlying the process in order to construct a set of uncorrelated transformed variables around which the detection of changes in correlation is maximized. The results obtained in the comparison study involving the current methodologies to monitor the correlation structure, in both off-line and on-line cases, show that the proposed methods based on partial correlations are able to efficiently detect changes in the process structure and presented higher sensitivity than their marginal counterparts.

O controlo estatístico de processos (SPC) é uma atividade crítica em qualquer unidade industrial. Desde a introdução da primeira carta de controlo, muitas outras metodologias têm vindo a ser desenvolvidas com o intuito de detetar rapidamente diferentes tipos de falhas processuais ao mesmo tempo que evitam o recurso a intervenções desnecessárias que apenas introduzem mais variação nos processos. Além disso, os processos industriais atuais apresentam características específicas que dificultam a análise dos dados recolhidos, nomeadamente a sua escala elevada, natureza multiescala e presença de dinâmica em todas as variáveis. Estas características requerem a implementação de novas metodologias de SPC, as quais serão o principal foco desta tese. A abordagem base para lidar com estes fenómenos apoia-se no conceito da análise dos componentes principais, nomeadamente a sua versão dinâmica (DPCA), uma vez que esta é capaz de descrever a correlação cruzada e autocorrelação dos dados em simultâneo. Deste modo, DPCA permite uma descrição mais rigorosa dos processos e como tal, o desenvolvimento de metodologias SPC aptas para a deteção de desvios subtis às condições normais de operação. Um dos passos mais relevantes na aplicação de DPCA recai na correta definição da sua estrutura dinâmica, mais especificamente a seleção do número de variáveis desfasadas necessárias para descrever o processo corretamente. Neste sentido, dois métodos para a seleção do número de desfasamentos são propostos nesta tese. O primeiro método estima um número de desfasamentos igual para todas as variáveis, enquanto o segundo, refina este resultado ao estimar o número de desfasamentos mais apropriado para cada variável. A aplicação direta destes métodos em DPCA, permite por si só melhorar a capacidade de deteção das técnicas existentes devido a uma melhor descrição da variabilidade processual. No entanto, como DPCA tradicional não consegue lidar corretamente com a dinâmica dos dados, uma vez que as estatísticas de monitorização baseadas em DPCA tendem a apresentar autocorrelação, uma nova metodologia foi desenvolvida para mitigar este efeito. O novo método, designado por DPCA com resíduos descorrelacionados (DPCA-DR), baseia-se na combinação de DPCA com técnicas de estimação de dados em falta. DPCA-DR apresenta baixos níveis de autocorrelação nas suas estatísticas sem por em causa a sua capacidade de deteção de falhas. Como tal, DPCA-DR é uma mais-valia para a monitorização de sistemas complexos, apresentando um melhor desempenho quando comparado com as técnicas atuais para lidar com sistemas multivariados. Por exemplo, no conhecido caso de estudo do processo Tennessee Eastman, as estatísticas baseadas em DPCA-DR apresentam as melhores taxas de deteção em 19 das 21 falhas consideradas, sendo que estas são também estatisticamente superiores às taxas de deteção obtidas com PCA e DPCA tradicionais. Além disso, as estatísticas baseadas em DPCA-DR apresentam baixos níveis de autocorrelação, o que simplifica a sua implementação e aumenta a sua fiabilidade. Outro tema abordados nesta tese consiste na monitorização da estrutura correlacionada dos processos. Neste aspeto, da análise da literatura verificou-se que a maioria dos métodos SPC desenvolvidos até então focam-se essencialmente na deteção de desvios na média processual. No entanto, a monitorização da dispersão multivariada é igualmente importante pois uma falha processual pode não se manifestar tão notoriamente em desvios no valor nominal das variáveis, já que estas estão normalmente sob o efeito de sistemas de controlo que as mantêm próximas do seu valor pretendido. Em processos multivariados, a monitorização da dispersão é usualmente feita por recurso a estatísticas baseadas na variância generalizada ou em testes de verosimilhança que apenas têm em conta a correlação marginal das variáveis. Esta medida global da associação entre as variáveis não é sensível à relação direta entre as mesmas e, como tal, a correlação marginal não é uma medida adequada para a deteção de desvios na associação local entre as variáveis. A fim de explorar este tipo de informação, abordagens baseadas na correlação parcial entre as variáveis foram consideradas nesta tese. Dos métodos desenvolvidos, destaca-se o pré-processamento das variáveis por via de uma transformação linear com vista a descorrelacionar as variáveis. Esta transformação baseia-se na rede causal inerente ao processo, incorporando a sua estrutura de modo a obter um novo conjunto de variáveis descorrelacionadas e em torno das quais a deteção de desvios na correlação é maximizada. Os resultados obtidos durante a comparação destes novos métodos com outros alternativos baseados na correlação marginal, demostram que o uso de correlações parciais, aliadas a uma melhor descrição do processo, levam a uma maior capacidade de deteção de desvios na estrutura dos processos, tendo também um elevado potencial para diagnosticar a origem da falha.