Classificadores 1-Lipschitz

Abstract

Os classificadores que apresentam alguma regularidade no comportamento das derivadas têm ganho uma grande atenção na área de ``machine learning''. Uma das classes de classificadores que apresenta essa regularidade designa-se por classificadores 1-Lipschitz. Estes consistem em funções 1-Lipschiztianas a partir das quais se consegue representar qualquer classificador. Apesar destes serem conhecidos, as suas propriedades geraram sempre algumas dúvidas. Isto motivou alguns investigadores a aprofundá-las. Este estudo analisa uma dessas investigações mais detalhadamente, onde o foco incide nos classificadores 1-Lipschitz binários. Em primeiro apresenta-se a caracterização dos classificadores com recurso à função de distância com sinal, a qual permite concluir que estes são capazes de representar qualquer classificador. Após o resultado referido, mostra-se que os classificadores 1-Lipschitz podem ter elevados níveis de precisão, através da exposição de um caso específico em que a precisão é 100\% e da prova que de estes minimizam a função de perda. Em seguida, prova-se que existem classificadores destes que são robustos. Depois salienta-se que a função de distância com sinal consegue maximizar a robustez do classificador mais preciso: o classificador de Bayes. Posteriormente, evidencia-se a influência das funções de perda e dos seus parâmetros na precisão e na robustez de um classificador. Finalmente, menciona-se que estes classificadores são consistentes, uma vez que se conseguem extender a maiores domínios, garantindo-lhes assim uma capacidade de generalização.

Classifiers that exhibit regularity in the behavior of their derivatives have gathered significant attention in the field of machine learning. One class of classifiers that demonstrates such regularity is known as 1-Lipschitz classifiers. These classifiers consist of 1-Lipschitz functions from which any classifier can be represented. Despite their recognition, doubts surrounding their properties have motivated researchers to delve deeper into their investigation. This paper provides a detailed examination of one such investigation, focusing specifically on binary 1-Lipschitz classifiers. Firstly, the characterization of classifiers using the signed distance function is presented, leading to the conclusion that they are capable of representing any classifier. Following this result, the paper demonstrates that 1-Lipschitz classifiers can achieve high levels of accuracy by presenting a specific case where accuracy reaches 100\%, accompanied by proof of their ability to minimize the loss function. Additionally, the paper establishes the existence of robust 1-Lipschitz classifiers. Furthermore, it highlights the significance of the signed distance function in maximizing the robustness of the most accurate classifier: the Bayes classifier. Besides, the influence of loss functions and their parameters on classifier accuracy and robustness is emphasized. Finally, the paper concludes by mentioning the consistency of these classifiers, since they are able to extend to larger domains, which guarantees their generalization.