Depressive States Identification on Social Networks using Multimodal Models

Abstract

Depressão é uma doença mental comum por todo o mundo. Esta condição pode causar muito sofrimento ao paciente, e também afetar o trabalho, escola e vida familiar. Em casos extremos, a depressão pode mesmo levar ao suicídio. Em Portugal, estima-se que cerca de 400,000 individuos sofram de depressão por ano. É também a maior causa de suicidio, sendo responsável por 70% dos suicídios.Atualmente, os jovens dependem muito das redes sociais, principalmente os que sofrem com depressão. Estes jovens utilizam a internet para substituir as relações pessoais reais, procurando reconhecimento social e distanciamento da vida social habitual. A depressão tem tratamentos eficazes, mas menos de metade da população afetada acede a estes tratamento devido ao estigma social associado a doenças mentais e falta de recursos e profissionais de saúde treinados.Neste projeto foi criado um modelo multimodal capaz de analisar textos de publicações, imagens partilhadas pelo utilizador e padrões de interação e utilização destes indivíduos. Este projeto foi dividido em quatro partes: distinção entre utilizadores depressivos e não depressivos, distinção entre os quatro estados de depressão (mínimo, suave, moderado e severo), previsão do score exato de depressão através de uma regressão e análise de depressão em imagens através de uma redes neuronal convolucional.O nosso modelo atingiu uma exatidão de 90,5% aquando a previsão entre utilizadores depressivos e não depressivos e de 76,2% aquando a classificação entre os quatro estados de depressão, utilizando o Classificador Random Forest em ambos os casos. Na previsão dos scores exatos de depressão, foi obtido um modelo com um MSE de 79,37. Na previsão de depressão em imagens foi aplicada a técnica de transferência de aprendizagem com a rede pré-treinada VGG16 e obteve-se uma exatidão de 70,97%.

Depression is a common mental illness all over the world. Especially when long lasting and with moderate to severe intensity, depression can cause a lot of suffering in the affected individual, having implications at work, school and family life. In extreme cases, depression can lead to suicide. In Portugal, depression is estimated to affect around 400,000 people per year. It is the leading cause of suicide, with a total of 70% when compared to other causes of death.Nowadays, young people heavily rely on social networks, particularly those suffering from depression. These people use the internet to replace relationships in the real world, seeking social recognition and alienation from the ordinary social life. Depression has effective treatments, but less than half of the affected people receive them due to the social stigma associated with mental disorders and lack of resources as well as trained healthcare providers.With the aim of predicting if a user is going through depression or not, we created a multimodal model, capable of analyzing the text of publications, images shared by the user and patterns of interaction of these individuals. This project was divided into four approaches: the distinction between depressive and non-depressive users, the distinction between the four states of depression (minimal, mild, moderate and severe), prediction of the exact depression scores using a regression and image depression analysis prediction using a convolutional neural network. Our model got an accuracy of 90.5% when predicting between depressive and non-depressive users and 76.2% when classifying in one of the four depression states, both with the Random Forest Classifier. For exact depression score prediction we obtained a model with a mean squared error of 79.37. For the image depression analysis prediction we applied transfer learning using the trained VGG16, obtaining an accuracy of 70.97%.