Processamento de Linguagem Natural e Extração de Conhecimento

Abstract

A opinião de outras pessoas sempre foi um dado relevante no processo de tomada de decisão. Com o aparecimento da Internet, em especial das redes sociais, a quantidade de comentários de utilizadores sobre a qualidade de serviços e produtos aumentou exponencialmente. Sendo que esta informação começou a ter cada vez mais relev ância para os utilizadores que antes de tomarem uma decisão sobre um serviço ou um produto procuram ter mais informação dos comentários e opiniões de outros. A in uência que as opiniões das outras pessoas exercem tem feito aumentar o interesse nas ferramentas de análise de opiniões. Muitas vezes essas opiniões são publicadas em redes sociais em que o tipo de texto presente é geralmente não estruturado, apresentando diversos desa os de análise. O presente trabalho propõe um conjunto de ferramentas capazes de extrair informa ção de texto que contenha opiniões, recorrendo a técnicas de Processamento de Linguagem Natural e abordagens de Text Mining. Como tal, foi desenvolvida uma biblioteca com um conjunto de ferramentas necessárias para a análise de opiniões. O trabalho foca-se em texto extraído de redes sociais, que se caracteriza como sendo um texto não estruturado, menos cuidado, com abreviaturas, pitês e muitas vezes não respeita as regras ortográ cas e sintáticas. Todas as ferramentas desenvolvidas permitem a análise de texto escrito na Língua Inglesa bem como na Língua Portuguesa. Para além do tipo de texto que se analisa, um dos principais desa os foi o desenvolvimento das ferramentas para a Língua Portuguesa, uma vez que existem relativamente menos recursos disponíveis, o que se re etiu nos resultados obtidos que foram sempre inferiores aos alcançados na Língua Inglesa. Todas as ferramentas aqui desenvolvidas estão integradas com a plataforma Wiz- dee preparadas para serem usadas em produtos comerciais.

The opinion of others has always been an important element in the process of making decisions. With the advent of the Internet, and in particularly, social networks, the amount of comments from users, regarding the quality of services and products, has increased exponentially. Following this, information began to have an increasing importance for users. Now, a user looks for more information before making a decision about a service or product, by using reviews and the opinions of others. The in uence that the opinion of others exert, resulted in an increasing interest for tools capable of opinion mining. Often, we can nd these opinions on social networks, where the challenge of unstructured text must be dealt. The work presented in this thesis proposes a set of tools to extract information from subjective text, using Natural Language Processing techniques and Text Mining approaches. As such, a library containing a set of tools for opinion mining was developed. The supported languages are English and Portuguese. As mentioned, the work focuses on text extracted from social networks, which is characterized as being unstructured text. Often it does not respect the syntactic rules of the language and contains spelling errors. Furthermore, while there are challenges concerning the handling of unstructured text in both languages, one of the major challenges was the development of tools for the Portuguese language, since there are relatively fewer resources available. This was re ected in the results, where the Portuguese results were always lower than those achieved by the English tools. All tools developed during this project are integrated with the platform Wizdee and are prepared for its use in commercial products.