Classificação automática de páginas web usando features visuais

Abstract

The world of Internet grows up every day. There are a large number of web pages actives at this moment and more are released every day. It is impossible to perform the web page classification manually. It was already developed several approaches in this area. Most of them only use the text information contained in the web pages, ignoring the visual content of them. This work shows that the visual content can improve the accuracies of the classifications that only use the text. It was extracted the text features of the web pages using the term frequency inverse document frequency method. As well, it was also extracted two different types of visual features: the low-level features and the local SIFT ones. Since the amount of the SIFT features is extremely high, it was created a dictionary using the “Bag-of-Words” method. After this extraction the features were merged, using all the types of combinations of them. It was also used the Chi-Square method that selects the best features of a vector. In the classification it was used four different classifiers. It was implemented a multi-label classification, for which we gave unknown web pages to the classifiers, so they could predict the main topic of the web page. It was also implemented a binary classification, for which we used only visual features to verify if a web page was a blog or non-blog. It was obtained good results that shows that adding the visual content to the text the accuracies improve. The best classification it was obtained using only four different categories, where was achieved 98% of accuracy. Later it was developed a web application, where the user can find out the main topic of a web page only inserting the web page URL. It can be accessed in ”http://scrat.isr.uc.pt/uniprojection /wpc.html”.

O mundo da internet cresce a cada dia que passa. Existe um enorme numero de p´aginas web activas neste preciso momento e muitas mais s˜ao lan¸cadas a cada dia que passa. E impossivel ´ realizar uma classifica¸c˜ao manual destas p´aginas web. J´a foram realizados diversos trabalhos nesta ´area. A maioria delas apenas utiliza a informa¸c˜ao do texto da p´agina web, ignorando o conte´udo visual das mesmas. Neste trabalho mostramos que o conte´udo visual melhora as precis˜oes dos classificadores que utilizavam apenas texto. Para isso foram extra´ıdas caracter´ısticas de texto das p´aginas web utilizando o m´etodo term frequency-inverse document frequency. Foram extra´ıdos dois tipos de caracter´ısticas visuais: as caracter´ısticas low-level e as caracter´ısticas locais SIFT. Sendo que o n´umero de caracter´ısticas SIFT ´e extremamente alto, foi criado um dicion´ario utilizando o m´etodo “Bag-of-Words”. Depois de exta´ıdas, foram feitas todas as combina¸c˜oes poss´ıveis entre estes trˆes tipos de caracter´ısticas. Foi utilizado tamb´em o m´etodo Chi-Square que seleciona as melhores caracter´ısticas. Na classifica¸c˜ao, foram utilizados quatro classificadores diferentes. Foi realizada uma classifica¸c˜ao multi-label, onde introduzindo p´aginas web desconhecidas pelos classificadores, os mesmos previam o t´opico principal dessa p´agina. Foi tamb´em realizada uma classifica¸c˜ao bin´aria onde apenas foram utilizadas as features visuais para verificarem se uma p´agina web ´e um blog. Foram obtidos bons resultados que mostram que realmente adicionando o conte´udo visual ao texto, as precis˜oes dos classificadores melhoram. A melhor classifica¸c˜ao foi obtida quando utilizadas apenas quatro categorias diferentes, onde foi obtida uma precis˜ao de 98%. Posteriormente foi desenvolvida uma aplica¸c˜ao web com o objectivo de um utilizador conseguir descobrir qual o t´opico principal de uma p´agina web apenas inserindo o seu URL. Pode ser acedida em “http://scrat.isr.uc.pt/uniprojection/wpc.html”.