Please use this identifier to cite or link to this item: http://hdl.handle.net/10316/83543
Title: Dark Web Module Data Collection
Other Titles: Dark Web Module Data Collection
Authors: Santos, Nuno Gonçalo Mateus 
Orientador: Vilela, João Paulo da Silva Machado Garcia
Ferreira, Ricardo
Keywords: Dark Web; Crawler; Extração de informação; Segurança Digital; Aprendizagem por Reforço; Dark Web; Crawler; Information Extraction; Digital Security; Reinforcement Learning
Issue Date: 9-Jul-2018
Serial title, monograph or event: Dark Web Module Data Collection
Place of publication or event: Dognaedis, Lda
Abstract: Este documento é o artefacto resultante de um estágio proposto pela Dognaedis, Lda à Universidade de Coimbra. A Dognaedis é uma empresa de ciber segurança, que utiliza informação recolhida pelas ferramentas ao ser dispor para proteger os seus clientes. Havia, no entanto, um vazio que precisava de ser preenchido nas fontes de informação que eram monitorizadas: a dark web. Para preencher esse vazio este estágio foi criado. O seu objectivo é especificar, e implementar, uma solução para um módulo de inteligência da dark web para um dos produtos da empresa, o Portolan. O intuito deste modulo é fazer crawl a websites ”escondidos” em redes de anonimato e deles extrair inteligência, de forma a estender as fontes de informação da plataforma. Neste documento o leitor irá encontrar informação relativa ao trabalho de pesquisa realizado, que compreende o estado da arte a nı́vel de web crawlers e extractores de informação, que permitiu a identificação de técnicas e tecnologias úteis neste âmbito. A especificação da solução para o problema é também apresentada, incluindo a análise de requisitos e o desenho arquitetural. Isto inclui a exposição das funcionalidades propostas, da arquitetura final e das razões por trás da decisões tomadas. Ao leitor será também apresentada uma descrição da metodologia de desenvolvimento que foi seguida e uma descrição da implementação em si, expondo as funcionalidades do módulo e como estas foram atingidas. Finalizando, existe ainda a explicação do processo de validação, que foi realizado de forma a garantir que o produto final estava de acordo com a especificação.
This document is the resulting artefact of an intership proposed by Dognaedis, Lda to the University of Coimbra. Dognaedis is a cyber security company, that uses the information gathered by the tools at its disposal to be able to protect its clients. There was, however, a void that needed to be filled from the sources of information that were monitored: the dark web. In order to fill that void, this intership was created. Its goal is to specify, and implement, a solution for a dark web intelligence module for one of the company’s products, Portolan. The goal of this module is to crawl websites ”hidden” in anonymity networks and extract intelligence from them, in order to extend the sources of information of the platform. As a result, in this document the reader will find information that refers to the research work, that comprises the state of the art regarding web crawlers and information extractors, which allowed the identification of useful techniques and technologies. The specification of the solution for the problem is also presented, including requirement analysis and architectural design. This includes the exposition of the functionalities proposed, the final architecture and the reasons behind the decisions that were made. The reader will also be presented with a description of the development methodology that was followed and a description of the implementation itself, exposing the functionalities of the module and how they were achieved. Finally, there is also the explanation of the validation process, that was conducted to ensure that the final product matched the specification.
Description: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
URI: http://hdl.handle.net/10316/83543
Rights: closedAccess
Appears in Collections:UC - Dissertações de Mestrado

Files in This Item:
File Description SizeFormat Login
Dark Web Module Data Collection_v2.0.pdf2.76 MBAdobe PDFEmbargo Access    Request a copy
Show full item record

Page view(s) 20

593
checked on Jun 16, 2021

Download(s) 50

384
checked on Jun 16, 2021

Google ScholarTM

Check


This item is licensed under a Creative Commons License Creative Commons