Impact of image acquisition geometry and SfM-MVS processing parameters on the 3D reconstruction of coastal cliffs

Abstract

Devido ao perigo de quedas de rochas inerentes à erosão, as arribas costeiras despertam elevado interesse de monitorização. Torna-se importante efetuar uma reconstrução 3D de forma a identificar, medir e prevenir possíveis derrocadas. Com os elevados avanços tecnológicos no âmbito da fotogrametria e modelagem 3D, desenvolveram-se novas áreas de investigação, principalmente na utilização de drones para a aquisição e processamento de dados. Devido à sua complexidade, é necessário efetuar um planeamento prévio de forma a minimizar oclusões no modelo 3D (pontos não visíveis em pelo menos duas imagens).A presente dissertação tem como objetivo estudar exaustivamente um software comercial de processamento fotogramétrico (Agisoft Metashape) de forma a otimizar a reconstrução 3D de uma arriba costeira. Neste contexto, serão utilizados dois sistemas aéreos não tripulados para a aquisição de imagens, nomeadamente um asa fixa (Ebee Sensefly) e um multi rotor (DJI Phantom 4 Pro). Para efetuar a orientação do bloco de imagens, os principais parâmetros em teste serão o limite dos key points e tie points, os pesos dos pontos de controlo e tie points no ajustamento por feixe de perspetiva, a melhor localização espacial para os pontos de controlo. De seguida, com o erro de reprojeção dos tie points, podemos filtrar e remover os pontos que contribuem com erros mais elevados. Assim, a densificação dos tie points pode resultar numa nuvem densa mais precisa. Por fim, será feita a identificação automática de zonas sem dados resultantes de oclusões ou insuficiente sobreposição de imagens recorrendo a uma implementação de voxelização em MATLAB.Os resultados obtidos refletem uma utilização adequada dos limites dos key points e tie points não sendo vantajoso a não colocação de limite neste último (onde são escolhidos todos os tie points). A esmagadora maioria dos tie points (nuvem esparsa) são apenas visíveis em 3 ou menos imagens e apresentam um erro de reprojeção concentrado em torno de 0.1 pixels. Para os dois tipos de geometrias de aquisição, a densidade de pontos do Ebee Sensefly apresenta valores em torno de 200 pontos por m3 enquanto que no Phantom 4 Pro os valores estão situados em torno de 1300 pontos por m3. Em termos de zonas sem dados, para o asa fixa e com as resoluções espaciais de 1 m, 0.5 m e 0.25 m, foram identificados volumes de 50 m3, 56.75 m3 e 60.74 m3, respetivamente. Para o multirotor utilizando as mesmas combinações, foram identificados 0 m3, 1.75m3 e 1.94 m3 como sendo zonas sem dados.Para o Agisoft Metashape, os parâmetros de processamento não influenciam a precisão do modelo 3D sendo adequado a utilização dos parâmetros por defeito. Para as duas geometrias de aquisição, a nuvem de pontos resultante do multirotor tem uma densidade de pontos muito superior à do asa fixa (diferença de cerca de 1100 pontos por m3). Em relação à voxelização, os resultados são promissores pois são identificados grande parte dos voxels sem dados. Este método é sensível à resolução espacial do voxels dado que temos presente uma nuvem de pontos que por si só já contempla zonas sem dados. Por isso a deteção destas áreas depende da resolução espacial.Com estes indicadores, concluiu-se que a geometria de aquisição do Phantom 4 Pro é melhor para a reconstrução 3D de uma arriba em termos de precisão do modelo 3D, densidade de pontos e zonas sem dados.

Due to the danger of rockfall inherent to erosion, coastal cliffs arouse high interest in its monitoring. It is important to perform a 3D reconstruction in order to identify, measure and prevent collapse. With the high technological advances in the scope of photogrammetry and 3D modelling, new areas of research have been developed, mainly in the utilization of drones for the acquisition and processing of data. Due to its complexity, prior planning is necessary in order to minimize occlusions in the 3D model (points not visible in at least two images).This dissertation aims to study exhaustively a commercial photogrammetric processing software (Agisoft Metashape) in order to optimize a 3D reconstruction of a coastal cliff. In this context, two unmanned aerial systems will be used for the image acquisition, namely a fixed-wing (Ebee Sensefly) and a multirotor (DJI Phantom 4 Pro). To orient the images blocks, the main parameters under test will be the limit of the tie points and key points, the weights of the control points and tie points in the bundle block adjustment (BBA), and the best spatial location for the control points. Then, with the reprojection error of the tie points, points that contribute to higher errors can be filtered and removed. Thus, the densification of tie points can result in a more precise dense cloud. Finally, the automatic identification of areas without data resulting from occlusions or insufficient overlapping of images will be made using a voxelization implementation in MATLAB.The results reflect an appropriate use of the limits of the key points and tie points and it is not advantageous not to place a limit on the latter (where all tie points are chosen). The overwhelming majority of tie points (sparse cloud) are only visible in 3 or less images and have a reprojection error concentrated around 0.1 pixels. In the two types of acquisition geometry, the point cloud density of the Ebee Sensefly presents values around 200 points per m3 whereas in Phantom 4 Pro the values are aroumd 1300 points per m3. In terms of zones without data, for the fixed wing, with spatial resolutions of 1 m, 0.5 m and 0.25 m, volumes of 50 m3, 56.75 m3 and 60.74 m3 were identified, respectively. For the multirotor using the same combinations, 0 m3, 1.75 m3 and 1.94 m3 are identified as zones without data.For Agisoft Metashape, the processing parameters not influence the accuracy of 3D model being adequate the use of the default parameters. For both acquisition geometries, the point cloud from multirotor has a points density much higher than that of the fixed wing (difference around 1100 points per m3). Regarding voxelization, the results are promising because most voxels without data are identified. This method is sensitive to the spatial resolution of voxels, since we have point clouds that already includes zones without data (gap zones). Therefore, the detection of this gap zones depends on the spatial resolution.With these indicators, it was concluded that the acquisition of Phantom 4 Pro is better for the 3D reconstruction of a vertical cliff in terms of the accuracy of 3D model, points density and zones without data.