Применение массово-параллельных технологий для организации потоковой обработки радарных данных

Abstract

Представлен современный подход к созданию распределенного программного комплекса на базе массовопараллельной технологии Apache Spark для потоковой пре- и постобработки радарных снимков. Отличительной особенностью системы является возможность работы в режиме реального времени с большими объемами потоковых данных, а также возможность применения существующих алгоритмов не предназначенных для распределенной обработки на множестве узлов без изменения реализации алгоритма. В работе приводится сравнение технологий распределенных вычислений, представлено общее описание кластера и механизма выполнения задач преи постпроцессинга радарных данных, также приведены особенности имплементации конкретных задач в рамках предложенного подхода. В заключении приведены результаты тестирования разработанных алгоритмов на демонстрационном кластере.

This article presents a modern approach of creating of distributed program complex based on mass-parallel technology Apache Spark for pre- and postprocessing of sar images. The unique feature of system is ability to work in real time mode with a huge amounts of streaming data and also ability to apply existed algorithms that are not used for distributed processing on multiple nodes without changing of algorithms implementation. There is a comparison of distributed processing technologies, the common description of cluster and mechanism of executing task of pre- and postprocessing sar images, also the features of exact tasks implementation in proposed approach are shown. In the conclusion there are the results of testing of developed algorithms on demonstration cluster.