СИСТЕМА ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ ЗАДАЧ СБЛИЖЕНИЯ И СТЫКОВКИ, ПОСАДКИ КА НА ОСНОВЕ
КОМПЬЮТЕРНОГО ВИДЕНИЯ
Соколов С.М.., Богуславский А.А.Москва, УРАН ИПМ им. М.В.
Келдыша РАНe-mail: [email protected]
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18
марта 2010
СИСТЕМА ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ ЗАДАЧ СБЛИЖЕНИЯ И СТЫКОВКИ, ПОСАДКИ КА НА
ОСНОВЕ КОМПЬЮТЕРНОГО ВИДЕНИЯ
ВведениеАлгоритмическое обеспечениеПрограммные технологииПримеры реализацииЗаключение
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010
ВведениеОдним из эффективных средств информационного обеспечения при решении навигационных задач в процессах сближения и стыковки, посадки космических аппаратов (КА) является визуальный канал.До последнего времени этот канал использовался в «ручном» режиме, в виде визуальной обратной связи посредством зрительной системы человека в контуре управления КА (например, комплекс ТОРУ на транспортных кораблях и космических станциях). Человеческий фактор привносит в контур управления ряд особенностей, сдерживающих эффективность самого зрительного канала и всей системы управления (СУ) КА в целом.
Цель автоматизированного мониторингаКонечная цель программного комплекса для автоматизации визуального мониторинга процессов сближения и стыковки КК и МКС - полная автоматизация визуального контроля стыковки КК и МКС с момента видимости МКС в поле зрения ТВ-камеры КК (приблизительно 150 м) и до полной стыковки КК и МКСНа основных этапах сбора и обработки зрительных данных комплекс работает подобно человеку-оператору В дополнение к действиям оператора, комплекс вычисляет и отображает в виде принятом для анализа, количественные параметры, характеризующие относительное движение КК и МКСВозможности многофункциональных расширений.
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18
марта 2010
Алгоритмическое обеспечение
• На кадре видеоизображения выбираются несколько характерных точек станции, координаты которых в ее строительной системе координат известны. Координаты этих точек в кадре измерялись – алгоритмами выделения интересующих объектов и формировании их математического описания (геометрических мест точек).
• Затем методом наименьших квадратов с использованием формул пересчета координат точек реальной станции в координаты тех же точек на ее изображении в кадре находятся координаты фокуса камеры и ее ориентация в строительной системе координат станции. Функционал метода наименьших квадратом формировался так, чтобы его минимизация по определяемым параметрам позволила наилучшим образом согласовать расчетные и измеренные координаты выбранных точек на видеоизображении. Найденные таким образом координаты фокуса камеры и параметры ее ориентации пересчитывались в параметры положения строительной системы координат корабля относительно строительной системы координат станции.
• В результате описанной обработки получается последовательность положений корабля (точнее, последовательность параметров, задающих положение его строительной системы координат) во времени. Интерполяция этой последовательности позволяет рассчитывать положение корабля для любого момента на представляющем интерес отрезке времени, а геометрические модели корабля и станции, позволяют визуализировать это положение.
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18
марта 2010
Алгоритмическое обеспечениеОсновные составные подсистемы
автоматизированного мониторинга
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18
марта 2010
Измерительная подсистема
Вычислительная подсистема
Измерительная подсистема
• Выделение положения областей интереса (ROI) на текущем изображении
• Предобработка зрительных данных в области интереса
• Выделение (распознавание) образов объектов интереса в ROI
• Определение размеров и координат распознанных образов
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18
марта 2010
Выделение положения областей интереса (ROI) на текущем изображении
Пример выделения области интереса в поле зрения ТВ-камеры на борту КК a) полное изображение поля зрения камеры на борту КК b) изображение области интереса (ROI)
a)
b) НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18
марта 2010
Предобработка зрительных данных в области интереса
Выделение креста мишени среди кандидатов на основе априорной информации (размеры и относительное расположение перекладин креста).
Выделение (распознавание) образов объектов интереса в ROI
Пример выделения меток мишени на основании априорной информации об их расположении (a) оценка расположения области интереса для выделения меток (b) грубая оценка радиуса мишени по результатам обработки диаметрально расположенных фрагментов/кандидатов меток (c) кольцеобразная область интереса с метками мишени (d) результаты распознавания меток мишени и уточнённой оценки радиуса мишени
a) b)
c) d)
Измерительная подсистемаИзмерительная подсистемавыходные данныевыходные данные
Измерительная информация,Измерительная информация, полученная в результате обработки одного полученная в результате обработки одного телевизионного полукадра кадра, имеет вид:телевизионного полукадра кадра, имеет вид:
– – время привязки полукадра (в секундах от начала видеоклипа);время привязки полукадра (в секундах от начала видеоклипа); – – координаты центра креста (действительные числа);координаты центра креста (действительные числа); – – количество точек на верхней/нижней горизонтальной стороне креста (целое количество точек на верхней/нижней горизонтальной стороне креста (целое
число);число); – – координаты точек на верхней горизонтальной стороне креста (целые числа координаты точек на верхней горизонтальной стороне креста (целые числа
– координаты точек на нижней горизонтальной стороне креста (целые числа);– координаты точек на нижней горизонтальной стороне креста (целые числа); – – координаты точек на левой вертикальной стороне креста и их координаты точек на левой вертикальной стороне креста и их
координаты (целые числа);координаты (целые числа); – – координаты точек на правой вертикальной стороне креста (целые координаты точек на правой вертикальной стороне креста (целые
числа);числа); – – координаты центра окружности мишени и ее радиус координаты центра окружности мишени и ее радиус
(действительные числа);(действительные числа); – – количество точек на окружности мишени и их количество точек на окружности мишени и их
координаты (целые числа);координаты (целые числа); – – координаты центра внешнего обода станции (окружности) и ее координаты центра внешнего обода станции (окружности) и ее
радиус (действительные числа).радиус (действительные числа).
TCC YX ,
1N
ii YX ,
ii YX ,
ii VU ,
ii VU ,
RYX OO ,,
),,2,1(,, 33 NiBAN ii
SSS RYX ,,
Вычислительная подсистема
Методом наименьших квадратов с использованием формул пересчета координат точек реальной станции в координаты тех же точек на ее изображении в кадре находятся координаты фокуса камеры и ее ориентация в строительной системе координат станции. Функционал метода наименьших квадратом формировался так, чтобы его минимизация по определяемым параметрам позволила наилучшим образом согласовать расчетные и измеренные координаты выбранных точек на видеоизображении. Найденные таким образом координаты фокуса камеры и параметры ее ориентации пересчитывались в параметры положения строительной системы координат корабля относительно строительной системы координат станции.
В результате описанной обработки получается последовательность положений корабля (точнее, последовательность параметров, задающих положение его строительной системы координат) во времени. Интерполяция этой последовательности позволяет рассчитывать положение корабля для любого момента на представляющем интерес отрезке времени, а геометрические модели корабля и станции, позволяют визуализировать это положение.
ВЫЧИСЛИТЕЛЬНАЯ ПОДСИСТЕМАВЫЧИСЛИТЕЛЬНАЯ ПОДСИСТЕМАОпределение координат центра перекрестия мишени
The cross is supposed to be formed by the orthogonal straight lines
, , where the coefficients , and are unknown.
They are determined as follows.
Processing the digital image results in two sequences of points:
the points , …, lie on the first line, the points , …, lie on the second line.
Solving the linear problem of least squares
on
gives the values of the coefficients.
Then the cross coordinates are calculated:
, .
1cyax 2cayx a 1c 2c
),( 11 YX ),(11 NN YX ),( 11 VU ),(
22 NN VU
min)()(1 2
1
2
12
211
N
i
N
jjjii cVaUcYXa 21,, cca
221
1 a
cacXC
2
12
1 a
cacYC
Вычислительная подсистемаопределение движения КК
The mathematical model of the spacecraft motion is described by formulas
, , ,
, , .
Here is time counted from the beginning of the clip, and are constant coefficients. The measurement data
, Where , etc., are processed by portions. Each portion contains about 10 frames (instants ). Its processing is carried out in two stages.
tzztd 211 )( tzztd 432 )( tzztd 653 )(
tvvt 211 )( tvvt 432 )( tvvt 653 )(
t iz jv
)()()()()()( ,,,,,, kO
kO
kkC
kC
kk YXRYXat
)()(k
k taa kt
At first, the coefficients are determined as the solution of the regression problem
, , .
Then, the coefficients are determined as the solution of the problem
, , .
At the processing of the second and subsequent portions of data, the previous estimations of and are taken into account as a priori information about these coefficients.
iz
)()(
33
1
])()[(
)( kO
kC
kk
k XXbtdtd
tbdf
)()(
33
2
])()[(
)( kO
kC
kk
k YYbtdtd
tbdf
)(
3 )(k
k
Rtd
fr
jv
)(
)(1)(
3
2)(1
k
kkOk td
tfdY
ft
)(
)(1)(
3
1)(2
k
kkOk td
tfdX
ft
)(3 )( kk at
iz
jv
Компонентный каркас для разработки ПрО СТЗ реального времени
Структура предлагаемого каркаса
Каркас – заготовка приложения СТЗ для доработки применительно к конкретной задаче.
Архитектура каркаса основана на применении трех параллельных подсистем:
• Наращиваемая среда разработки ПрО СТЗ на языке программирования Си++
• Компоненты: классы и подсистемы
• подсистема ввода зрительных данных
• подсистема интерфейса пользователя
• подсистема обработки зрительных данных
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010
Программные технологии
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010
Компонентный каркас для разработки ПрО СТЗ реального времени
Координация взаимодействия подсистем – объекты-режимы
Режимы функционирования
О бъект “Буф ер кадра”
П одсистема обработки
изображений
П одсистема вводазрительны х данны х
П одсистемаинтерф ейса
пользователя
Запустить
Вы полнить регистрацию клиента
О бъект “Режим настройки”
Включить
Уведомление о съеме кадра
О ткры ть буф ер изображения
Копировать
Закры ть буф ер изображенияП олучить изображение
О бработать изображение
О тобразить текущ иерезультаты обработки
Вы ключить
О тменить регистрацию клиента
Режим настройки:
• проверка аппаратной части
• проверка обработки изображений
• просмотр результатов
Компонентный каркас для разработки ПрО СТЗ реального времени
Координация взаимодействия подсистем – объекты-режимы
Режимы функционирования
Автоматический режим:
• Обработка в реальном времени
• Отключение буфера кадра
П одсистема обработки
изображений
П одсистема вводазрительны х данны х
П одсистемаинтерф ейса
пользователя
Запустить
Вы полнить регистрацию клиента
О бъект “Автоматический
режим”
Включить
Уведомление о съеме кадра
О ткры ть буф ер изображения
Закры ть буф ер изображения
О бработать изображение
О тобразить текущ иерезультаты обработки
Вы ключить
О тменить регистрацию клиента
О тобразить результаты
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010
Примеры реализации
• Сближение и стыковка КК «Прогресс» и МКС
• Сближение и стыковка КК «ATV» и МКС• Работа с оптическим потоком в Земных
условиях
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18
марта 2010
Пример работы комплекса автоматизированного мониторинга
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010
Сравнение результатов определения параметров относительного движения КК и МКС по зрительным данным
и традиционно (радиолокация).
На верхнем рисунке темным – традиционными методами, розовым - СТЗ; на нижнем: красным – традиционными, черным - СТЗ
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010
Сближение и стыковка КК «ATV» и МКС
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010
Стыковочный узел СО1
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010
Стыковочный узел ФГБ
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010
модуль ЛНС на основе бесконтактного одометра
Система сама подстраивается под изменяющуюся текстуру Система сама подстраивается под изменяющуюся текстуру подстилающей поверхности для сохранения надёжности подстилающей поверхности для сохранения надёжности результатарезультата
23Домбай 6НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010тая Всероссийская научно-практическая конференция ПЕРСПЕКТИВНЫЕ СИСТЕМЫ И ЗАДАЧИ УПРАВЛЕНИЯ
модуль ЛНС на основе бесконтактного одометра
Пример определения траектории движения ТСПример определения траектории движения ТС
Домбай 6—10 апреля 2009 Четвертая Всероссийская научно-практическая конференция ПЕРСПЕКТНТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010 24
Заключение• Описанные системы используются в настоящее время
наземными службами в режиме опытной эксплуатации. Получают необходимую информацию в режиме реального времени.
• Все элементы описанной системы и её функциональные
возможности продолжают совершенствоваться • Открытая архитектура и компонентные технологии
позволяют говорить о возможности формирования многофункционального информационного комплекса на основе системы компьютерного видения
НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18
марта 2010
Top Related