Процесс обработки данных с мультиспектральной камеры MicaSense RedEdge MX (включая калибровку отражательной способности) в Agisoft Metashape Professional

В данном руководстве представлены основные этапы обработки снимков с мультиспектральных камер:

1. Добавление снимков
2. Поиск панелей для калибровки отражательной способности 
3. Ввод значений коэффициента отражения (альбедо) калибровочной панели для каждого канала
4. Запуск калибровки отражательной способности
5. Выравнивание снимков
6. Оптимизация
7. Построение плотного облака
8. Построение ЦММ
9. Построение ортофотоплана
10. Расчет необходимых индексов
11. Экспорт результатов
12. Приложение А. Использование калибровочных снимков  для калибровки в ручном режиме. Наложение масок.
13. Приложение В. База данных отражающих панелей
14. Приложение С. Контроль расчета коэффициента отражения
15. Приложение D. Виньетирование

(рекомендуется использовать для обработки Agisoft Metashape Professional 1.7.x)

Набор данных был получен с помощью БПЛА Геоскан 201 с установленным сенсором MicaSense RedEdge-MX.

Metashape использует рекомендации MicaSense при калибровке отражательной способности и обработке мультиспектральных данных, и этот подход был подтвержден (путем проверки результатов из Metashape) в ходе совместного сотрудничества команд Agisoft и MicaSense. Дополнительную информацию о рекомендациях MicaSense можно найти на их веб-сайте и в примерах GitHub:

• https://support.micasense.com/hc/en-us/articles/115000765514-Use-of-Calibrated-Reflectance-Panels-For-RedEdge-Data
• https://support.micasense.com/hc/en-us/articles/115000351194-Rededge-Camera-Radiometric-Calibration-Model
• https://github.com/micasense/imageprocessing/blob/master/MicaSense%20Image%20Processing%20Tutorial%201.ipynb

Если процедура калибровки отражательной способности не применяется (не может быть выполнена без радиометрической панели или данных сенсора освещенности), MicaSense будет исправлять только виньетирование, при условии, что соответствующая информация была сохранена в метаданных снимков.

Добавление снимков #

Снимки с камер MicaSense RedEdge, MicaSense Altum и Parrot Sequoia можно загружать одновременно для всех каналов. 

Откройте меню Обработка и выберите Добавить снимки или Добавить папку. Выберите общую папку, содержащую папки со снимками с каждого сенсора, и нажмите ОК. В диалоговом окне Добавить снимки в качестве структуры данных выберите структуру «Многокамерная система»:

Важно: Не забудьте добавить снимки с пластиной для калибровки отражательной способности!

Metashape Pro может автоматически отбирать эти калибровочные снимки в отдельную подпапку в папке Камеры на панели Проект, если в их метаданных указано, что снимки предназначены для калибровки. Также они будут автоматически  заблокированы (не будут использоваться при непосредственной обработке). 

Если в метаданных снимков нет такой информации, калибровочные снимки будут найдены автоматически на следующем этапе, или их можно вручную поместить в подпапку Калибровочные снимки в папке Камеры на панели Проект.

Поиск панелей для калибровки отражательной способности #

Откройте меню Инструменты > Калибровать отражательную способность. Нажмите кнопку Найти панели.

По окончании процедуры поиска снимки с калибровочной панелью будут перемещены в отдельную папку, а также весь снимок будет закрыт маской, кроме самой панели. Если панели не найдены автоматически, сделайте это вручную, используя алгоритм из Приложения A. Если вы используете определенную панель впервые, и ее калибровка еще не добавлена во внутреннюю базу данных Metashape Pro, вам будет предложено загрузить калибровку из CSV-файла:

Если у вас нет файла CSV с информацией о калибровке, можно ввести значения калибровки вручную на следующем этапе. Если у вас есть радиометрическая панель MicaSense, вы можете запросить соответствующий файл CSV непосредственно на веб-сайте MicaSense: https://www.micasense.com/prv

Ввод значений коэффициента отражения (альбедо) калибровочной панели для каждого канала #

Если значения калибровки отражательной способности были загружены из файла CSV или внутренней базы данных на предыдущем этапе, можно сразу перейти к 4-му этапу. 

После поиска панелей для каждого канала должны быть введены значения отражательной способности в соответствии с сертификатом панели. Это можно сделать вручную в диалоговом окне Калибровать отражательную способность или с помощью кнопки Выбрать панель, как описано в Приложении В данного руководства.

Запуск калибровки отражательной способности #

Поставьте галочку «Использовать калибровочные панели» и «Использовать сенсор освещенности» в диалоговом окне Калибровать отражательную способность, чтобы выполнить калибровку на основе данных панели и/или мета-данных снимков. Нажмите OK, чтобы начать процесс калибровки.

Выравнивание снимков #

Откройте меню Обработка > Выровнять снимки и выставьте оптимальные настройки. Функции Преселекции позволят ускорить обработку больших наборов данных.

Результат выравнивания снимков отобразится в окне Модель в виде рассчитанных положений снимков и разреженного облака точек (представляет собой набор связующих точек между перекрывающимися снимками):

Синие прямоугольники показывают рассчитанное положение и ориентацию снимков. Ограничивающая рамка определяет область построения для дальнейших этапов обработки (Построение плотного облака, Построение полигональной и тайловой моделей, Построение ЦММ, Построение ортофотоплана), и при необходимости может быть откорректирована вручную с помощью инструментов

Повернуть область,

Изменить размер области,

Переместить область.

Оптимизация #

Для повышения точности выравнивания используйте инструмент

Оптимизировать положения камер. 

Предварительно нужно задать точность привязки в окне Параметры привязки. Также, если на территории есть марки с известными координатами, то рекомендуется загрузить их координаты, уточнить положение маркеров и задать точность их координат в Параметрах привязки. Это позволит уточнить не только привязку итоговых моделей, но и элементы внутреннего ориентирования снимков, что положительно повлияет на качество построения. 

Рекомендуется использовать следующие параметры оптимизации:

Построение плотного облака #

Плотное облако точек позволяет восстановить более точную модель поверхности, улучшая тем самым и качество итогового ортофотоплана.

Откройте меню Обработка > Построить плотное облако и укажите следующие параметры:

• Использование более высокого качества обеспечит более точное восстановление поверхности (будет большее количество точек), но обработка займет больше времени. В большинстве случаев для обработки данных аэрофотосъемки достаточно Среднего качества, особенно для однородной местности. 
• Расчет цветов точек можно отключить, если плотное облако не входит в число обязательных итоговых моделей — это поможет немного сократить время обработки, а также уменьшить необходимое пространство на диске для хранения данного проекта.

Итоговое плотное облако точек будет отображено в окне Модель:

Если исходные каналы имеют метки RGB, Metashape попытается отобразить цвета точек плотного облака соответственно в этих цветах. В противном случае основной канал будет отображаться в серых оттенках.

Чтобы изменить основной канал, используйте меню Инструменты > Задать основной канал:

Построение ЦММ #

Функция Построить цифровую модель местности (ЦММ) позволяет создать точную поверхность, которая будет использоваться в качестве источника для построения ортофотоплана, за меньшее время, чем функция Построить модель. Хотя последний тип цифровой модели может потребоваться для восстановления сложного рельефа/местности.

Откройте меню Обработка > Построить ЦММ и установите следующие параметры:

• Обязательно выберите плотное облако в качестве исходных данных для реконструкции, укажите систему координат для привязки ЦММ и выберите метод интерполяции. 
• Параметр «Экстраполированная» позволит получить поверхность без каких-либо пустот, экстраполированных по сторонам ограниченного прямоугольника, в то время как параметр по умолчанию («Интерполяция») оставит допустимые значения высоты только для областей, которые видны хотя бы на одном выровненном снимке.

По завершении обработки откройте окно Орто, чтобы отобразить восстановленную цифровую высотную поверхность, и дважды нажмите на экземпляр ЦММ в содержимом блока на панели Проект.

Построение ортофотоплана #

Откройте меню Обработка > Построить ортофотоплан и установите следующие параметры:

• Используйте ЦММ в качестве исходной поверхности. При необходимости откорректируйте разрешение итогового ортофотоплана, нажав кнопку «Метры».
  Обратите внимание на опцию «Режим смешивания» — если вы хотите исключить любое смешивание или усреднение, применяемое к снимкам, в этом случае выберите опцию Отключён.

Чтобы просмотреть итоговый ортофотоплан, переключитесь обратно к окну просмотра Орто, дважды щелкнув экземпляр ортофотоплана на панели Проект:

Расчет необходимых индексов #

В меню Инструменты выберите функциюПреобразование растра. В открывшемся окне Растровый калькулятор на вкладке Преобразование введите формулу расчета индексов, значения которых требуется получить по исходным данным.

Можно ввести более одной формулы, если необходимо экспортировать ортофотоплан с несколькими выходными каналами, включающим разные индексы, или если рассчитанные индексы должны быть представлены в режиме «Псевдо цвета».

На вкладке «Палитра» выберите способ визуализации одного из вычисленных индексов или используйте шкалу «Псевдо цвета» для трех выходных каналов (обратите внимание, что для данного способа значения используемых каналов должны быть в диапазоне 0 — 1 для правильного представления RGB, где значения будут автоматически масштабироваться до 8-битного представления RGB в режиме «Псевдо цвета»). 

На следующем рисунке показано представление единственного канала, значения которого рассчитаны по формуле на вкладке «Преобразование» (в данном случае — B1). Цветовую шкалу индекса можно выбрать из предложенного списка, загрузить из файла *.clr или назначить цвета шкалы вручную.
Значения диапазона под гистограммой являются абсолютными значениями рассчитанного индекса (выходного канала), значения цвета из раздела палитры будут масштабироваться до выбранного диапазона следующим образом: минимальное значение диапазона соответствует значению 0 в цветовой шкале палитры, максимальное значение диапазона соответствует значению 1 цветовой палитры:

Когда выбрана опция «Псевдо цвета», область гистограммы можно игнорировать. Нужно только выбрать соответствие между выходными каналами и цветами RGB в режиме «Псевдо цвета»:

Экспорт результатов #

Для сохранения ортофотоплана перейдите в меню Файл > Экспорт > Экспорт ортофотоплана.

В диалоговом окне экспорта обратите внимание на пункт «Преобразование растра» — здесь доступны следующие варианты для выбора:

• Нет — означает, что экспортированный ортофотоплан будет содержать такое же количество каналов, что и в исходных данных, любые формулы преобразования будут проигнорированы;
• Значение индекса — эта опция позволяет сохранять выходные каналы с рассчитанными значениями по формулам преобразования в Растровом калькуляторе;
• Цвет индекса — ортофотоплан сохранится в цветах RGB в соответствии с настройками палитры в диалоговом окне Растрового калькулятора. Экспортированное растровое изображение будет выглядеть так же, как ортофотоплан в окне просмотра Орто, при условии, что в разделе «Преобразование» диалогового окна Растровый калькулятор стоит галочка «Включить преобразование».

Metashape Pro выполняет операцию калибровки отражательной способности в соответствии с рекомендациями MicaSense. Поэтому значения в выходных каналах будут по-прежнему 16-битными целыми числами (как значения в исходных данных), но 100%-ная отражательная способность для каждого канала будет соответствовать середине рассчитанного диапазона, то есть значению 32768. Если необходимо экспортировать коэффициент отражения, нормализованный в диапазоне от 0 до 1, необходимо задать выходные каналы в диалоговом окне Растровый калькулятор и для каждого из них ввести формулу, которая делит исходные их значения на коэффициент нормализации: B1/32768; B2/32768; B3/32768; B4/32768; B5/32768:

Затем в диалоговом окне Экспорт ортофотоплана выберите параметр «Значение индекса» в разделе Преобразование растра.

Приложение А. Использование калибровочных снимков  для калибровки в ручном режиме. Наложение масок. #

Если по какой-либо причине калибровочные снимки не могут быть найдены автоматически (например, если калибровочная панель не поддерживается или отличается от панелей MicaSense), и папка «Калибровочные снимки» не создается автоматически, добавьте группу камер на панели Проект вручную и назовите её «Калибровочные снимки», затем переместите калибровочные снимки в эту группу и заблокируйте их. Чтобы создать новую папку на панели Проект, выберите снимки с калибровочной панелью, нажмите на них правой кнопкой мыши и выберите Переместить камеры > Новая группа, затем щелкните правой кнопкой мыши на созданную папку и переименуйте ее в Калибровочные снимки. Также необходимо вручную наложить маски на калибровочные снимки — на каждом калибровочном снимке (в соответствующей папке активного блока) необходимо замаскировать все, кроме калибровочной панели

Алгоритм наложения маски:

1. Открыть калибровочный снимок;

2. Меню Снимки > Выделение контура. Обвести контур калибровочной пластины, немного отступая от краев. 

3. Правой кнопкой мыши щелкнуть внутрь контура, выбрать Добавить выделение и далее Инвертировать маску, чтобы маска наложилась на весь кадр, кроме самой пластины (маска отображается в виде затемнения).

Маски необходимо применять для каждого калибровочного снимка в каждом канале! Для переключения между каналами используйте меню Инструменты > Задать основной канал.

По завершении процедуры маскирования перейдите к 3-му этапу данного руководства и введите значения отражательной способности для каждого канала, а затем перейдите к процедуре калибровки.

Приложение В. База данных отражающих панелей #

Metashape хранит информацию об используемых панелях калибровки отражательной способности. Поэтому при обнаружении калибровочных снимков с уже используемой панелью Metashape автоматически предложит значения отражательной способности из внутренней базы данных. База данных панелей калибровки отражательной способности может быть отредактирована через диалоговое окно Выбрать панель, которое открывается через диалоговое окно Калибровать отражательную способность.

В диалоговом окне Выбрать панель можно:

•  загрузить информацию об отражательной способности из файла CSV; 
• сохранить текущую таблицу (длина волны/коэффициент отражения); 
• редактировать название панели в базе данных (имя отображается в окне Калибровать отражательную способность); 
• удалить информацию о панели из базы данных.

Приложение С. Контроль расчета коэффициента отражения #

Расчёт отражательной способности можно включить/отключить отдельно для каждого сенсора в диалоговом окне Калибровка камеры.

Если результаты калибровки отражательной способности необходимо учесть во время процесса создания ортофотоплана, откройте диалоговое окно Калибровка камеры и убедитесь, что стоит галочка «Нормализовать чувствительность канала». 

Если галочка Нормализовать чувствительность канала не стоит, полученный ортофотоплан будет содержать значения цвета по умолчанию без каких-либо изменений благодаря калибровке отражательной способности по информации с панели или мета-данных снимков (включая информацию с сенсора освещенности).

Приложение D. Виньетирование #

Виньетирование моделируется в Metashape с использованием двумерного полинома 3 степени: 

V(x, y) = exp(sum_ii c_ij * xⁱ * y^j), 

где x и y представляют собой нормализованные координаты пикселя, то есть координаты левого верхнего угла изображения (-1, -1), а координаты правого нижнего угла соответственно (1, 1). 

Для компенсации виньетирования изображения значение интенсивности для каждого пикселя делится на соответствующий коэффициент виньетирования. 

I’_ij = I_ij / exp(sum_ij c_ij * xⁱ * y^j), 

где 

x = 2 * (i + 0.5) / w — 1 

y = 2 * (j + 0.5) / h — 1 

i, j — целочисленные координаты пикселя (столбец и строка) 

w, h – ширина и высота изображения в пикселях 

x, y — нормализованные координаты пикселя 

I_ij — интенсивность для пикселя на исходном изображении с виньетированием 

I’_ij   — интенсивность для пикселя на скорректированном изображении с виньетированием