Исследователи объединяют дроны и ИИ, чтобы сделать удаление мин быстрее и безопаснее

(MENAFN- The Conversation) По меньшей мере 57 стран имеют в своих территориях действующие противопехотные мины. Только в 2024 году от мин погибли 1945 человек, а 4325 получили ранения, при этом 90% из них — гражданские лица. Почти половина пострадавших — дети. В том же году операции по разминированию удалили 105 640 мин.

С новыми конфликтами число мин продолжает расти. Для фермеров, детей и других людей, возвращающихся в районы после конфликта, один шаг может означать постоянную травму или смерть.

Я — студент аспирантуры кафедры визуальных наук в Рочестерском институте технологий, работаю с Эмметом Иентилуччи. Мои исследования сосредоточены на использовании беспилотных летательных аппаратов с мультисенсорной съемкой и искусственным интеллектом для повышения скорости, точности и надежности обнаружения мин и неразорвавшихся боеприпасов.

Наша цель — добиться этого тремя способами: разработкой методов объединения данных с различных типов сенсоров, созданием эталонных наборов данных для разработки и оценки систем обнаружения, а также повышением надежности методов ИИ за счет учета оценок неопределенности.

Множественные сенсоры сверху

Обнаружение мин по-прежнему в значительной степени зависит от наземных методов, каждый из которых имеет серьезные ограничения. Ручные металлоискатели часто плохо работают в минерализованных почвах и слабо обнаруживают мины с низким содержанием металла или в основном из пластика. Глубинное радиолокационное сканирование может обнаруживать неметаллические объекты, но плохо работает на влажной или неровной местности, а также под растительностью, часто вызывая большое количество ложных срабатываний. Ручное зондирование и натренированные животные-детекторы остаются эффективными, но процесс медленный, требует много ресурсов и подвергает опасности саперов. В масштабах, подобных развертыванию мин в Украине и других регионах конфликтов и постконфликтных зон, только наземные обследования не могут идти в ногу с ситуацией.

Для ускорения обследований все чаще используют аэровизуальную съемку с беспилотников, особенно для мин, заложенных на поверхности земли. Однако маскировка, растительность и изменение условий освещения часто делают эти мины почти невидимыми на обычных изображениях.

Ранее мои коллеги и я исследовали, насколько реалистично использование аэровизуальных сенсоров в качестве замены или поддержки традиционных наземных методов. Мы оценивали возможность замены ручных металлоискателей на воздушные системы обнаружения металлов для поиска мин и неразорвавшихся боеприпасов.

Результаты показали, что магнитное обнаружение с помощью дронов может с высокой точностью находить металлические цели, сравнимой с наземными методами, в контролируемой тестовой зоне, при этом снижая риск для человека и увеличивая скорость обследования примерно в десять раз. Наш тепловой картой, созданной с помощью воздушного электромагнитного металлоискателя, выделены вероятные места залегания мин и боеприпасов, что демонстрирует, как дроновая съемка может безопасно и эффективно обследовать зоны, где заложены мины.

Аэровизуальное обнаружение выигрывает за счет дополнительных сенсоров. RGB-камеры, фиксирующие видимый свет в цвете, позволяют выявлять визуальные признаки мин. Тепловые сенсоры показывают разницу температур между миной и окружающей землей. Мульти- и гиперспектральные сенсоры распознают сигнатуры различных материалов. Синтетическая апертура радаров обнаруживает изменения поверхности земли. LiDAR создает карты тонких поверхностных нарушений. Магнитометры выявляют подземные металлические компоненты. Совместное использование этих сенсоров позволяет учитывать разнообразие типов мин и условий их развертывания в реальных условиях.

Несмотря на потенциал, системы обнаружения мин с использованием мультисенсорных дронов остаются недостаточно изученными. Прогресс ограничен отсутствием публичных эталонных наборов данных, содержащих данные с разных сенсоров, полученные при реалистичных развертываниях мин и с точной информацией о их положении и глубине — так называемой ground truth. Без таких данных исследователи не могут точно сравнивать алгоритмы, валидировать результаты или разрабатывать модели ИИ, которые хорошо работают вне лабораторных условий.

Создание наборов данных для обнаружения мин

Чтобы решить эту проблему, наша команда и несколько других исследователей сотрудничали с некоммерческой организацией Demining Research Community для сбора комплексного набора данных. Мы использовали контролируемое полевое испытание этой организации в Оклахоме, где было размещено более 140 неактивных мин и боеприпасов.

Мы собрали большой геореференцированный мультисенсорный набор данных с использованием как наземных, так и беспилотных платформ на различных высотах. В него вошли гиперспектральные, мультиспектральные, тепловые, RGB, LiDAR, синтетическая апертура радаров, радиолокация с глубинным проникновением, электромагнитный индукционный металлоискатель и магнитометры. Этот набор данных будет опубликован в научной статье, которая сейчас проходит рецензирование. Часть данных — видимый и ближний инфракрасный гиперспектральный набор, полученный на высоте 20 метров — уже опубликована в рамках конференции.

Международное расширение этого проекта произошло благодаря сотрудничеству с Королевской военной академией Бельгии в рамках масштабной кампании по сбору данных. Мы развернули более 110 реплик мин типа PFM-1 на различных типах рельефа и растительности.

Для имитации реальных минных полей мы рассеяли неактивные мины, моделируя воздушное распространение. Каждую мину точно обследовали и геолокационно зафиксировали с помощью GPS-станций. Затем собирали данные на разных высотах с помощью дронов, оснащенных гиперспектральными, мультиспектральными, тепловыми, RGB, LiDAR и поляризационными сенсорами, уменьшающими блики.

Другие исследовательские группы, участники и промышленные партнеры, включая производителей сенсоров, собирали дополнительные наборы данных на том же полевом участке. Эти данные сейчас обрабатываются и вскоре будут доступны в открытом доступе.

Насколько нам известно, это будут первые в своем роде публичные наборы данных, открывающие новые возможности не только для исследований в области обнаружения мин, но и для более широкой сообщества ИИ и дистанционного зондирования. Сделав эти данные общедоступными, мы надеемся ускорить развитие методов мультисенсорной фузии, повысить надежность систем обнаружения на базе ИИ и сократить разрыв между академическими исследованиями и потребностями промышленности и гуманитарных организаций.

Оценка надежности

Но даже при тщательной калибровке сенсоров с помощью наших данных важно учитывать ограничения технологий. В задачах, таких как обнаружение мин, одна ошибка может стоить жизни. Значительная часть моих исследований посвящена надежности ИИ и оценке неопределенности. В недавнем исследовании мы разработали меру неопределенности модели ИИ относительно ее предсказаний.

Вместо того чтобы заставлять модели всегда давать уверенные прогнозы, мы разрабатываем методы, позволяющие системам говорить: «Я не уверен». Наша цель — предоставлять метрику неопределенности вместе с предсказаниями: чем более шумное или неоднозначное входное изображение, тем выше уровень неопределенности. Эта информация помогает саперам принимать более безопасные и обоснованные решения, особенно в сложных или неопределенных условиях.

С выпуском этих наборов данных откроются новые возможности для исследований в области ИИ и дистанционного зондирования по объединению данных с разных сенсоров. В наборах представлены разнообразные цели по размеру, форме и ориентации, все данные полностью геореференцированы и содержат точную ground truth. Поскольку каждое целевое объект было зафиксировано несколькими сенсорами на разных высотах, исследователи смогут проводить сравнительный анализ эффективности отдельных сенсоров и комбинированных подходов. Это поможет создавать более надежные, безопасные и быстрые алгоритмы обнаружения, адаптированные к реальным условиям разминирования.

В основе этого исследования — не алгоритмы или дроны, а люди. Это фермеры, возвращающие свои земли, дети, идущие в школу безопасно, и сообщества, восстанавливающиеся без страха. Объединив ИИ, дроны и открытые научные данные, мы стремимся превратить медленную и опасную практику обнаружения мин в более безопасный, умный и масштабируемый процесс, который поможет вернуть жизнь на постконфликтные территории.