Применение нейронных сетей для интеллектуального анализа состояния воздушных линий электропередачи с использованием беспилотных воздушных судов

Традиционные методы контроля состояния линий электропередачи, основанные на визуальных обследованиях, требуют значительных временных и человеческих ресурсов. В связи с этим применение беспилотных воздушных судов (БВС) становится все более актуальным для проведения осмотров ЛЭП, обеспечивая более эффективный способ получения информации. БВС, оборудованные высококачественными камерами и датчиками, способны осуществлять детальный мониторинг состояния линий электропередачи, выявляя дефекты и отклонения. При этом с увеличением объема собранных данных возникает необходимость в автоматизации их анализа. В данной статье рассматривается вопрос интеграции БВС и сверточных нейронных сетей для создания комплексной системы автоматического мониторинга состояния ЛЭП.

Микрюков В.В., руководитель Дирекции по инновационной деятельности и импортозамещению ПАО «Россети Центр»
Пацев А.А., главный специалист Дирекции по инновационной деятельности и импортозамещению ПАО «Россети Центр»
Середкин О.А., начальник управления технологического развития и цифровизации филиала ПАО «Россети Центр» — «Липецкэнерго»
Кузнецов В.С., заместитель директора по инновациям ГК «Беспилотные системы»
Стерликов С.А., руководитель Департамента беспилотных систем ООО «ВизорЛабс»

Система создана в компании «Россети Центр» в рамках проекта НИОКР «Разработка программно-аппаратного комплекса для интеллектуального обнаружения объектов исследования и автоматического построения полетных заданий беспилотных воздушных средств различного типа». Для реализации проекта создана рабочая группа, в которую вошли ГК «Беспилотные системы» и ООО «ВизорЛабс».

РАЗРАБОТКА КОМПЛЕКСНОЙ СИСТЕМЫ

Совокупная протяженность линий электропередачи классом напряжения 35–110 кВ группы компаний «Россети Центр» составляет более 63 тыс. км, для которых необходимо осуществлять ежегодный осмотр. При этом порядка 43% всех линий проходят по труднодоступной местности — это переходы через реки, болотистая и лесистая местность.

В целях повышения операционной эффективности функционирования «Россети Центр» начало активно развивать альтернативные способы осмотров линий, в частности с применением БВС, и в 2023 году был дан старт НИОКР «Разработка программно-аппаратного комплекса для интеллектуального обнаружения объектов исследования и автоматического построения полетных заданий беспилотных воздушных средств различного типа».

Реализуемый НИОКР направлен на усовершенствование существующих в компании решений, автоматизацию планирования полетов и управления полевыми работами, получение максимально качественных и релевантных аэрофотоснимков, внедрение системы автоматической корректировки полетных заданий и использования нейросетевых алгоритмов для интеллектуального анализа получаемых материалов.

В рамках НИОКР в 2024 году создана принципиально новая лаборатория беспилотной диагностики воздушных линий (рисунок 1).

Разработанное решение позволило выстроить комплексную систему для мониторинга ВЛ, включающую: планирование полетов, облет с применением БВС, анализ фотоматериала и автоматическую фиксацию дефектов.

ДИАГНОСТИКА ЛИНИЙ 35–110 кВ С ПРИМЕНЕНИЕМ БВС

В рамках проекта сформирован оптимальный бизнес-процесс (рисунок 2) эффективного осуществления диагностики линий 35–110 кВ с применением БВС.

Для этапа планирования полетов в рамках реализации проекта НИОКР создано программное обеспечение «Организация полетов БВС» (рисунок 3) (Свидетельство о государственной регистрации программы для ЭВМ № 2024665922 от 08.07.2024), которое позволяет автоматизировать процесс взаимодействия специалистов линейных служб с бригадами БВС в части формирования заявок на мониторинг и диагностику ВЛ, а также оптимизировать процесс подготовки к полету в части формирования полетного задания и получения необходимых разрешений. Функционал комплекса обеспечивает:

• создание и ведение заявок в привязке к координатам и охранным зонам ВЛ;
• проведение, контроль, а также формирование необходимых разрешительных документов в автоматическом режиме для всех стадий согласования полета с внешними организациями;
• управление действиями полетных бригад БВС во время проведения полетов (мобильное приложение).

При рассмотрении решения задач мониторинга объектов ВЛ важными критериями эффективности БВС являются: продолжительность полета, возможность фиксации опоры в кадре, высота полета, возможность запуска и посадки с небольшой площадки, точная съемка (подразумевается исключение пропусков опор ВЛ).

Таким образом, оптимальная эффективность может быть достигнута при использовании БВС типа конвертопланов (рисунок 4), которые способны обеспечить высоту полета от 100 метров, возможность запуска и посадки БВС с небольшой площадки.

Для мониторинга одной ВЛ облет осуществляется один раз с двухпроходной съемкой на средней высоте ~120 м. Используется камера высокого разрешения (40–60 Мп), закрепленная на подвесе под углом 45 градусов по ходу движения. Такой порядок съемки позволяет увидеть все типы нарушений — от деревьев в охранной зоне до выпавших изоляторов.

Во время полета фиксируются точные координаты в момент съемки и параметры внешнего ориентирования борта (в дальнейшем это позволяет точно привязать снимки и построить на них точные проекции охранных зон).

На этапах обработки фотоматериалов и распознавания дефектов в рамках НИОКР разработано специализированное ПО «Анализ состояния ВЛ» (Свидетельство о государственной регистрации программы для ЭВМ № 2024665921 от 08.07.2024), которое обеспечивает:

• ведение паспортных данных по обследуемым объектам;
• выполнение загрузки аэрофотоснимков и полетных журналов, их геопривязку к опорам и пролетам воздушных линий электропередачи;
• расчет координат охранных зон, наложение их полигонов на снимки;
• нейросетевую обработку снимков с выявлением на них дефектов и отклонений от нормативного состояния;
• формирование журнала дефектов и листка осмотра, выгрузка для передачи в ТОиР.

Основным ключом к автоматизации анализа данных, полученных при использовании БВС для диагностики ВЛ, являются нейросетевые модели, которые позволяют видеть на снимках объекты интереса, которые могут являться признаками дефекта. Пример работы нейросетевых алгоритмов представлен на рисунке 5.

Для решения задач автоматического анализа получаемых фотоматериалов оптимальным является применение сверточных нейросетей (СНС). Основные компоненты СНС: сверточные слои выполняют операцию свертки, применяя фильтры к входным данным, чтобы выделить признаки (такие как края, текстуры и формы); слои подвыборки уменьшают размерность данных, сохраняя важные признаки, что позволяет снизить вычислительные затраты и повысить устойчивость к искажениям; полносвязные слои после преобразуют данные в одномерный вектор для классификации и обработки.

В отличие от традиционных методов обработки изображений, СНС способны автоматически выявлять иерархические признаки, начиная от простых линий и контуров и заканчивая более сложными объектами, такими как здания, дороги или транспортные средства. Одним из ключевых преимуществ сверточных нейросетей является их устойчивость к изменениям ракурса, масштаба и освещенности, что особенно важно при обработке снимков, сделанных с разных высот и под разными углами. СНС отлично справляются с шумом, который часто присутствует на изображениях, сделанных в сложных погодных условиях.

Для multiscale-моделей нейронных сетей, обрабатывающих фотографии с БПЛА с объектами различных размеров, можно использовать следующую обобщенную формулу:

F = φ(∑(w_i · f_i(I_i)) + b), (1)

где F — итоговый выход multi-scale модели; φ — функция активации (например, ReLU); w_i — весовые коэффициенты для каждого масштаба; f_i — функция обработки изображения на i-м масштабе; I_i — входное изображение, масштабированное до i-го размера; b — смещение.

Раскроем подробнее компоненты формулы:

Масштабирование входного изображения:

I_i = resize(I, s_i), (2)

где I — исходное изображение; s_i — коэффициент масштабирования.

Функция обработки на каждом масштабе (сверточная нейронная сеть):

f_i(I_i) = CNN_i(I_i). (3)

Взвешенная сумма выходов разных масштабов:

∑(w_i · f_i(I_i)). (4)

Применение функции активации:

φ(x) = max(0, x) для ReLU. (5)

Итоговая расширенная формула:

F = φ(∑(w_i · CNN_i(resize(I, s_i))) + b). (6)

Эта формула отражает основную идею multiscale-подхода — обработку изображения на разных масштабах с последующим объединением результатов. Такой подход позволяет эффективно обрабатывать изображения с БПЛА, содержащие объекты различных размеров.

На текущий момент в датасете, разработанном ПАО «Россети Центр», содержится более 237 тысяч аннотаций. Классическая детекция (117 тысяч): техника, порубочные остатки, строения, отдельно стоящие и поваленные деревья, траверсы, виброгасители. Наклонная детекция (34 тысячи): опоры, гирлянды изоляторов. Семантическая сегментация (86 тысяч): лес, кусты, дороги, водные объекты. Представление детекций приведено на рисунке 6.

Модель постоянно совершенствуется и дорабатывается путем обучения новым видам эксплуатационных дефектов.

Определение корректных границ охранной зоны ВЛ даже при наличии аэрофотоснимков является трудоемкой и сложной задачей. Поэтому отдельного внимания заслуживает алгоритм расчета охранных зон ВЛ. Зоны рассчитываются автоматически от крайнего провода с использованием информации по типам опор и уровню напряжения ВЛ. Для наложения охранной зоны на снимок выполняется 3D-реконструкция положения БВС относительно ВЛ в момент съемки (рисунок 7).

После обработки полученных с БВС фотоматериалов система в автоматическом режиме формирует журнал дефектов, в котором обнаруженные дефекты приоритизируются по важности и срокам устранения и представляются в удобном для сотрудника линейных служб виде (с привязкой к координатам фотоматериалами и возможностью детального ознакомления с подробностями обнаруженных дефектов).

Комплексная система в текущей версии обеспечивает выявление и идентификацию 41 типа дефектов, таких как: отклонение опоры в поперечной плоскости оси ВЛ; обрыв провода; наброс на провода; недостаточная ширина просеки; наличие на трассе ВЛ (под проводами) ДКР выше 4 метров, повреждение анкерного зажима; изменение стрелы провеса провода; наличие антропогенных объектов в охранной зоне; нарушение конструкции изоляторов и многих других. Дефекты, диагностируемые системой, являются причиной более 92% отключений на ВЛ 35–110 кВ.

ВЫВОДЫ

За период эксплуатации комплексной системы по анализу ВЛ с применением БВС было диагностировано порядка 3700 км ВЛ 35–110 кВ, выявлено более 3600 дефектов, из которых 90% — это нарушение охранных зон ВЛ и оставшиеся 10% — это дефекты опор, арматуры и проводов.

Удалось достичь снижения расходов на осмотр ВЛ 35–110 кВ относительно классического метода на 64% и повышения производительности труда на 84%.

В рамках реализации проекта НИОКР ведутся работы по установке на борт БВС системы автоматической корректировки курса и управления углом подвеса полезной нагрузки, что позволит повысить качество получаемых фотоматериалов, снизить время облета ВЛ, что приведет к дополнительному повышению показателей производительности труда и снижению затрат.

Ключевой эффект от применения комплексных систем БВС — высвобожденный временной ресурс сотрудников компании — направляется не на поиск дефектов, а на их предупреждение и устранение.