58
Программно-аппаратный комплекс
для распознавания состояния
и показаний приборов учета
электроэнергии на основе алгоритмов
искусственного интеллекта
Основная
цель
разработки
—
повысить
эффективность
процесса
сбора
показаний
и
контро
-
ля
состояния
приборов
учета
,
исключить
ошибки
при
ручном
занесении
показаний
в
мо
-
бильное
приложение
программного
комплекса
«
Мобильный
контролер
»
и
корпоративные
информационные
системы
.
В
рамках
проведенного
НИОКР
инженер
при
сборе
показаний
не
заносил
данные
вручную
,
а
фотографировал
численные
показания
прибора
учета
.
Изображения
обрабатывались
с
помощью
методов
искусственного
интеллекта
,
которые
автоматически
распознавали
серийный
номер
прибора
учета
,
его
модель
,
наличие
пломб
,
показания
потребления
электроэнергии
.
Применение
алгоритмов
компьютерного
зрения
и
машинного
обучения
позволило
оптимизировать
временные
трудозатраты
,
а
также
суще
-
ственно
уменьшило
количество
ошибок
при
занесении
показаний
по
приборам
учета
.
УЧЕТ
ЭЛЕКТРОЭНЕРГИИ
Н
а
сегодняшний
день
при
-
мерно
20%
всех
приборов
учета
(
ПУ
)
составляют
современные
«
интел
-
лектуальные
»
аппараты
,
данные
с
которых
передаются
в
инфор
-
мационные
системы
верхнего
уровня
по
каналам
связи
.
Од
-
нако
оставшиеся
80%
приборов
требуют
периодического
обхода
с
целью
съема
актуальных
по
-
казаний
.
Данный
процесс
сопро
-
вождается
высоким
уровнем
не
-
производительных
трудозатрат
и
неоптимальной
загрузкой
рабо
-
чего
времени
производственно
-
го
персонала
.
Ручное
внесение
большого
количества
цифр
свя
-
зано
с
неизбежными
ошибками
,
обусловленными
человеческим
фактором
.
Кроме
того
,
существу
-
ет
необходимость
контроля
со
-
стояния
ПУ
при
выполнении
про
-
цедур
их
обхода
и
осмотра
.
Для
оптимизации
процесса
в
ряде
электросетевых
организаций
внедрено
приложение
«
Мобиль
-
ный
контролер
» [1],
позволяющее
планировать
и
контролировать
работы
по
съему
контрольных
показаний
,
с
возможностью
ручного
ввода
показаний
в
сис
-
тему
.
В
рамках
НИОКР
ПАО
«
Рос
-
сети
Центр
»
на
разработку
про
-
граммно
-
аппаратного
комплекса
для
распознавания
состояния
и
показаний
ПУ
был
разработан
инструмент
,
позволяющий
мак
-
симально
автоматизировать
про
-
цесс
сбора
показаний
и
оценки
состояния
ПУ
за
счет
применения
технологий
компьютерного
зре
-
ния
и
машинного
обучения
.
Для
выполнения
задач
автоматиза
-
ции
был
разработан
программ
-
ный
модуль
с
распознаванием
фото
-
и
видеоинформации
,
функ
-
ционирующий
под
управлением
операционной
системы
Ubuntu
на
серверной
части
и
операционной
системы
Android
на
мобильных
устройствах
.
Итоговая
логика
работы
прило
-
жения
«
Мобильный
контролер
»,
дополненного
модулем
распоз
-
навания
показаний
ПУ
,
показана
на
рисунке
1
и
состоит
из
6
эта
-
пов
:
–
формирование
плана
и
марш
-
рута
обхода
бригад
;
–
получение
маршрута
(
задания
)
на
мобильное
устройство
;
–
выполнение
маршрутного
за
-
дания
;
–
снятие
контрольных
показа
-
ний
;
–
распознавание
показаний
;
ввод
информации
в
базу
дан
-
ных
.
Акуличев
В
.
О
.,
заместитель
генерального
директора
по
цифровой
трансформации
ПАО
«
Россети
Центр
»
Микрюков
В
.
В
.,
руководитель
дирекции
по
инновационной
деятельности
и
импортозамещению
ПАО
«
Россети
Центр
»
Наумов
Д
.
В
.,
начальник
управления
технологического
развития
и
цифровизации
филиала
ПАО
«
Россети
Центр
и
Приволжье
» —
«
Удмуртэнерго
»
Ганин
А
.
Н
.,
генеральный
директор
ООО
«
Точка
зрения
»
Назаровский
А
.
Е
.,
технический
директор
ООО
«
Точка
зрения
»
Волков
Д
.
Б
.,
руководитель
проектов
ООО
«
Точка
зрения
»
Хрящев
В
.
В
.,
директор
по
развитию
ООО
«
Точка
зрения
»
Углев
А
.
В
.,
ведущий
руководитель
проектов
Проектного
офиса
электроэнергетики
ООО
«
ИТ
-
Консалтинг
»
Ковалева
А
.
С
.,
аналитик
3
категории
Проектного
офиса
электроэнергетики
ООО
«
ИТ
-
Консалтинг
»
59
ПРИНЦИП
РАБОТЫ
КОМПЛЕКСА
В
рамках
проведенного
НИОКР
специалистами
ком
-
пании
«
Точка
зрения
»
были
решены
следующие
за
-
дачи
по
распознаванию
различных
объектов
инте
-
реса
:
–
определение
факта
наличия
ПУ
на
изображении
;
–
распознавание
серийного
номера
ПУ
;
–
распознавание
показаний
ПУ
;
–
распознавание
модели
ПУ
;
–
распознавание
номеров
и
количества
пломб
.
Первые
три
алгоритма
выполняются
непосред
-
ственно
на
мобильных
устройствах
,
далее
про
-
изводится
процедура
синхронизации
мобильных
устройств
,
и
необходимые
вычисления
производятся
на
серверной
части
.
Процесс
работы
с
программой
включает
в
себя
следующие
этапы
:
–
инженер
,
используя
мобильное
устройство
,
дела
-
ет
фотографию
ПУ
;
–
по
изображению
распознается
серийный
номер
и
показания
ПУ
;
–
по
серийному
номеру
ПУ
находится
карточка
за
-
дания
;
–
распознанные
показания
ПУ
автоматически
зано
-
сятся
в
карточку
задания
.
Скорость
работы
алгоритма
компьютерного
зре
-
ния
составляет
до
5
секунд
(
в
среднем
— 2–3
секун
-
ды
)
на
мобильном
устройстве
и
порядка
0,5
секунды
на
серверной
части
системы
.
На
рисунке
2
показаны
объекты
распознавания
на
изображении
ПУ
:
1)
детектирование
ПУ
на
изображении
;
2)
распознавание
модели
ПУ
;
а
)
б
)
в
)
г
)
д
)
е
)
Рис
. 1.
Логика
работы
приложения
«
Мобильный
контролер
»
с
модулем
автоматического
распознавания
показаний
приборов
учета
:
а
)
формирование
плана
и
маршрута
обхода
бригад
;
б
)
получение
маршрута
(
задания
)
на
мобильное
устройство
;
в
)
выполнение
маршрутного
задания
;
г
)
снятие
контрольных
показаний
;
д
)
распознавание
показаний
;
е
)
ввод
информации
в
базу
данных
Рис
. 2.
Области
для
распознавания
на
приборе
учета
№
1 (76) 2023
60
УЧЕТ
ЭЛЕКТРОЭНЕРГИИ
3)
распознавание
показаний
ПУ
;
4)
распознавание
серийного
номера
ПУ
;
5)
детектирование
пломб
,
подсчет
их
количества
;
6)
распознавание
серийного
номера
пломбы
.
ЭТАПЫ
ПРОВЕДЕННОГО
НИОКР
Проведенный
НИОКР
включал
в
себя
следующие
ос
-
новные
этапы
:
1)
сбор
базы
данных
изображений
приборов
учета
;
2)
выполнение
экспертной
разметки
объектов
инте
-
реса
согласно
областям
,
показанным
на
рисун
-
ке
2,
для
последующего
обучения
и
тестирова
-
ния
алгоритмов
машинного
обучения
;
3)
разработка
и
исследование
алгоритмов
искус
-
ственного
интеллекта
для
детектирования
объ
-
ектов
на
изображениях
и
распознавания
цифро
-
вой
и
текстовой
информации
;
4)
разработка
программного
обеспечения
для
сер
-
верной
части
и
мобильного
приложения
;
5)
проведение
испытаний
и
отладка
программного
обеспечения
.
На
первом
этапе
работы
было
собрано
более
15
тысяч
изображений
ПУ
различной
модификации
.
Среди
отобранных
моделей
приборов
учета
были
как
механические
ПУ
барабанного
типа
,
так
и
элек
-
тронные
ПУ
с
жидкокристаллическим
дисплеем
.
Разметка
проводилась
в
свободно
распространя
-
емой
программе
LabelMe [2] c
использованием
двух
-
уровнего
контроля
качества
процедуры
.
Этот
этап
выполнялся
вручную
и
потребовал
значительных
вре
-
менных
затрат
ввиду
большого
объема
входных
дан
-
ных
.
Для
последующего
обучения
нейросетевых
моде
-
лей
было
важно
подобрать
спецификацию
разметки
,
правильно
выделить
классы
.
Первая
сложность
,
с
ко
-
торой
пришлось
столкнуться
при
выполнении
данной
задачи
,
заключалась
в
выделении
десятичного
зна
-
ка
в
показаниях
ПУ
барабанного
типа
,
как
показано
на
рисунке
3.
Можно
заметить
,
что
десятичный
знак
выделяется
по
-
разному
:
цветом
,
рамкой
,
запятой
на
корпусе
самого
прибора
.
В
связи
с
этим
была
разработана
уникаль
-
ная
логика
разметки
и
самого
ней
-
росетевого
алгоритма
.
Вторая
сложность
процесса
разметки
заключалась
в
особен
-
ностях
распознавания
пломб
и
их
серийных
номеров
.
Пломбы
бывают
нескольких
типов
:
в
виде
наклейки
с
магниточувствитель
-
ной
суспензией
,
роторного
типа
,
свинцовые
плом
-
бы
.
Выглядят
они
зачастую
по
-
разному
,
имеют
разную
ориентацию
в
пространстве
,
мелкий
,
едва
различимый
шрифт
(
рисунок
4).
В
связи
с
этим
был
разработан
особый
алгоритм
обработки
,
который
позволил
решить
задачу
распознавания
номеров
и
количества
пломб
.
На
этапе
разработки
алгоритмов
были
исследо
-
ваны
различные
нейросетевые
модели
для
детек
-
тирования
объектов
,
сегментации
текстовых
обла
-
стей
и
распознавания
текста
[3].
Были
рассмотрены
и
апробированы
следующие
архитектуры
нейронных
сетей
различной
модификации
: MobileNet, VGG,
ResNet, Ef
fi
cientNet.
Также
исследовались
следую
-
щие
архитектуры
нейросетей
для
алгоритмов
детек
-
тирования
объектов
с
различными
модификациями
:
SSD, Ef
fi
cientDet, YOLOv4, PP-YOLO, PP-YOLOv2 [4].
По
результатам
проведенных
экспериментов
с
алгоритмами
детектирования
объектов
в
каче
-
стве
оптимального
варианта
реализации
были
вы
-
браны
конфигурации
сверточной
нейронной
сети
YOLOv4-tiny
для
мобильного
варианта
и
YOLOv4
для
серверного
варианта
.
По
результатам
прове
-
денных
экспериментов
с
алгоритмами
сегментации
текстовых
областей
для
мобильной
части
выбрана
конфигурация
MobileNet v3 DB Meter,
а
для
сервер
-
ной
части
–
конфигурация
ResNet-50 EAST Full.
По
результатам
экспериментов
с
алгоритмами
распоз
-
навания
для
мобильной
конфигурации
была
вы
-
брана
ResNet-18 RARE BILSTM CTC,
для
сервер
-
ной
конфигурации
была
выбрана
ResNet-50 RARE
BILSTM CTC.
Соответствующие
обученные
нейросетевые
алгоритмы
легли
в
основу
разработанного
про
-
граммного
обеспечения
.
Как
и
у
большинства
сис
-
тем
искусственного
интеллекта
,
при
увеличении
об
-
учающих
примеров
изображений
ПУ
наблюдается
рост
точности
в
распознавании
ключевых
параме
-
тров
ПУ
,
динамика
которого
показана
в
таблице
1.
а
)
б
)
в
)
Рис
. 4.
Примеры
изображений
пломб
различных
типов
:
а
)
наклейка
;
б
)
роторная
;
в
)
свинцовая
а
)
б
)
Рис
. 3.
Примеры
изображений
показаний
приборов
учета
барабанного
типа
с
различным
выделением
десятичного
знака
61
ПОСТРОЕНИЕ
СЕРВЕРНОЙ
И
КЛИЕНТСКОЙ
ЧАСТИ
Программно
-
аппаратный
комплекс
состоит
из
сер
-
верной
и
клиентской
части
.
Серверная
часть
вклю
-
чает
в
себя
веб
-
сервис
и
базу
данных
(
БД
).
Веб
-
сервис
разработан
с
использованием
программной
платформы
NodeJS
и
предназначен
для
получения
и
передачи
данных
.
Масштабирование
веб
-
сервиса
осуществляется
средствами
веб
-
сервера
Nginx
за
счет
балансировки
нагрузки
.
Мобильное
приложение
взаимодействует
по
двум
протоколам
: HTTPS/HTTP —
для
простых
запросов
(
авторизация
,
обновление
)
и
WebSocket —
для
син
-
хронизации
с
БД
.
Вложенные
файлы
в
мобильном
приложении
после
синхронизации
хранятся
в
БД
.
В
качестве
системы
управления
базами
данных
ис
-
пользовался
PostgreSQL
версии
10.
Хранение
файлов
осуществляется
в
специальной
таблице
core.dd_
fi
les.
Клиентская
часть
включает
в
себя
мобильное
приложение
и
автоматизированное
рабочее
ме
-
сто
(
АРМ
).
Мобильное
приложение
разработано
с
использованием
языка
программирования
Java
в
Android Studio.
АРМ
служит
для
назначения
и
кон
-
троля
заданий
.
Взаимодействие
с
сервером
происхо
-
дит
по
протоколу
HTTP
с
использованием
порта
443
(
также
может
использоваться
80)
через
веб
-
сервис
,
написанный
на
платформе
NodeJS.
ВЫВОДЫ
В
настоящее
время
разработанный
программно
-
аппа
-
ратный
комплекс
для
распознавания
состояния
и
по
-
казаний
приборов
учета
электроэнергии
на
основе
ал
-
горитмов
искусственного
интеллекта
успешно
прошел
опытную
эксплуатацию
на
более
чем
40
тысячах
сня
-
тых
контрольных
показаниях
в
филиале
ПАО
«
Россе
-
ти
Центр
и
Приволжье
» — «
Удмуртэнерго
».
Данная
разработка
подтвердила
свою
эффективность
и
бу
-
ЛИТЕРАТУРА
/ REFERENCES
1. «
Мобильный
контролер
» —
приложение
,
позволяющее
снимать
показания
приборов
учета
. URL: https://it-serv.
ru/solutions/mobile-services/lineman.
2.
Программное
обеспечение
для
разметки
данных
LabelMe — the open annotation tool. URL: http://labelme.
csail.mit.edu/Release3.0/.
3.
Николенко
С
.,
Архангельская
Е
.,
Кадурин
А
.
Глубокое
обучение
.
Погружение
в
мир
нейронных
сетей
.
СПб
.:
Питер
, 2020. 480
с
.
4. Zou Z., Shi Z., Guo Y., Ye J. Object Detection in 20 Years:
A Survey. URL: https://arxiv.org/pdf/1905.05055v2.pdf.
дет
принята
в
промышленную
эксплуатацию
с
целью
дальнейшего
масштабирования
в
других
филиалах
ПАО
«
Россети
Центр
»
и
ПАО
«
Россети
Центр
и
При
-
волжье
».
В
результате
внедрения
данной
разработки
будет
полностью
автоматизирован
процесс
внесения
данных
приборов
учета
в
информационную
систему
предприятия
,
что
упростит
работу
обходчиков
,
кон
-
тролирующего
персонала
,
сведет
к
минимуму
ошибки
и
влияние
человеческого
фактора
.
Р
Табл
. 1.
Точность
в
распознавании
ключевых
параметров
системой
искусственного
интеллекта
№
п
/
п
Параметр
распознавания
Начальная
точность
Точность
после
дообучения
системы
искусственного
интеллекта
1
Детектирование
наличия
ПУ
на
изображении
98%
99%
2
Распознавание
показаний
ПУ
92%
95%
3
Распознавание
серийного
номера
ПУ
91%
95%
Распознавание
показаний
ПУ
специалистом
филиала
ПАО
«
Россети
Центр
и
Приволжье
» — «
Удмуртэнерго
»
ООО
«
ИТ
-
Консалтинг
»
428018,
Чувашская
Республика
,
г
.
Чебоксары
,
ул
.
Академика
А
.
Н
.
Крылова
,
д
. 13
Тел
.: +7 (8352) 325-600
[email protected] www.it-serv.ru
ООО
«
Точка
зрения
»
150000,
Ярославская
обл
.,
г
.
Ярославль
,
ул
.
Чайковского
,
д
. 62/30,
оф
. 7
Тел
.: +7 (905) 709-08-24
[email protected] www.tochka.ai
№
1 (76) 2023
Оригинал статьи: Программно-аппаратный комплекс для распознавания состояния и показаний приборов учета электроэнергии на основе алгоритмов искусственного интеллекта
Основная цель разработки — повысить эффективность процесса сбора показаний и контроля состояния приборов учета, исключить ошибки при ручном занесении показаний в мобильное приложение программного комплекса «Мобильный контролер» и корпоративные информационные системы. В рамках проведенного НИОКР инженер при сборе показаний не заносил данные вручную, а фотографировал численные показания прибора учета. Изображения обрабатывались с помощью методов искусственного интеллекта, которые автоматически распознавали серийный номер прибора учета, его модель, наличие пломб, показания потребления электроэнергии. Применение алгоритмов компьютерного зрения и машинного обучения позволило оптимизировать временные трудозатраты, а также существенно уменьшило количество ошибок при занесении показаний по приборам учета.
