Улучшает ли большой объём данных понимание?

Page 1
background image

Page 2
background image

34

Июль

август

 2014

    

ИНФОРМАЦИОННЫЕ  

Технологии

Контекстная

 

рабочая

 

среда

 GridWise, 

созданная

 

в

 2008 

году

 

советом

 

по

 

системной

 

архитектуре

 GridWise. 

График

 E+I 

справа

 

показывает

 

соотношение

 

электрических

 

и

 

информационных

 

компонентов

.

Р

азвивающиеся

 

технологии

такие

 

как

 

интеллек

-

туальные

 

сети

могут

 

предоставить

 

сетевым

 

предприятиям

 

беспрецедентные

 

возможности

 

по

 

прогнозированию

 

потребления

 

мощности

формированию

 

запросов

 

потребителей

предотвра

-

щению

 

отключений

оптимизации

 

работы

 

устройств

 

и

 

многому

 

другому

В

 

то

 

же

 

время

 

эти

 

преимущества

 

соз

-

дают

 

беспрецедентный

 

объём

 

данных

 

высокой

 

слож

-

ности

требующий

 

большой

 

скорости

 

обработки

Одним

 

из

 

аспектов

 

развития

 

интеллектуальных

 

сетей

 

является

 

повсеместное

 

проникновение

 

коммуникационных

 

и

 

ин

-

формационных

 

технологий

 (IT) 

для

 

лучшего

 

понимания

 

состояния

 

сети

 

и

 

принятия

 

более

 

эффективных

 

реше

-

ний

.

Для

 

использования

 

и

 

управления

 

этой

 

информаци

-

ей

 

для

 

улучшения

 

понимания

 

ситуации

 

сетевые

 

пред

-

приятия

такие

 

как

 Hydro-Quebec, 

должны

 

быть

 

способ

-

ны

 

обрабатывать

 

и

 

анализировать

 

большие

 

объёмы

 

данных

чтобы

 

преобразовывать

 

их

 

в

 

действительное

 

понимание

 

ситуации

 

в

 

сетях

.

Когда

 

речь

 

идёт

 

об

 

интеллектуальных

 

сетях

далеко

 

не

 

очевидно

что

 

энергетика

 

имеет

 

все

 

ответы

в

 

кото

-

рых

 IT 

могли

 

бы

 

оказать

 

поддержку

Даже

 

до

 

появления

 

интеллектуальных

 

сетей

 

энергетика

 

сталкивалась

 

со

 

множеством

 

сложностей

 

в

 

части

 

информационных

 

тех

-

нологий

В

 

свою

 

очередь

 

интеллектуальные

 

сети

 

несут

 

в

 

себе

 

ещё

 

большие

 

объёмы

 

данных

что

 

делает

 

поло

-

жение

 

вещей

 

более

 

сложным

.

Больше

 

и

 

больше

 

данных

Большой

 

объём

 

данных

 

известен

 

как

  «

четыре

 

V». 

Речь

 

идёт

 

не

 

только

 

о

 

больших

 

объёмах

 

данных

 

(volume), 

но

 

и

 

о

 

скорости

 (velocity), 

вариативности

 

(variety) 

и

 

достоверности

 (veracity). 

Скорость

 — 

это

 

скорость

с

 

которой

 

предприятия

 

получают

 

данные

Фа

-

зометр

 

является

 

хорошим

 

примером

Вариативность

 

— 

это

 

неоднородность

 

различных

 

источников

 

данных

Последним

 

по

 

порядку

но

 

не

 

по

 

важности

параметром

 

данных

 

является

 

достоверность

Достоверность

 

дан

-

ных

 — 

это

 

их

 

точность

 

и

 

правильность

Увеличение

 

до

-

стоверности

 

данных

 

требует

 

минимизации

 

различных

 

источников

 

ошибок

К

 

этим

 

источникам

 

относятся

 

несо

-

гласованность

дублирование

 

и

 

потеря

 

данных

.

По

 

данным

 

последнего

 

исследования

, IBM 

опреде

-

лила

что

 

одна

 

из

 

трёх

 

компаний

-

лидеров

 

не

 

доверяет

 

информации

которую

 

использует

 

для

 

принятия

 

реше

-

Улучшает ли большой объём 
данных понимание?

Даже до появления интеллектуальных сетей в 
информационных технологиях было множество 
сложностей и задач. Теперь же объём данных потрясает 
сам по себе.

Матье Вио (Mathieu Viau), 

Institut de recherche Hydro/Quebec


Page 3
background image

35

  

Июль

август

 2014

ИНФОРМАЦИОННЫЕ  

Технологии

Архитектура

 

сфокусирована

 

на

  

уровне

 

метаинформации

с

 

тем

 

чтобы

 

мак

-

симально

 

использовать

 

возможности

заложенные

 

в

 

существующих

 

системах

 

при

 

улучшении

 

взаимодействия

 

и

 

интеграции

.

ний

Исследования

 

компании

 Gartner (Gartner Inc.) 

по

-

казали

что

 

низкое

 

качество

 

данных

 

является

 

причиной

 

 1, 

по

 

которой

 

происходит

 

превышение

 

расходов

 

на

 

проекты

По

 

информации

 Data Warehousing Institute, 

не

-

достоверные

 

данные

 

обходятся

 

бизнесу

 

в

 

США

 

в

 600 

млрд

 

долл

ежегодно

В

 

инфографике

предоставлен

-

ном

 InsightSquared, 

показано

:

• 

получение

 

качественных

 

данных

 

увеличивает

 

при

-

быль

 

на

 66%;

• 

низкое

 

качество

 

данных

 

обходится

 

экономике

 

США

 

в

 

3,1 

трлн

 

долл

ежегодно

 (insidearm.com);

• 

качество

 

данных

 

является

 

барьером

 

для

 46% 

участ

-

ников

 

опроса

 

при

 

внедрении

 

интеллектуальных

 

и

 

аналитических

 

продуктов

.

Предприятия

 

электроэнергетики

 

нуждаются

 

в

 

точ

-

ных

 

данных

 

и

 

информации

 

из

 

различных

 

источников

 

для

 

принятия

 

бизнес

-

решений

Создание

 

общей

 

унифи

-

цированной

 

информационной

 

сети

 

является

 

сложной

 

задачей

 

из

-

за

 

неоднородности

 

и

 

недостатка

 

полноты

 

данных

 

от

 

различных

 

источников

Однако

 

тем

кто

 

при

-

нимает

 

решения

нужна

 

только

 

одна

 

версия

 

правды

Ка

-

ким

 

же

 

образом

 

можно

 

прийти

 

к

 

общей

 

позиции

?

Интеграция

 

всех

 

форм

 

информации

Обмен

 

информацией

 

между

 

системами

 

во

 

многом

 

похож

 

на

 

общение

 

между

 

двумя

 

людьми

использующи

-

ми

 

разные

 

телефоны

Имеют

 

место

 

различные

 

уровни

 

взаимодействия

Первый

технический

 

уровень

 

обе

-

спечивает

 

передачу

 

информации

 

от

 

одной

 

системы

 

к

 

другой

В

 

этой

 

области

 

имеется

 

большое

 

количество

 

решений

Одно

 

из

 

них

 — 

шина

 

интеграции

Для

 

многих

 

предприятий

 

обеспечение

 

технического

 

взаимодей

-

ствия

 

не

 

является

 

основной

 

проблемой

В

 

сравнении

 

— 

телефон

 

обеспечивает

 

прекрасное

 

техническое

 

вза

-

имодействие

Кто

 

угодно

 

может

 

позвонить

 

кому

 

угодно

 

с

 

любого

 

аппарата

 — 

и

 

это

 

работает

.

Но

 

достаточно

 

ли

 

этого

Если

 

два

 

человека

 

не

 

го

-

ворят

 

на

 

одном

 

языке

обмена

 

информацией

 

не

 

проис

-

ходит

Тот

 

же

 

принцип

 

применим

 

и

 

к

 

системам

Для

 

об

-

мена

 

информацией

 

между

 

приложениями

 

необходимо

 

не

 

только

 

техническое

 

взаимодействие

Так

 

же

 

необхо

-

димо

 

семантическое

 

взаимодействие

В

 

сравнении

 — 

семантическое

 

взаимо

-

действие

 

является

 

общим

 

языком

так

 

называемыми

 

онтологическими

 

и

 

се

-

мантическими

 

технологиями

.

Предприятия

 

энергетики

 

обладают

 

одной

 

из

 

наиболее

 

полных

 

онтологий

общей

 

информационной

 

моделью

 (CIM, 

common information model) 

Междуна

-

родной

 

электротехнической

 

комиссии

 

(IEC). 

Общая

 

информационная

 

модель

 

определена

 

набором

 

стандартов

 IEC, 

в

 

основном

 

стандартами

 61970-301 

и

 

61968-11. 

Первая

 

версия

 

была

 

стандар

-

тизирована

 

в

 2003 

году

 

и

 

на

 

сегодняш

-

ний

 

день

 

содержит

 

более

 

тысячи

 

прин

-

ципов

покрывающих

 

производство

передачу

 

и

 

распределение

 

энергии

.

В

 

дополнение

 

к

 

онтологии

техно

-

логии

 

также

 

хорошо

 

подходят

 

для

 

се

-

мантического

 

уровня

 

взаимодействия

Это

 

семантические

 

технологии

кото

-

рые

 

входят

 

в

 

полный

 

набор

 

стандар

-

тов

 World Wide Web Consortium (W3C) 

и

 

обеспечиваются

 

поставщиками

 

про

-

граммного

 

обеспечения

  (

например

, Oracle Spatial and 

Graph 

и

 IBM DB2).

CIM — 

очевидный

 

выбор

Как

 

и

 

любая

 

другая

онтология

 CIM 

не

 

идеальна

В

 

действительности

как

 

и

 

человеческие

 

языки

онтоло

-

гия

 

может

 

изменяться

Онтология

 CIM 

не

 

является

 

ис

-

ключением

Человеческие

 

сообщества

 

связаны

 

тем

о

 

чём

 

они

 

говорят

и

 

тем

как

 

они

 

говорят

 

об

 

этом

Когда

 

новый

 

опыт

 

превосходит

 

имеющийся

 

словарный

 

запас

эта

 

проблема

 

решается

 

в

 

языке

 

введением

 

новых

 

форм

 

и

 

грамматических

 

правил

В

 

онтологиях

таких

 

как

 CIM, 

происходит

 

тот

 

же

 

самый

 

процесс

который

 

даёт

 

опре

-

деления

 

базовым

 

принципам

 

в

 

области

 

энергетики

 

и

 

взаимосвязям

 

между

 

ними

Они

 

должны

 

развиваться

 

итерационно

чтобы

 

соответствовать

 

развитию

 

отрасли

.

Даже

 

если

 

технология

 CIM 

даёт

 

возможность

 

пере

-

шагнуть

 

семантические

 

барьеры

 

между

 

различными

 

хранилищами

 

данных

она

 

всё

 

равно

 

имеет

 

свои

 

про

-

блемы

Некоторые

 

аспекты

 

традиционных

 

технологий

таких

 

как

 

связные

 

базы

 

данных

могут

 

не

 

удовлетворять

 

требованиям

возникающим

 

при

 

использовании

 

и

 

разви

-

тии

 CIM. 

Семантические

 

технологии

 

с

 

графовой

 

структу

-

рой

 

и

 

способностью

 

захватывать

 

семантические

 

разли

-

чия

 

и

 

значения

 

подходят

 

для

 CIM 

лучше

 

всего

Для

 

того

 

чтобы

 

использовать

 

все

 

преимущества

 CIM, 

её

 

следует

 

применять

 

с

 

соответствующими

 

инструментами

Это

 

примерно

 

как

 

использовать

 

молоток

 

там

где

 

в

 

действи

-

тельности

 

надо

 

использовать

 

пилу

 

или

 

отвёртку

.

Максимальное

 

использование

Чем

 

шире

 

применяется

 

технология

 

интеллектуаль

-

ных

 

сетей

тем

 

больше

 

требуется

 

точных

 

данных

 

для

 

раскрытия

 

её

 

потенциала

Электроэнергетический

 

ис

-

следовательский

 

институт

 (EPRI) 

утверждает

что

 

каче

-

ство

 

данных

 

критически

 

важно

 

для

 

интеллектуальных

 

сетей

Фактически

вне

 

зависимости

 

от

 

того

насколько

 

велик

 

объём

 

данных

являются

 

ли

 

они

 

статическими

 

или

 

динамическими

структурированными

 

или

 

нет

качество

 

данных

 

является

 

критически

 

важным

 

критерием

 

оценки

Следует

 

отыскивать

 

способы

 

улучшения

 

качества

 

дан

-


Page 4
background image

36

Июль

август

 2014

    

ИНФОРМАЦИОННЫЕ  

Технологии

При

 

общем

 

уровне

 

метаинформации

 

подход

предложенный

 

IREQ, 

позволяет

 

проверять

 

полноту

 

данных

поступающих

 

от

 

распределительной

 

сети

Диаграмма

 

Венна

 

показывает

 

резуль

-

таты

 

проверки

 

полноты

 

данных

основанной

 

на

 

их

 

идентифи

-

кации

 

в

 

четырёх

 

различных

 

системах

Система

 

автоматически

 

обнаружила

что

 33% 

данных

 

совпадают

 

во

 

всех

 

системах

а

 

35% 

представлены

 

только

 

в

 

одной

но

 

не

 

представлены

 

во

 

всех

 

остальных

.

В

 

лаборатории

 

интеграции

  «

интеллектуальных

 

сетей

» 

IREQ 

комбинируют

 

и

 

проверяют

 

на

 

полноту

 

данные

 

от

 

раз

-

личных

 

источников

.

Анализ

 

полноты

 

данных

 (

симуляция

). 

Неточность

 

данных

 

была

 

снижена

 

на

 97% 

благодаря

 

предложенному

 

подходу

.

ных

 

и

 

поддержания

 

его

 

на

 

соответствующем

 

уровне

ко

-

торый

 

необходим

 

для

 

интеллектуальных

 

сетей

.

В

 

то

 

же

 

время

 

существующие

 

в

 

отрасли

 

системы

 

представляют

 

собой

 

обширные

 

издержки

 

наследия

 

знаний

 

и

 

опыта

Существует

 

необходимость

 

сохранить

 

предыдущие

 

инвестиции

 

в

 

знания

 

и

 

информационные

 

технологии

 

при

 

улучшении

 

качества

 

данных

.

Чтобы

 

полностью

 

использовать

 

возможности

уже

 

реализованные

 

в

 

существующих

 

системах

и

 

повысить

 

достоверность

 

данных

Исследовательский

 

институт

 

Hydro-Quedec (IREQ) 

исследует

 

использование

 

семан

-

тических

 

технологий

 

и

 CIM, 

которые

 

находятся

 

над

 

уров

-

нем

 

существующих

 

на

 

сегодня

 

систем

Преимуществом

 

такой

 

архитектуры

 

является

 

получение

 

информации

 

от

 

множества

 

систем

а

 

также

 

разрушение

 

хранилищ

 

данных

 

путём

 

описания

 

семантических

 

взаимоотношений

 

между

 

источниками

 

данных

Компанией

 Gartner 

описано

как

 

технологические

  «

острова

» 

и

 

хра

-

нилища

 

могут

 

быть

 

потенциальными

 

источниками

 

недостоверных

 

данных

 

и

 

противоречивой

 

информации

Другим

 

преимуществом

 

подобного

 

подхода

 

является

 

то

что

 

существу

-

ющие

 

системы

 

могут

 

продолжать

 

вы

-

полнять

 

те

 

функции

для

 

которых

 

они

 

были

 

разработаны

 

и

 

применены

В

 

то

 

же

 

время

 

это

 

поможет

 

быстро

 

выявить

 

недостоверность

 

данных

 

от

 

различных

 

источников

.

Сбор

 

данных

 

из

 

большого

 

объёма

Дополнительно

 

к

 

обозрению

 

недо

-

стоверности

 

данных

полученных

 

от

 

множества

 

систем

семантический

 

под

-

ход

предложенный

 IREQ, 

выходит

 

за

 

его

 

пределы

Он

 

позволяет

 

установить

 

правила

 

бизнес

-

логики

дополнять

 

их

 

новыми

 

знаниями

 

и

 

повышать

 

качество

 

данных

На

-

пример

если

 

рассматривать

 

люк

 

канализационной

 

си

-

стемы

 

острова

 

Монреаль

 

как

 

источник

 

данных

 

от

 

двух

 

систем

вычислительная

 

система

 

может

 

повысить

 

до

-

стоверность

 

данных

 

с

 70 

до

 95%. 

Это

 

происходит

 

благо

-

даря

 

добавлению

 

нескольких

 

правил

 

без

 

модификации

 

или

 

изменению

 

исходного

 

кода

 

исходной

 

системы

.

Получение

 

данных

 — 

это

 

процесс

 

анализа

 

и

 

преоб

-

разования

 

большого

 

объёма

 

данных

 

в

 

полезное

 

зна

-

ние

Он

 

может

 

выглядеть

 

как

 

естественное

 

развитие

 

информационных

 

технологий

при

 

котором

 

огромные

 

объёмы

 

данных

собранные

 

в

 

базах

 

данных

постоянно

 

анализируются

классифицируются

 

и

 

описываются

Для

 

повышения

 

эффективности

 

получения

 

знаний

 «

сырые

» 

данные

 

должны

 

быть

 

предварительно

 

обработаны

 

пу

-

тём

 

объединения

 

данных

удаления

 

противоречий

 

и

 

по

-

вышения

 

информативности

.

Применение

 

семантических

 

технологий

 

и

 

модели

-

рования

 CIM 

могут

 

существенно

 

снизить

 

усилия

не

-

обходимые

 

для

 

предварительной

 

обработки

 

данных

В

 

действительности

когда

 

разнородные

 

источники

 

дан

-


Page 5
background image

37

  

Июль

август

 2014

ИНФОРМАЦИОННЫЕ  

Технологии

ных

 

используют

 

общую

 

онтологию

становится

 

возмож

-

ным

 

соотнести

 

и

 

объединить

 

данные

 

автоматически

Использование

 

общей

 

семантики

 

позволяет

 

оценивать

 

и

 

извлекать

 

дополнительно

 

значимую

 

информацию

 

и

 

знания

В

 

случае

 

с

 IREQ 

предприятие

 

имело

 

возмож

-

ность

 

извлекать

 

сложные

 

массивы

 

данных

Опыт

 

пред

-

приятия

 

показал

что

 

комбинация

 

онтологических

 

и

 

семантических

 

технологий

 

даёт

 

преиму

-

щества

 

при

 

предварительной

 

обработке

 

и

 

улучшении

 

данных

.

Семантическое

 

взаимодействие

 

обе

-

спечивает

 

хорошее

 

понимание

 

и

 

взаимо

-

действие

 

с

 

информацией

которой

 

обме

-

ниваются

 

разные

 

системы

Количество

 

баз

 

данных

 

и

 

информационных

 

систем

используемых

 

предприятиями

показыва

-

ет

 

важность

 

применения

 

общего

 

языка

 

и

 

семантики

Это

 

верно

 

для

 

электрических

 

сетей

где

 

объём

 

информации

 

растёт

 

и

 

продолжит

 

расти

 

из

-

за

 

внедрения

 

интел

-

лектуальных

 

технологий

Сегодня

 

все

 

пытаются

 

организовать

 

интеллектуаль

-

ную

 

сеть

Но

 

насколько

 

интеллектуаль

-

ной

 

она

 

может

 

быть

 

при

 

низком

 

качестве

 

данных

?

Выражение

 

признательности

Работа

описанная

 

в

 

статье

является

 

результатом

 

командных

 

усилий

Многие

 

сотрудники

 IREQ 

сыграли

 

важную

 

роль

 

в

 

достижении

 

этого

 

результата

Точное

 

количество

 

участников

 

не

 

может

 

быть

 

названо

Тем

 

не

 

менее

 

можно

 

отметить

 

усилия

 

Арно

 

Зинфло

 (Arnaud Zin

 ou), 

Мо

-

хамеда

 

Гаха

 (Mohamed Gaha) 

и

 

Алексан

-

дра

 

Буфорда

 (Alexander Bouffard).  

Матье

 

Вио

 (Mathieu Viau, 

viau.

[email protected]

получил

 

образование

 

специалиста

 

по

 

вычислительным

 

маши

-

нам

 

в

 2002 

году

Он

 

работал

 

в

 

центре

 

управления

 

пе

-

редающими

 

сетями

 Hydro-Quebec 

в

 

течение

 5 

лет

где

 

был

 

ответственным

 

за

 

внедрение

 

и

 

архитектуру

 

инфор

-

мационных

 

технологий

С

 2008 

года

 

он

 

работает

 

в

 

де

-

партаменте

 

исследований

 

и

 

разработок

 Hydro-Quebec 

(Hydro-Quebec R&D), 

где

 

руководит

 

работами

 

по

 

семан

-

тическому

 

взаимодействию

.

Кольца

 

в

 

сети

 

были

 

автоматически

 

обнаружены

 

благодаря

 

предложенному

 

подходу

Собственно

кольцо

 

в

 

сети

 

является

 

элементами

 

сети

соединён

-

ными

 

между

 

собой

 

в

 

форме

 

петли

содержащей

 

один

 

трансформатор

 

и

 

нор

-

мально

 

отключённый

 

выключатель

.

Нормально

 

отключенный

 

выключатель

Нормально

 

отключенный

 

выключатель

Нормально

 

отключенный

 

выключатель

Siemens и Accenture создают Omnetric Group

Siemens Smart Grid 

и

 Accenture 

закончили

 

формирование

 

компании

 Omnetric Group. 

Эта

 

компания

 

объединит

 

продукты

 

и

 

решения

 

для

 

интел

-

лектуальных

 

сетей

 Siemens 

с

 

менеджментом

техно

-

логическим

 

консалтингом

внедрением

 

систем

 

и

 

воз

-

можностями

 

по

 

управлению

 Accenture. 

Это

 

позволит

 

сетевым

 

предприятиям

использующим

 

продвинутые

 

решения

 

в

 

области

 

интеллектуальных

 

сетей

 

и

 

серви

-

сы

предназначенные

 

для

 

обработки

 

данных

улучшить

 

энергетическую

 

эффективность

управляемость

 

сети

 

и

 

её

 

надёжность

.

При

 

применении

 

системной

 

интеграции

 

эти

 

реше

-

ния

 

интегрируют

 

технологии

 

управления

такие

 

как

 

распределённое

 

управление

 

и

 

управление

 

сетью

 

в

 

ре

-

жиме

 

реального

 

времени

в

 

информационно

-

техноло

-

гические

 

системы

такие

 

как

 

управление

 

результатами

 

измерений

 

для

 

интеллектуальных

 

измере

-

ний

отчёты

 

о

 

нагрузках

 

для

 

управления

 

по

-

треблением

 

электроэнергии

 

и

 

виртуальные

 

электростанции

 

для

 

управления

 

нагрузкой

Всё

 

это

 

обеспечит

 

сетевым

 

предприятиям

 

возможность

 

контролировать

 

их

 

системы

 

и

 

данные

 

и

 

обеспечит

 

продвинутые

 

методы

 

анализа

 

и

 

принятия

 

решений

.

Штаб

-

квартира

 Omnetric Group 

расположена

 

в

 

Мюнхене

. Siemens 

и

 Accenture 

назначили

 

руково

-

дителем

 Omnetric Group 

Майкеля

 

ван

 

Версевельда

 

(Maikel van Verseveld), 

бывшего

 

управляющего

 

дирек

-

тора

 Accenture Smart Grid Services 

в

 

Европе

Африке

 

и

 

Латинской

 

Америке

директором

 

по

 

производству

 

назначен

 

Мартин

 

Рунге

 (Martin Runge), 

который

 

воз

-

главлял

 

Центр

 

компетенции

 Siemens Smart Grid 

в

 

Центральной

 

и

 

Восточной

 

Европе

Карстен

 

Шпекман

 

(Carsten Speckmann), 

бывший

 

руководителем

 

поставок

 

в

 Siemens Smart Grid, 

назначен

 

финансовым

 

директо

-

ром

 Omnetric Group.   


Оригинал статьи: Улучшает ли большой объём данных понимание?

Читать онлайн

Даже до появления интеллектуальных сетей в информационных технологиях было множество сложностей и задач. Теперь же объём данных потрясает сам по себе.

Поделиться:

«ЭЛЕКТРОЭНЕРГИЯ. Передача и распределение» № 3(78), май-июнь 2023

Ранговый анализ и ансамблевая модель машинного обучения для прогнозирования нагрузок в узлах центральной энергосистемы Монголии

Энергоснабжение / Энергоэффективность Цифровая трансформация / Цифровые сети / Цифровая подстанция Мировой опыт
Русина А.Г. Осгонбаатар Т. Матренин П.В.
«ЭЛЕКТРОЭНЕРГИЯ. Передача и распределение»