Вы нашли то, что искали?
Главная Разделы

Добавить страницу в закладки ->
Обязательно посмотрите энциклопедию:

Радиоэлектроника, Схемы радиолюбителям


2.7. Управление транспортными сетями. Интегральные и оптические сети

Интегральные и оптические сети

2.7. Управление транспортными сетями

2.7.1. Общие принципы управления телекоммуникационными сетями

2.7.2. Представление функций управления через окна программы

2.7.3. Управление сетью SDH

2.7.4. Управление в сети ATM

2.7.4.1. Общая характеристика управления в АТМ

2.7.4.2. Протоколы управления и базы данных управления

2.7.4.3. Протокол и информационная база локального управления на основе SNMP

2.7.4.4. Управление уровнями АТМ (функции ОАМ)

2.7.5. Управление в сети WDM



2.7.1. Общие принципы управления телекоммуникационными сетями

Развитие систем управления телекоммуникационными сетями обусловлено рядом причин:

  • сети связи становятся сложными и все более неоднородными по структуре (транспортные, доступа, мобильные и т.д.) и по используемым средствам;
  • все большее развитие получают локальные и метропольные вычислительные сети, которые должны выходить на сети общего пользования;
  • появилось большое количество компаний, оказывающих телекоммуникационные услуги, которые должны соответствовать определенным показателям качества (стандарт ISO 9000);
  • требуется высокая надежность информационных и телекоммуникационной сетей для обслуживания нужд государства и отдельных компаний (транспортировка грузов, финансовых учреждений, образование, наука и т.д.);
  • рост объемов информационного обмена между странами, создание межнациональных сетей связи.

По этим причинам МСЭ-Т разработал серию рекомендаций под общим индексом М.3х, в которой излагаются общие и детальные принципы планирования, функционирования и технического обслуживания сети управления электросвязью TMN (Telecommunications Management Network).

Сеть TMN обеспечивает функции управления для сетей телекоммуникаций и услуг этих сетей и предлагает электросвязь между ею самой и сетями связи и их услугами (рисунок 2.59).

Рисунок 2.59. Взаимосвязь между сетьюTMN и сетью электросвязи.

Рисунок 2.59. Взаимосвязь между сетьюTMN и сетью электросвязи.

Ниже приведены примеры сетей телекоммуникаций и услуг электросвязи, а также типов аппаратуры которыми может управлять TMN:

– сети общего и частного пользования, включая цифровые (У–ЦСИС, Ш–ЦСИС), сети подвижной связи, частные (корпоративные) телефонные сети, виртуальные сети и интеллектуальные сети, транспортные, доступа;
– сама сеть TMN может быть управляемой;
– аппаратура передачи PDH, SDH, ATM, OTN (мультиплексоры, кроссовые коммутаторы, усилители, транспондеры и т.д.);
– цифровые и аналоговые системы передачи (волоконно-оптические, радиорелейные, спутниковые, кабельные);
– системы восстановления (резервирования);
– операционные системы и их периферия;
– центральные, интерфейсные процессоры, контроллеры, файловые процессоры и т.д.;
– цифровые и аналоговые коммутационные станции;
– локальные, метропольные, глобальные компьютерные сети;
– сети с коммутацией каналов и пакетов;
– терминалы и системы сигнализации, включая транзитные пункты сигнализации и базы данных реального времени;
– учрежденческие АТС и терминалы пользователей;
– терминалы пользователей У–ЦСИС и Ш–ЦСИС;
– взаимодействующие вспомогательные системы (электропитание, кондиционеры, сигнализация и т.д.).

При управлении этими сетями операционные системы производят обработку всей информации, необходимой для выполнения функций управления.

Рабочие станции обеспечивают пользовательский, как правило графический, интерфейс, посредством которого обслуживающий персонал взаимодействует с сетью управления.

Сеть передачи данных предназначена для организации связи между сетевыми элементами, аппаратными системами и другими устройствами сетей управления.

Как не трудно заметить, TMN является самостоятельной сетью, имеющей интерфейсы с сетью электросвязи в нескольких точках для получения информации и управления ее работой. В некоторых случаях, например в SDH сети, TMN использует каналы управляемой сети.

Концепцией TMN предусмотрено иерархическое построение системы управления, которая имеет пирамидальную форму (рисунок 2.60).

Рисунок 2.60. Уровни управления в TMN.

Рисунок 2.60. Уровни управления в TMN.

TMN содержит следующие уровни:

  • сетевые элементы;
  • управление сетевыми элементами;
  • управление сетью;
  • управление услугами;
  • административное управление.

Самый нижний уровень это управляемая сеть со всеми ее ресурсами и состояниями. Каждый выше лежащий уровень управления имеет более высокую степень обобщения информации управления чем ниже лежащий. Информация для управления следует вверх, а вниз поступают управляющие воздействия.

Как правило, чем выше уровень управления, тем ниже его степень автоматизации.

  • Уровень управления элементами сети включает в себя контроль, отображение параметров функционирования, техническое обслуживание, конфигурирование применительно к отдельным устройствам сети (например, мультиплексорам, базовым станциям, коммутаторам) или их группам. Функции этого уровня управления, иногда называемого нулевым, могут быть выполнены с использованием графического терминала, стыкуемого непосредственно с сетевым элементом или стыкуемого удаленно, т.е. сеть передачи данных.
  • Уровень сетевого управления обеспечивает охват функциями управления группы сетевых элементов, составляющих во взаимосвязи единую сеть со всеми ресурсами. Например, транспортная сеть с секциями, трактами, каналами, средствами резервирования.
  • Уровень управления услугами поддерживает предоставление услуг электросвязи пользователям, т.е. в отличие от ниже расположенных уровней нацелен на потребителей услуг связи. Ключевым фактором на этом уровне является обеспечение качества услуг, привлечение потребителей новыми услугами.
  • Уровень административного управления предназначен для поддержки функционирования компании-оператора сети связи. На этом уровне решаются проблемы инвестиций, проектов развития, кадровые вопросы, взаимодействие с другими операторами, органами государственного управления и т. д.

В значительной степени отработаны задачи управления на первых двух уровнях (сетевых элементов и сети) и совершенствуются методы и средства управления услугами. Существенной подвижки в автоматизации административного уровня управления не наблюдается.Все функции управления в телекоммуникациях условно принято разбивать на общие и прикладные.
Общие функции управления состоят в поддержке прикладных и включают в себя сбор, обработку, хранение информации управления, выдачу этой информации по запросу, отображение в удобном формате, например, на графическом терминале.

Прикладные функции управления, определенные ISO, делятся на пять групп:

  • управление конфигурацией (сетевого элемента, сети, услуг);
  • управление качеством работы (сетевого элемента, сети, услуг);
  • управление устранением неисправностей (сетевого элемента, сети, услуг);
  • управление расчетами (техническими, бухгалтерскими);
  • управление безопасностью (сетевого элемента, сети, услуг).

Для реализации функций управления в сети TMN рекомендовано рассматривать три архитектуры управления, которые при планировании и разработке сети TMN должны рассматриваться раздельно.

Эти архитектуры называются: функциональная, информационная и физическая.

Функциональная архитектура основана на ряде блоков функций TMN. Эти блоки поддерживают общие функции управления TMN.

Для переноса информации между блоками функций используется функция передачи данных. Пары блоков функций TMN разделены опорными точками (рисунок 2.61).

Рисунок 2.61. Функциональная архитектура TMN.

Рисунок 2.61. Функциональная архитектура TMN.

Основные составляющие функциональной архитектуры TMN:

  • NEF, Network Element Function – функции сетевого элемента;
  • QAF, Q-Adapter Function – функции Q-адаптера;
  • MF, Mediation Function – функции медиатора (промежуточного устройства);
  • OSF, Operations System Function – функции операционной системы сети управления;
  • WSF, Work Station Function – функции рабочей станции сети управления (графического терминала);
  • f, qx, q3, x – эталонные точки разграничения функций.

Назначение функциональных блоков и точек рассмотрено ниже.

Блок функций операционной системы (OSF) обрабатывает информацию, относящуюся к управлению электросвязью, с целью контроля (координации и/или управления).

В соответствии с иерархией уровня управления определяются OSF:

  • управления сетевыми элементами (NE-OSF);
  • управления сетью (N-OSF);
  • управления услугами (S-OSF);
  • административного управления (B-OSF).

Функциональная иерархия OSF показана на рисунке 2.62.

Рисунок 2.62. Функциональная иерархия операционных систем.

Рисунок 2.62. Функциональная иерархия операционных систем.

Блок функций элемента сети (NEF) связан с действием сети электросвязи и с сетью TMN с целью его контроля и/или управления. Функции NEF являются объектом управления. Эти функции не относятся к сети TMN, т.к. они принадлежат конкретной сети электросвязи. Однако часть функций NEF может составлять предмет TMN, например, передача данных управления через каналы, образуемые в управляемой сети, или, другой пример, интерфейс сетевого управления, размещаемый в сетевом элементе.

Блок функций рабочей станции (WSF) обеспечивает средства для интерпретации информации сети TMN пользователю информации управления – человеку. Таким образом к WSF относятся средства стыка с пользователем – человеком, например, графический терминал с ясным представлением функций управления. Считается, что подобного рода средства не являются частью сети TMN и поэтому они показаны на рисунке за границей TMN.

Блок функций Q-адаптера (QAF) используется для подключения к TMN в виде части сети TMN тех объектов, которые не наделены в общем функциями TMN, например, устаревшие виды оборудования передачи и коммутации, или оборудование, в котором реализованы другие, не относящиеся к TMN, функции управления.

Блок функций медиатора (MF) обрабатывает информацию, проходящую между блоками OSF и NEF (или QAF), для обеспечения гарантии соответствия ожиданиям блоков функций, присоединяемых к MF. Блоки MF могут хранить, адаптировать, фильтровать, ограничивать и сжимать информацию для управления.

Опорные (эталонные) точки между функциональными блоками определены в виде трех классов:

q – класс межу функциями OSF, QAF, MF и NEF;
f – класс присоединения функций WSF;
x – класс между функциями OSF разных TMN.

Точки q, f, x определяют границы услуг управления между двумя блоками функций управления. Функции управления детально приписываются информационной архитектурой. При этом блоки функций, соединяемые через опорные точки, могут обеспечивать не всю сферу информационной архитектуры.

Опорные точки q различаются на qx и q3. Они имеют различия в системе знаний управления. При этом для точки q3 знания о управлении в системе блоков функций более глубокие чем для точки qx.
Опорные точки f поддерживают обмен информацией управления между WSF и OSF (MF), но только той информацией, которая может быть отображена в WSF.

Функции опорной точки x могут быть сходны с опорной точкой q3, но относиться к среде между TMN.
Функция передачи данных между функциональными блоками заключается в транспортировке информации. При этом поддерживается переприем, маршрутизация, коммутация данных. Обычно для представления этих функций используют три уровня семиуровневой модели ISO/OSI (физический, канальный и сетевой).

Информационная архитектура сети TMN базируется на принципе “Менеджер–Агент”, разработанном для управления системами взаимосвязи открытых систем. “Менеджер” и “Агент” программные продукты. Менеджер направляет команды на выполнение операций управления и получает уведомления от агента, а агент непосредственно управляет соответствующими объектами. Агент формирует уведомления в сторону менеджера. Схема взаимодействия “Менеджер–Агент” приведена на рисунке 2.63.

Рисунок 2.63. Схема взаимодействия “Менеджер-Агент”.

Рисунок 2.63. Схема взаимодействия “Менеджер-Агент”.

Агент хранит собранную статистическую информацию в виде абстрактных моделей (объектов) в информационной базе MIB (Management Information Base). Объекты отражают состояние реальных ресурсов. При этом в структуре MIB объекты имеют иерархическую организацию, обычно в виде дерева MIT (Management Information Tree). Каждый объект описывается атрибутами (состояниями), которые также представлены в древовидной иерархии.

Один менеджер должен взаимодействовать с несколькими агентами и один агент может выполнять команды (при условии согласованности) нескольких менеджеров. Агент может по определенным причинам (например, безопасность информации) отвергнуть команды менеджера.

Для поддержки всего обмена по управлению между менеджером и агентом используются протоколы управления, такие как CMIP или SNMP.

CMIP, Common Management Information Protocol – протокол общей управляющей информации – стандарт ISO/ITU-T, обеспечивающий выполнение сложных операций средствами интеллектуальных агентов, когда по одной простой команде от менеджера могут быть выполнены сложные последовательности операций.

SNMP, Simple Network Management Protocol – простой протокол управления сетью, определенный стандартами TCP/IP, обеспечивает выполнение как простых так и сложных операций управления, однако требует многочисленных операций обмена между менеджером и агентом.

Объекты, помещаемые в MIB, разделены на классы управляемых объектов:

  • запись аварий;
  • профиль присвоения серьезности аварий;
  • запись об изменении значения атрибута (состояния);
  • соединение;
  • двунаправленная оконечная точка соединения;
  • кроссовые соединения;
  • управление сводкой текущих аварий;
  • дискриминатор продвижения данных о событии;
  • многоточечное кроссовое соединение;
  • запись о создании объекта;
  • запись о удалении объекта;
  • тракт;
  • двунаправленная оконечная точка тракта и т.д.

Функциональные блоки сети TMN используют системы “Менеджер-Агент” для выполнения операций управления. На рисунке 2.64 приведена схема последовательного взаимодействия в сети управления.

М – менеджер
А – агент

Рисунок 2.64. Пример последовательного взаимодействия в сети управления.

Рисунок 2.64. Пример последовательного взаимодействия в сети управления.

Для осуществления взаимодействия менеджер-агент системы должны разделять общую точку зрения или иметь информацию следующего вида:

  • способности используемых протоколов;
  • используемые функции управления;
  • классы управляемых объектов;
  • необходимости управляемого объекта;
  • санкционированные способности;
  • взаимосвязи содержимого между объектами.

Все указанные части информации определены ITU-T как знание для раздельного управления.

Физическая архитектура сети TMN включает в себя компоненты (устройства), которые являются физической реализацией функциональных блоков, сети передачи данных с соответствующими протоколами и интерфейсами. При этом протоколы имеют физическое и программное (протокольное) исполнение. Общая физическая архитектура управления приведена на рисунке 2.65.

Рисунок 2.65. Физическая архитектура управления.

Рисунок 2.65. Физическая архитектура управления.

Медиаторы, служащие для промежуточных обработок данных и их хранения, преобразования протоколов, являются факультативными устройствами и могут быть реализованы в сетевых элементах.

Интерфейсы Q3, Qx, F, X являются межоперационными, т.е. представляют собой формально определенный набор протоколов, процедур, форматов сообщений и семантики, используемых для передачи информации управления.

Пример формального определения интерфейсов Q3 и Qx приведен на рисунке 2.66, где формализация связана с протокольными уровнями моделей ISO/OSI (семь уровней) и TCP/IP (четыре уровня).

Рисунок 2.66. Примеры формального определения интерфейсов управления ISO/OSI и TCP/IP.

Рисунок 2.66. Примеры формального определения интерфейсов управления ISO/OSI и TCP/IP.

Сокращения, приведенные на рисунке 2.66:

ACSE, Association Control Service Element – элемент услуги контроля ассоциации (группы);
ASN, Abstract Syntax Notation One – абстрактное описание синтаксиса;
CMISE, Common Management Information Services Element – элемент службы общего информационного управления;
CSMA/CD, Carrier Sense Multiple Access/ Colision Detection – множественный доступ с опросом состояния канала и обнаружением конфликтов;
LAPD, Link-Access Procedure D – процедура доступа к каналу данных D;
NMASE, Network Management Association Services Element – элемент ассоциации услуг сетевого управления;
ROSE, Remote Operation Services Element – элемент обслуживания удаленных операций;
TCP/IP, Transmission Control Protocol / Internet Protocol – протокол управления передачей / межсетевой протокол;
UDP, User Datagram Protocol – протокол передачи дейтаграмм (без установления соединений).
Пример физической архитектуры сети управления приведен на рисунке 2.67.

Рисунок 2.67. Пример физической архитектуры сети управления.

Рисунок 2.67. Пример физической архитектуры сети управления.

Функции управления сетевым элементом и транспортной сетью состоят в следующем:

  • конфигурировании сетевого элемента;
  • установка параметров электрических и оптических портов на сетевых элементах;
  • коммутации кроссовых соединений;
  • переключении на резерв секций, трактов, соединений подсетей и оборудования;
  • конфигурировании синхронизации;
  • конфигурировании каналов передачи данных управления;
  • обработке аварийных сигналов;
  • контроле функционирования.

Конфигурирование сетевого элемента предполагает выполнение ряда операций:

  • базовое конфигурирование сетевого элемента с пустой MIB;
  • резервирование и восстановление конфигурации обеспечивает для пользователя возможность поиска и получения конфигурации сетевого элемента и восстановление ее в том же самом или другом сетевом элементе;
  • запроса данных конфигурации по позициям сетевого элемента (тип полки, список оборудования, назначение смежных блоков, точки окончания, тактирование, выдача аварийных сигналов, каналы передачи данных управления);
  • конфигурирование тактовых генераторов;
  • конфигурирование входов дистанционного контроля;
  • считывание состояния программного обеспечения и т.д.

Установка параметров порта на сетевом элементе подразумевает установку состояний оптических и электрических интерфейсов агрегатных и компонентных сигналов, интерфейсов внешней синхронизации и другое.

Коммутация кросс - соединений в сетевых элементах может быть выполнена между отдельными электрическими и оптическими интерфейсами. Для контроля качества сигнала на установленном кроссовом соединении могут использоваться точки окончания или транзитного соединения.

Кроссовые соединения выполняются после полной конфигурации сетевых элементов за исключением кроссовых. При кроссировании устанавливаются однонаправленные соединения точка-точка, однонаправленные точка - много точек, двунаправленные. Отмечаются точки окончания, метки сигналов, контроль транзитных соединений.

Переключение на резерв выполняется с целью повышения надежности системы и сети связи. При нарушении передачи, например, при обрыве линии (сигнал LOS) или повышенном коэффициенте ошибок должно быть выполнено переключение сигналов на резервную линию. Дополнительное оборудование в составе сетевого элемента может защитить трафик в результате защитного переключения.

Функции управления в этом случае состоят в резервировании секции мультиплексирования, соединения подсети (тракта), защиты оборудования.

Процедуры управления определены относительно установки резервирования, удаления резервирования, запроса конфигурации и данных о состоянии для существующих резервирований, изменений конфигураций резервирования, переключений между рабочими и резервными линиями или сменными блоками в оборудовании. Резервирование может быть полным (1 + 1) и частным (1 : n), где n – рабочих и 1 резерв.

Конфигурирование синхронизации предполагает:

  • конфигурирование источников синхронизации сетевых элементов и сети;
  • конфигурирование тактовых сигналов системы;
  • конфигурирование внешнего тактового сигнала синхронизации сети.

Конфигурирование производится согласно показателей качества и приоритетов. Очередность приоритетов устанавливается программно в каждом сетевом элементе.
Признаком переключения по приоритету могут служить:

  • потеря сигнала (LOS, Loss of Signal);
  • потеря цикла передачи (LOF, Loss of Frame);
  • сигнал индикации аварии (AIS, Alarm Indication Signal).

Качество синхросигнала кодируется и передается в цикле SDH (STM-N) в байте-метке синхронизма S1. Для защитных переключений источников синхронизации предусмотрен таймер восстановления синхронизма (от 1 до 60 минут), который возвращает схему синхронизма после срабатывания в обратное положение.

Конфигурирование DSN (Data Communication Network) – сети передачи данных для управления выполняется для обеспечения надежности передачи данных управления. При этом конфигурировании создаются форматы адресов области (домена) и дополнительные адреса.

Адрес области (домен) – часть точки доступа к обслуживанию на сетевом уровне (NSAP, Network Layer Service Access Point), который ставится перед идентификатором системы SID (System Identification).
Возможны следующие формы адреса:

  • фиксированные 20 байт;
  • фиксированные 10 байт;
  • формат переменной длины.

Примеры форматов приведены на рисунке 2.68.

фиксированные 20 байт

a) фиксированные 20 байт

фиксированные 10 байтов

b) фиксированные 10 байтов

формат переменной длины

c) формат переменной длины

Рисунок 2.68 Форматы адреса передачи данных управления.

Условные обозначения на рисунке 2.70:
AFI, Authority and Format Identifier – идентификатор полномочий и формата;
DFI, Domain Format Identifier – идентификатор формата области (домена);
DSP, Domain Specific Part – специальная часть области;
IDI, Initial Domain Identifier – идентификатор исходного домена (области);
IDP, Internetwork Datagram Packet – пакетный дейтаграмный межсетевой обмен;
RD, Receive Data –данные приемника (получателя);
SEL, Selector – селектор;
SID, System Identification – системный идентификатор.

При конфигурировании DSN производится маршрутизация с целью объединения сетевых элементов, в том числе и шлюзового в единую сеть. Редактируется DSN для определенного сетевого элемента. Отображаются соединения каналов передачи данных управления (DCC).

Обработка аварийных сигналов предполагает различные виды отображения аварий. Аварии индицируются в сетевом элементе светодиодами AIP (Alarm Interface Panel). Аварийные сигналы как уведомления отправляются в систему управления для идентификации срочности и важности и отображения оператору.

В системе управления от сетевых элементов может фиксироваться степень серьезности аварии, список аварийных сигналов, фильтр аварийных сигналов (для критериев аварий), число возникших аварийных сигналов, время аварий, звуковой сигнал.

В системе управления может быть получена подробная информация относительно аварийного сигнала, например, категория аварии (оборудование, передача, противоречия в обработке сигналов, внешнее оборудование, сбой управления).

Система управления содержит регистрацию аварийных сигналов, которые могут быть отфильтрованы и упорядочены.

Контроль функционирования (PM, Performance Monitoring) позволяет пользователю системы управления следить за качеством работы конкретного объекта транспортной сети. Достигается непрерывность сбора статистической информации и ее анализа. Для этого системой управления производится активизация точек измерений параметров функционирования, опрос активных точек измерений параметров функционирования, опрос результатов измерений, деактивация точек измерений.

Контроль функционирования периодичен и информация фиксируется через 15 минут или 24 часа (каждый час 0, 15, 30 и 45 минут).



2.7.2. Представление функций управления через окна программы

Главное окно программы управления сетевыми элементами и сетью представляется (рисунок 2.69:

  • панелью меню;
  • панелью инструментов;
  • панелью состояний;
  • окнами “off-line”; “Извещения”; “Журналом событий”.

Рисунок 2.69. Главное окно программы управления.

Рисунок 2.69. Главное окно программы управления.

Пример панели меню приведен на рисунке 2.70. Краткая информация по части панели меню приведена на рисунках 2.71 – 2.76.

Рисунок 2.70. Пример панели меню.

Рисунок 2.70. Пример панели меню.

FILE Манипуляция программой
  Save Сохранение файлов посредством диалогового режима Windows NT
Current alarm log... Сохранение "Журнала текущих аварий
Historycal event log... Сохранение "Журнала cобытий"
Notifications... Сохранение сообщений окна "Извещения
Screen Dump Сохранение текущего окна в формате bmp
  Print Печать посредством диалогового режима Windows NT
Current alarm log... Печать "Журнала текущих аварий"
Historycal event log... Печать "Журнала событий"
Notifications... Печать сообщений окна "Извещения"
Screen Dump Печать активного окна с его содержимым
  Printer Setup... Изменение и установка опций принтера
  Exit Выход из программы NE-UniGate
   
VIEW Установки интерфейса пользователя
  Rearrange icons Выстраивание иконок NE в окне отображения сетевых элементов
  Find NE.. Поиск NE в окне отображения сетевых элементов по заданным критериям
  Toolbar Вкл. или выкл. отображение панели инструментов
  Statusbar Вкл. или выкл. отображение панели состояний

Рисунок 2.71 Пример краткой информации File, View.

CONFIGURATION Конфигурация параметров терминала
  Assign Регистрация адресов сетевы элементов и фонового рисунка
Q-B3 Adresses.. Манипуляция Q-B3 адресами сетевых элементов и локального терминала
Map... Фоновый рисунок (карта местности сети связи)
  Communication channel Выбор интерфейса Q-F или Q-B3
  Interface parameters... Манипуляция параметрами интерфейсов Q-F и Q-B3
   
NETWORK Управление соединениями/аварийными сообщенями для всех доступных сетевых элементов
Connect to network/Disconnect from network Установить/Разорвать соединение между терминалом оператора и сетевыми элементами по выбранному каналу связи
Refresh connections Обновить соединение (отображение на экране) между терминалом и NE
Connect to network elements Подключить выбранные сетевые элементы к терминалу оператора
Disconnect from network elements Отключить выбранные сетевые элементы от терминала оператора
  Fault Администирование аварий
Alarm request Обновить аварийную информацию для всех доступных сетевых элементов
Alarm reset Сброс(удаление) всех аварийных сообщений для всех доступн. сетевых эл-ов
Current alarm log... Отображение поиска текущих аварий для всех доступных сетевых элементов (по-умолчанию 1000 аварий)
  Network level information... Отобразить информацию о текущем уровне сетевой иерархии

Рисунок 2.72. Пример краткой информации Configuration, Network.

Simbol Администрирование соединений и аварийных сообщений для выбранного сетевого элемента
Object information Вывод на экран информации о выбранном сетевом элементе и программе по его обслуживанию
Assign map Конфигурация фонового ресеунка сетевого режима
Start aplication Запуск программы по обслуживанию выбранного сетевого элемента
File transfer Запуск приложения для обмена файлами м/ду терминалом и мультиплексором
Connect to NE/ Disconnect from NE Установить/Разорвать соединение для выбранного элемента
  Fault Администрирование аварий для выбранного сетевого элемента
Alarm information Отображает тип аварий для выбранного сетевого элемента в порядке важности
Alarm request Обновить аварийную информацию для выбранного сетевого элемента
Alarm reset Сброс (удаление) всех аварийных сообщений
Current alarm log Отображение списка текущих аварий для выбранного сетевого элемента
Ackonwiedge alarms... Подтверждение аварий в выбранном сетевом элементе
  Link with object Соединение символов NE с помощь линий
Draw Line Нарисовать линию м/ду выбранным и др. NE
Line color Изменение цвета линии
  Unlink from object Удаление линий
  Remove from network Удалить выбранный NE (не доступный в данный момент) из окна сети

Рисунок 2.73. Пример краткой информации Simbol.

SECURITY Администрирование прав доступа, вход и выход из программы
Logon.. Вызов диалогового окна "Вход в программу ..." в качестве зарегестрированного пользователя
Logoff.. Выход из программы
User.. Добавление, удаление либо изменение прав пользователей
Password.. Изменение пароля текущего пользователя (мин 8 - макс 15 символов)
   
OPTIONS Установка дополнительных опций
Settings... Изменение параметров "Журнала текущих аварий", "Журнала истории событий" и "Конфигурации аварий"
   
WINDOW Режим отображения открытых окон
Cascaded Каскадное отображение окон
Tiled Окна отображаются индивидуально , не перекрывая друг друга
Arrange icon Выстроить иконы и минимизированные окна в Главном окне программы
1 Notifications  
2 Off-line mod  
3 Historical event log  
   
HELP Help в стиле Windows NT
Contents Содержание Help
On window Help для текущего окна (вызывается клавишей F1)
How to use help Справка об использовании Help
About Короткая справка о программе

Рисунок 2.74. Пример краткой информации Security, Options, Window, Help.

Примеры возможных установок панелей инструментов и состояний приведены на рисунках 2.75 и 2.76.

Рисунок 2.75. Панель инструментов.

Рисунок 2.75. Панель инструментов.

Рисунок 2.76. Панель состояний.

Рисунок 2.76. Панель состояний.



2.7.3. Управление сетью SDH

Управление сетью SDH охватывает следующие объекты:

  • сетевые элементы SDH (NE SDH);
  • секции (физические соединения между NE SDH);
  • тракты (логические соединения между портами аппаратуры SDH).
Эти объекты обычно объединяются в группы:
  • устройства;
  • сетевые элементы;
  • сеть (секции и тракты);
  • система, в число которых включены объекты системы управления и внешние по отношению к SDH элементы.

Устройства – это объекты, которые являются внешними по отношению к сетевому элементу. К этим объектам можно отнести: домен, офис (помещение), аварийная охранная сигнализация, состояние помещения.

Сетевые элементы – это аппаратурные модули, которые входят в состав NE (полки, выдвижные ящики (блоки), пакеты, порты (компонентные, агрегатные, порты и др.)).

Объекты, обозначенные как “Сеть”, представляют собой: секции; подсети; тракты верхнего и нижнего порядка (VC-3/4, VC-12). Объекты сетевого уровня используются в системах управления обработкой сбоев и управления конфигурацией.

Под системой управления следует понимать: сервер; базу данных; пользователя и лицензию по управлению сетью.

Информационная база управления в системе управления сетью SDH представлена древовидной схемой на примере рисунка 2.77.

Рисунок 2.77. Древовидная схема базы данных управления.

Рисунок 2.77. Древовидная схема базы данных управления.

Для каждого сетевого элемента определяются в его информационной базе шаблоны для заполнения. Загрузке в MIB подлежит информация, пример которой представлен на рисунке 2.78.

Рисунок 2.78. Пример функций NE SDH, отображаемых в MIB.

Рисунок 2.78. Пример функций NE SDH, отображаемых в MIB.

Пример индицируемых дефектов в системе управления сетевого элемента SDH приведен в таблице 2.17.

Таблица 2.17. Индицируемые дефекты в сетевом элементе SDH.

Таблица 2.17. Индицируемые дефекты в сетевом элементе SDH.

SPI – агрегатный интерфейс
RS – секция регенерации
MS – секция мультиплексирования
SETS – синхроисточник
На рисунке 2.79 представлена общая функциональная организация управления сетевого элемента NE SDH.

ES, Errored Second – секунда с ошибками, период в 1с., в течение которого наблюдалась хотя бы одна ошибка.

SES, Severely Errored Second – секунды, пораженные ошибками – период 1с., в течение которого коэффициент ошибок был более 10-3.

Рисунок 2.79. Функциональная организация управления cетевым элементом NE SDH.

Рисунок 2.79. Функциональная организация управления cетевым элементом NE SDH.

Пример включения сетевых элементов NE SDH в сеть управления в упрощенном варианте приведен на рисунке 2.80.

OSF-MAF – функции операционной системы
MF-MAF – функции медиатора
NEF-MAF – функции сетевого элемента
MCF – функции передачи сообщений
Q3, Qx, Qecc – интерфейсы управления
M – менеджер
A – агент

Рисунок 2.80. Пример включения сетевых элементов SDH в сеть управления.

Рисунок 2.80. Пример включения сетевых элементов SDH в сеть управления.

Управление сетью SDH возможно и без системы, но с сетевого терминала для ограниченного числа сетевых элементов, например, до 50. При этом ограничиваются возможности, например, по резервированию, конфигурированию сети.

Варианты терминалов сетевого управления приведены в таблице 2.18.

Таблица 2.18. Типы терминалов управления.

Характеристики Тип терминала
Локальный Сетевой
Способы подключения F Q3 F Q3
Локальный доступ к NE есть есть
Удаленный доступ к сетевым элементам NEs нет есть нет есть
Максимальное число контролируемых NEs 1 50 1 50
Контроль аварии локального NEs нет есть
Контроль аварийного состояния удаленных NEs нет есть
Использование графического построения линии нет нет нет
Использование фонового рисунка
есть

Для реализации доступа к функциям управления предусматривается классификация пользователей и определение прав доступа (таблица 2.19).

Таблица 2.19. Классы пользователей и прав доступа.

Уровень
доступа
Класс
пользователя
Ограничения в правах доступа
1 Обслуживание
(Main tenance)
создание кроссовых соединений;
регистрация программного обеспечения;
регистрация и модификация адресов Q3;
регистрация фонового рисунка;
администрирование пользователей.
2 Функционирование
(Operation)
регистрация и модификация адресов Q3;
администрирование пользователей.
3 Наблюдение
(Supervision)
регистрация и модификация адресов Q3
4 Администрирование
(Administration)
нет ограничений

На рисунке 2.81 представлен пример продукции управления транспортными сетями Alcatel.

Рисунок 2.81. Пример распределения функций управления между оборудованием управления Alcatel.

Рисунок 2.81. Пример распределения функций управления между оборудованием управления Alcatel.



2.7.4. Управление в сети ATM

Управление в сети ATM является многоплановым и включает следующие составляющие:

  • общая характеристика управления;
  • протоколы управления и базы данных управления ATM;
  • эксплуатация и техническое обслуживание (ОАМ);
  • контроль и управление трафиком.


2.7.4.1. Общая характеристика управления в АТМ

Общая характеристика управления в АТМ происходит из модели B-ISDN (рисунок 2.1).

Уровень управления предназначен для реализации функций управления всех систем широкополосной цифровой сети с интеграцией услуг. В этом уровне реализуются кроме функций прямого управления еще и функции координации между слоями и каждого слоя в отдельности.

Функции управления и координации определяются спецификой оборудования и построением сети, а также функциями оперативного управления и администрирования OAM (Operation Administration Management), зафиксированными в рекомендациях ITU-T I.610. Кроме того, функции управления АТМ согласованы с функциями сети управления электросвязи (TMN, Telecommunications Management Network), зафиксированными в рекомендациях ITU-T M.3000…3660.

В соответствии с рекомендациями ITU-T уровень управления исполняет следующие функции управления плоскостями::

  • устранением неисправности;
  • рабочими характеристиками;
  • конфигурацией;
  • выпиской счетов;
  • защитой информации.

В нормальном (рабочем) состоянии сети АТМ мониторинг сетевых элементов обеспечивает непрерывный или периодический контроль неисправности всех контрольных объектов (коммутаторов, концентраторов, узлов доступа, систем передачи и т.д.). Механизм контроля, реализуемый функциями ОАМ, предусматривает информирование оператора сети о качественном состоянии сети за короткий и длительный интервалы времени наблюдения и также позволяет инициировать профилактический контроль.

При непрерывном или периодическим контроле сети в случае аварии происходит опознание места ее возникновения и локализация неисправного оборудования, т.е. его исключение из сети. При этом системная защита должна обеспечить уменьшение негативного эффекта от аварии путем ввода в действие резервного оборудования или обходных каналов. Детальное обнаружение дефекта при аварии осуществляется путем внутреннего или внешнего тестирования поврежденных элементов.

Основой для построения высокоэффективной системы управления являются “высокоинтеллектуальные агенты управления”, которые представляют собой специализированные микроконтроллеры, включенные во все сетевые элементы. Организация управления сетевыми элементами основана на протоколах управления, например, SNMP (Simple Network Protocol), простом протоколе управления сетью, соответствующем стандартам открытых систем (ISO/OSI).

Необходимо отметить, что SNMP не реализует всех функций уровня управления АТМ. Для полной идентификации состояний Ш-ЦСИО на основе АТМ Международный Союз Электросвязи рекомендует пять уровней физической иерархии ОАМ. Они демонстрируются на рисунке 2.82, где F1, F2, F3, F4, F5 –уровни реализации функций ОАМ.

Каждый из них обеспечивает следующие функции:уровень F5 (виртуальных каналов) служит для взаимодействия сетевых элементов через виртуальные каналы;

уровень F4 (виртуальных путей) служит для взаимодействия групп сетевых элементов, которые используют одно и то же соединение виртуальных путей:

Рисунок 2.82. Уровни ОАМ для АТМ.

Рисунок 2.82. Уровни ОАМ для АТМ.

уровень F3 (тракта передачи) служит взаимодействию процессов сборки и разборки ячеек АТМ, защиты заголовков от ошибок с помощью контрольной суммы в HEC и др.;

уровень F2 (секции мультиплексирования) служит для контроля за работой каналообразующего оборудования и протоколов, например, SDH, PDH, SONET и др.;

уровень F1 (секции регенерации) служит для контроля электрических и оптических преобразований в физической среде (контроль мощности лазера, выделение тактовой частоты, токи схемных элементов).



2.7.4.2. Протоколы управления и базы данных управления

Протоколы управления обслуживают систему “Агент-Менеджер”, т.е. процесс обмена данными между программами центра управления и сетевыми устройствами (коммутаторами, концентраторами, мультиплексорами).

Система “Агент-Менеджер” стандартизирована на основе протоколов SNMP и CMIP (Common Management Information Protocol), т.е. простого протокола управления сетью и протокола общей информации управления.

Схема взаимодействия показана на рисунке 2.83.

Рисунок 2.83. Система “Агент-Менеджер”.

Рисунок 2.83. Система “Агент-Менеджер”.

Программные продукты Агент и Менеджер взаимодействуют через стандартный протокол на предмет объектов управления. Объекты управления представляют собой абстрактные отражения реальных физических ресурсов сетевых устройств и сетей. Например, объектами управления могут быть оконечные точки сети (виртуальные каналы и тракты), аварийные сообщения (срочные и отложенные аварии), конфигурации доступа (физические порты на скоростях 2.048 Мбит/c; 155.520 Mбит/c;…), сигнальная система и т.д.

Менеджер взаимодействует с агентом с помощью команд (запросов) и уведомлений (ответов). Различные протоколы (SNMP и CMIP) позволяют реализовать различные возможности сетевого управления. Например, SNMP изначально был рассчитан на централизованное управление, а CMIP поддерживает систему распределенного управления, которая может включать несколько менеджеров. Кроме того, протокол CMIP рассчитан на интеллектуальных агентов (т.е дорогих по стоимости), которые могут по одной простой команде от менеджера выполнить сложную последовательность действий.

Агенты SNMP простые и выполняют операции по командам менеджера, что приводит к многочисленным обменам командами и уведомлениями. Не смотря на сравнение протоколов не в пользу SNMP, именно он нашел наибольшее применение в сетях АТМ.



2.7.4.3. Протокол и информационная база локального управления на основе SNMP

Частное решение, предложенное ATM-Forum, по управлению представляет собой один из вариантов SNMP, приспособленного к сети АТМ. Этот вариант SNMP получил название Integrated Local Management Interface (ILMI) – интегрированный интерфейс локального управления.
ILMI предназначен для контроля соединений через интерфейс UNI.

Модель управления сетью АТМ, разработанная ATM-Forum в 1996 году, предусматривает следующие возможности:

  • каждое АТМ устройство (коммутатор, терминал, концентратор) будет поддерживать один или несколько АТМ интерфейсов (UNI, NNI);
  • функции ILMI для интерфейса АТМ представляют информацию о статусе, конфигурации, физическом слое и слое АТМ;
  • данные об интерфейсах хранятся в информационной базе управления MIB (Management Information Base) в виде объектов управления, организованных по стандартной древовидной схеме с образование групп;
  • в каждом устройстве АТМ (коммутаторе, терминале, концентраторе) определен один управляющий элемент АТМ интерфейса АТМ IME (ATM Interface Management Entity);
  • при подключении двух АТМ устройств друг к другу через соответствующий интерфейс налаживается и взаимодействие двух IME;
  • передача данных между ILMI происходит через физические и виртуальные связи;
  • протокол взаимодействия ILMI представляет собой открытый протокол SNMP/AAL5;
  • с помощью протокола ILMI IME может иметь доступ к информационной базе данных соседнего устройства АТМ;
  • интерфейс ILMI поддерживает двунаправленный обмен параметрами АТМ интерфейсов между двумя IME.

Управляющий протокол SNMP и база данных управления MIB необходимы для доступности информации о сети каждому пользовательскому окончанию для установления соединения. Типы информации, доступной в MIB АТМ интерфейса, представлены на рисунке 2.84.

Рисунок 2.84. Структура MIB ATM.

Рисунок 2.84. Структура MIB ATM.

Для ILMI определены идентификаторы VPI:0; VCI:16. Каждый интерфейс ILMI имеет ряд групп объектов, показанных на рисунке 2.87 в виде ветвящегося дерева. Для доступа к данным объектов формируется индекс интерфейса, связанный с определенным интерфейсом UNI.

Рисунок 2.85. Структура информационной базы управления сети АТМ.

Рисунок 2.85. Структура информационной базы управления сети АТМ.

Для каждой группы MIB характерны свои данные:

  • физический уровень отличается типами портов (2.048 Мбит/c; 34.368 Мбит/c; 155.520 Мбит/c), типом физической среды (волокно, коаксиал), информационным статусом;
  • уровень АТМ характеризуется количеством виртуальных путей и каналов (возможным и сконфигурированным);
  • статистика уровня АТМ определена числом принятых и переданных ячеек на интерфейс, количеством отброшенных ячеек и причинами отбрасываний;
  • соединение VP и VC это значения соответствующих идентификаторов (VCI/VPI), статус соединения, класс услуг, определение трафика;
  • сетевой префикс представляет собой строку переменной длины (8-13 байт), в которой определен сетевой префикс в формате NSAP или в формате Е.164 (UNI 3.0) ATM–Forum.

Адреса – это адреса АТМ из 8 байт, это адреса сигнального адресного формата NSAP UNI 3.0 Forum АТМ самого нижнего порядка (рабочих групп) и статус адреса АТМ.

Адреса размещаются в MIB на сетевой стороне, а сетевые префиксы на пользовательской стороне (UNI). Группа адресации не используется при использовании формата E.164, т.к. восьми байтовый сетевой префикс полностью определяет адрес.

Регистрация адреса и префикса осуществляется в момент инициализации или тогда, когда прибавляется или удаляется префикс или адрес. При инициализации адресные и префиксные таблицы инициализируются пустыми. Порядок обмена командами управления UNI при регистрации адреса приведен на рисунке 2.86.

Рисунок 2.86. Сообщения при регистрации адреса пользователя.

Рисунок 2.86. Сообщения при регистрации адреса пользователя.

Подробная структура MIB ATM UNI ILMI приведена на рисунке 2.87.

Место управления ILMI в общей структуре управления АТМ сети показано на рисунке 2.87.

Рисунок 2.87. Место ILMI в модели управления.

Рисунок 2.87. Место ILMI в модели управления.

Агенты системы управления могут выполнять операции управления по “доверенности” (proxi) менеджера системы, что предусмотрено в концепции управления SNMP.



2.7.4.4. Управление уровнями АТМ (функции ОАМ)

Общая характеристика управления уровнями АТМ определена рекомендацией ITU-T I.610. На рисунке 2.88 представлено общее функциональное описание управления.

Рисунок 2.88. Функциональное описание управления уровнями АТМ.

Рисунок 2.88. Функциональное описание управления уровнями АТМ.

Уровни ОАМ F1, F2, F3 отнесены к физическому уровню Ш-ЦСИО, т.к. обеспечивают контроль сигнала до его логической и информационной обработки.

Уровни ОАМ F4 и F5 считаются уровнями логической и информационной обработок сигнала, т.к. здесь обеспечивается маршрутизация согласно маршрутных адресов, заложенных маршрутные таблицы, и коммутация для установления соединения, здесь анализируется неисправность, качество работы сети, производится активация и деактивация.

Для реализации функций ОАМ любой из уровней (F1–F5) способен формировать запросы ОАМ, т.е. вставлять служебную информацию в общий поток данных. Например, для организации запросов уровней F1, F2, F3, относящихся к физическому уровню ОАМ, представленному сетью SDH, для F1 и F2 запросы идут в заголовке RSOН, а для F3 в заголовке MSOН синхронного транспортного модуля (STM-N, N =1, 4, 16, 64). Для уровней F4, F5 выделяются заранее определенные виртуальные каналы, которые резервируются в каждом виртуальном пути. Эти каналы двусторонние.

Узлы, управляющие вставкой запросов ОАМ в поток информации, контролируют и уничтожают запросы, адресованные им.

На рисунке 2.89 приведен пример возможных служебных ячеек для ОАМ на физическом уровне. Возможные функции уровней F4 и F5 представлены в таблице 2.20.

Таблица 2.20 Функции уровня ОАМ

Соединение
АТМ
Уровень
ОАМ
Функция уровня
ОАМ
Возможная
неисправность
Виртуальный
путь
F4 Проверка наличия свободного виртуального пути Нет свободного виртуального пути
Проверка загрузки виртуального пути Перезагрузка виртуального пути
Виртуальный канал F4 Проверка наличия свободного виртуального канала Нет свободного канала
Проверка загрузки виртуального канала Перезагрузка виртуального канала

Для тестирования АТМ соединений используется периодическая инициализация передачи ячеек служебной информации в виртуальных каналах и путях независимо от загрузки этих каналов. Длительное отсутствие в любых каналах служебных ячеек является для системы управления сигналом аварийного состояния.

Помимо прямого контроля виртуальных путей и каналов применяется передача по шлейфу служебных ячеек с функциями ОАМ.

При этом VC и VP остаются в работоспособном состоянии, однако, служебные ячейки заворачиваются и возвращаются в пункты их исхода. Служебные ячейки с информацией ОАМ могут быть вставлены в любом месте VC/VP, то есть в его начале или в середине. Они переносят в поле данных инструкции по их возврату (шлейфованию).

Рисунок 2.89. Служебная ячейка АТМ для ОАМ.

Рисунок 2.89. Служебная ячейка АТМ для ОАМ.

Служебные ячейки ОАМ обеспечивают обнаружение неисправностей:

  • потеря синхронизации ячеек;
  • исправляемые ошибки заголовка;
  • не исправляемые ошибки заголовка;
  • сигнал неисправности уровня VP;
  • нарушение работы уровня VP;
  • сигнал неисправности уровня VC;
  • сигнал нарушения работы уровня VC;
  • сигнал одновременной неисправности уровней VP и VC;
  • нарушение одновременное работы VC и VP;
  • потеря связности виртуального соединения.

Составной частью функций ОАМ является контроль качества передачи ячеек, который включает следующие параметры:

  • количество ячеек с ошибками;
  • количество блоков ячеек с ошибками;
  • количество потерянных и ложно вставленных ячеек;
  • задержка при передаче ячеек и ее вариации.

Структура ячейки ОАМ для контроля качества приведена на рисунке 2.90.

Рисунок 2.90. Структура ячейки контроля качества АТМ.

Рисунок 2.90. Структура ячейки контроля качества АТМ.

Функции полей ячейки контроля качества:

  • порядковый номер используется для контроля связности служебного канала ОАМ;
  • TUC0/TUC0+1, Total User Cell – данные о количестве ячеек пользователя, среди которых передаются ячейки ОАМ, обозначения индексов (0, 0+1) обозначает бит CLP = 0/CLP = 0+1;
  • BEDC0+1, Block Error Detected Code – обнаружение ошибок;
  • TRCC0/TRCC0+1, Total Received Cell Count – квитанция после приема ячеек пользователя, среди которых была ячейка ОАМ; индексы (0/ 0+1) обозначают биты CLP = 0/CLP = 0+1; знак “+” означает логическое сложение;
  • BLER0+1, Block Error Result – данные об ошибках на стороне приема, обнаруженные по алгоритму BIP-16 (Bit Interleaved Prity)- четности перемежающихся битов.


2.7.5. Управление в сети WDM

Управление в сети WDM в общих аспектах схоже с ранее рассмотренными вариантами управления SDH и АТМ, однако для WDM сети характерны отличительные признаки. К ним относятся решения по фотонному восстановлению сигналов многоволновой сети (усиление и оптическая регенерация без преобразования в электронный вид), фотонная коммутация каналов, выделение и ввод отдельных волновых каналов и т.д. Все это накладывает отпечаток на особенности построения управления оптической сетью. Одной из таких особенностей является разделение управления SDH, АТМ и WDM в оптической сети, как показано на примере рисунка 2.91.

В то же время, введение системного интегратора управления поможет выйти на новый уровень решения задач управления, объединив зачастую различные технологии управления для наивысшей эффективности. Таким системным интегратором может служить технология CORBA (Common Object Request Broker Archotecture) – общая архитектура брокеров объектных запросов, являющаяся наиболее важным проектом в области промежуточного программного обеспечения. Изучение технологии CORBA является отдельной большой темой в задачах управления и в этом учебном издании не рассматривается.

Ниже приведены элементы по возможной архитектуре управления на уровне WDM (EMS WDM) (рисунок 2.91).

Рисунок 2.91. Пример представления интегрированной системы управления сложной комплексной транспортной сети с оборудованием WDM, SDH, ATM.

Рисунок 2.91. Пример представления интегрированной системы управления сложной комплексной транспортной сети с оборудованием WDM, SDH, ATM.

Оптическая сеть WDM может состоять из отдельных подсетей и соединяющих их линий. Управление в оптической сети сводится в соответствии с общей моделью управления к следующему:

  • управлению сетью (Layer Network); -управление подсетью (Subnentwork);
  • управление линией, соединяющей подсети (Transport link и access link);
  • управление точкой линейного окончания (Link Termination Point – LinkTP);
  • управление линейным соединением – т.е. волновым каналом (Link Connection – LC);
  • управление точкой окончания соединения сети (Network Connection Termination Point – nw CTP);
  • управление соединением подсети, т.е. ресурсом передачи (волновыми каналами) между подсетями (Subnetwork Connection – SNC);
  • управление точкой окончания сетевого тракта, не ограничиваемого только уровнем транспортной сети и доходящего до пользовательской сети (сети доступа) (Network Trail Termination Point – nw TTP);
  • управление трактом из конца в конец как ресурсом передачи пользовательской информации между двумя nw TTP.

Указанные функции управления как правило отражаются в MIB сетевого управления и управления сетевыми элементами. Множество других решений по управлению оптическими сетями находятся в стадии обсуждения и разработки.

Интегральные и оптические сети






© Банк лекций Siblec.ru
Электронная техника, радиотехника и связь. Лекции для преподавателей и студентов. Формальные, технические, естественные, общественные, гуманитарные, и другие науки. Карта сайта

Новосибирск, Екатеринбург, Москва, Санкт-Петербург, Нижний Новгород, Ростов-на-Дону, Чебоксары.

E-mail: formyneeds@yandex.ru