Организация управления данными

Тема: Управление данными – основа администрирования БД. Основная концепция управления данными.

Управление данными включает в себя процессы переработки данных, начиная от сбора данных и заканчивая их архивацией и доведением до пользователей. При этом рассматриваются как технологические, так и организационные вопросы сбора, обработки данных. Администрирование БД – это компонент управления данными, связанный с СУБД.

Управление данными можно рассматривать на уровне источника данных, центра данных, проекта (программы). Каждый уровень может включать предыдущие уровни управления данными. Например, управление данными на уровне центра обязательно включает сбор данных от источников данных. Крупная научная программа может включать несколько экспериментов, каждый из которых может иметь свой план управления данными.

План управления данными – это организационный документ, в котором определены все этапы переработки данных, а также средства их реализации.

Целями создания плана управления данными является улучшение сбора, доступа и использования информации; развитие БД; стандартизация процедур сбора и обмена данными.

Основная концепция управления данными

Создание плана управления данными должно учитывать долгопериодные решения по

• развитию и стандартизации общих технологий сбора и обмена данными, позволяющих уменьшить временной лаг между сбором и доступом к данным;
• увеличению кооперации при сборе, архивации, обработке и картированию данных;
• созданию распределенных БД;
• объединению новых и исторических данных для получения соответствующих временных рядов;
• совместимости БД за счет использования общих протоколов форматирования и контроля качества для отдельных дисциплин;
• доступу к архивным данным.

Методология управления данными должна быть основана на применении наиболее эффективных средств:

• создания многоуровневых каталогов данных;
• использования каталогов для поиска и оценки дубликатов;
• поиска и обмена данными;
• конвертирования данных в общие форматы;
• контроля данными на различных этапах переработки данных;
• создания новых методов обработки данных;
• доступ к данным на компактных дисках, Интернет и др.

План управления данными способствует лучшему пониманию всеми участниками проекта, объединения научных интересов, общественных потребностей и правовых вопросов. Управление данными начинается с проектирования измерительной программы экспедиции или проекта, создания БД и заканчивается доступом пользователей к качественно проконтролированным и хорошо задокументированным БД. План управления данными должен быть ключевым элементом всех крупных проектов и программ. План управления данными поможет максимизировать возврат инвестиций, сделанных в проект с помощью финансирования для целей всестороннего использования получаемых данных, т.е. план управления данными есть механизм распространения и использования результатов проекта, специальная активность, выполняемая в рамках национальной и международной или корпоративной политики, основанной на лучшей практике обработки данных.

Этот план должен описывать работу, технологические требования и соответствующие результаты в проектировании измерительной активности, отчетности по сбору данных, документировании, контроле качества и создании БД, доступа к данным.

Одной из главных задач любого проекта, а особенно центра данных, является создание баз метаданных. Общие подходы в управлении данными позволяют получить пользу как специалистам, работающим в этих проектах, так и обществу в целом (более быстрое использование данных); сделать эффективнее использование большинства источников данных; хорошо задокументировать и проконтролировать данные, предназначенные для общего использования по окончании проекта.

Адекватное управление данными определяется возможностями национальных организаций политическими аспектами, техническими проблемами, условиями финансирования проектов, хорошей координацией всех участников проекта, наличием соответствующего квалифицированного штата.

Управление данными есть процесс, который начинается с измерительной программы экспедиции или проекта, или создания БД и заканчивается доступом общественности к качественно проконтролированным БД, т.е. план управления данными должен быть ключевым элементом всех крупных проектов и программ.

План управления данными есть специальная активность, выполняемая в рамках национальной и международной политики, основанной на лучшей международной практике. План управления данными должен описывать работу, технологические требования и соответствующие результаты в проектировании измерительной активности, отчетности по сбору данных, документировании, контроле качества и создании БД, доступ к данным.

Тема: Организация управления данными. Администрирование БД.

Организация управления данными

По мере увеличения числа дисциплин, по которым собирались данные, накопления БД в различных структурах, перехода обработки данных в сетевую среду, существенно усложнилась проблема управления данными в центрах сбора. Необходимо не только отслеживать форматы сбора данных, но и правила конвертирования, чтобы не потерять информацию. Появилась проблема дублирования данных, полученных из разных источников. На первое место выдвинулась проблема качества данных. Одной из важных проблем стало создание упорядоченных баз данных с эффективным доступом к ним.

Поскольку большого опыта в управлении огромными массивами данных (сотни Гигабайт) не было, то каждый центр разрабатывал свои технологии управления данными. Только в девяностых годах, когда основные дисциплинарные массивы с большей или меньшей полнотой были переведены на технические носители персональных ЭВМ, а возможности этих ЭВМ позволили обрабатывать эти данные, наилучшим способом управления данными в центре стало применение мощной коммерческой СУБД. При этом стало возможным создать интегрированную БД (т.е. объединить в рамках одной базы данных несколько дисциплинарных массивов). Безусловно, проблема управления сбором данных остается, но она смещается на уровень управления данными в экспериментах и проектах.

План управления данными проекта отражает руководящие основы, необходимые для подготовки решений по переработке данных. Критериями управления данными в этом случае являются:

• максимизация сбора данных с широким использованием согласованных стандартов;
• хорошее документирование данных;
• максимизация использования данных путем организации обмена данными;
• последующее длительное использование данных национальным и международным сообществом путем различных публикаций, в т.ч. современными средствами в Интернет и на компактных дисках.

План управления данными формируется на этапе подготовки предложений по проекту в виде раздела «Управление данными» или самостоятельного документа. План управления данными должен отражать проектные решения по технологиям сбора данных, подходы к организации баз данных, используемые стандарты и другие, которые могут быть эффективно использованы в проекте. Сейчас для большинства проектов управление данными есть часть большой работы, для которой создаются специальные группы по отдельным дисциплинам или в рамках корпорации.

Документ «План управления данными» включает:

• Введение.
• Краткий обзор, состояния вопроса.
• Описание имеющихся массивов данных.
• Основная концепцияуправленияданными.
• Классификация, поиск и инвентаризация, сбор и обмен данными.
• Методы обработки данных.
• Программное обеспечение для обработки данных.
• Сотрудничество (международное, межведомственное, корпоративное).
• Использование локальных и глобальных сетей для управления данными.
• Основные шаги реализации Плана управления данными (идентификация пользователей, участвующих организаций в исследовании региона и требований пользователей к информационному обеспечению; описание моделей анализа и прогноза, развитие новых моделей; описание методов использования моделей и других программных средств).

Кроме того, план управления данными представляет:

• Потоки данных и информации,
• Правила документирования данных,
• Технологии оцифровки данных (занесения на технические носители),
• Конвертирование данных для приведения в один формат хранения,
• Требования по поиску, выборке, обработке и представлению данных на экране,
• Возможности дальнейшего использования данных,
• Методы архивации данных,
• Организационные вопросы – кто, что, когда, в какие сроки создает и представляет пользователям ту или иную информацию; проведение семинаров, обучающих курсов и др.

В разделе «Основная концепция управления данными»рассматриваются принципы управления, политика управления данными, объект и функции управления, документирование данных, создание БД, использование информационных стандартов, контроль качества данных.

При разработке программного обеспечения используются общие решения: стандарты на методы регистрации, форматы данных, модельные данные, метаданные, интерфейс, термины и определения, языки описания данных и манипуляции.

Рекомендуется использовать современные инструментальные средства на всех стадиях обработки данных (сбора, накопления, хранения, вычисления, анализа, интерпретации и распространения данных). Важным моментом плана управления данными должны быть организационные правила (статус информационных технологий, включающий правила взаимодействия с информационными системами, обмена данными и т.п.).

Основными шагами реализации плана управления данными являются:

• создание баз метаданных на Web;
• организация поиска, обмена, контроля, хранения и распространения данных;

• создание базы исходных данных;
• поддержка прикладных задач;
• разработка интегрированной базы данных.

К плану управления данными прилагаются списки комитетов, рабочих групп, участвующих организаций, описание выполняемых проектов; примеры описания форматов хранения и обмена данными, применяемых кодификаторов.

Администрирование БД

Относительно крупная БД (объемом более 1 Гбайта, с количеством логических единиц сбора и обработки данных в десятки тысяч) требует эффективного управления. Для этого существуют специальные лица, участвующие в эксплуатации БД –администраторы БД.

Типы администраторов и их обязанности могут отличаться в зависимости от конфигурации СУБД и от конкретной организации. В крупных системах обязанности администратора БД могут распределяться среди нескольких специалистов. В то же время в небольших системах один человек может выполнять функции нескольких типов одновременно.

Можно выделить основные типы администраторов, характерные для всех систем: администраторы баз данных, администраторы по защите данных; компьютерные администраторы; сетевые администраторы; администраторы Интернет (Web–мастера); администраторы телефонной связи; администраторы голосовой почты; администраторы почтовых систем; администраторы мэйнфреймов; администраторы приложений.

Администратор БД отвечает за целостность информационных ресурсов компании. На нем лежит ответственность по созданию, обновлению и сохранности связанных между собой резервных копий файлов, исходя из задач предприятия. Этот человек должен в мельчайших подробностях знать существующие механизмы восстановления программного обеспечения БД. Возможны ситуации, при которых администратору БД потребуется на основе прикладных моделей создавать элементы физической схемы, а также поддерживать связь пользователей с системой и обеспечивать соответствующий уровень информационной безопасности, следя за тем, чтобы доступ к данным имели только те люди, которые в нем нуждаются. Администратор БД должен уметь определять узкие места системы, ограничивающие ее производительность, настраивать SQL и программное обеспечение СУБД и обладать знаниями, необходимыми для решения вопросов оптимизации быстродействия БД.

Основные обязанности администратора БД являются стандартом для большинства систем, в то время как дополнительные могут варьироваться в зависимостиотконкретной организации. Вот некоторые типы администраторов БД: оперативные, тактические, стратегические, прикладные, системные, наемные, администраторы – руководители. Обязанности администратора БД:

• создание баз данных, табличных пространств, таблиц, представлений и индексов согласно спецификации разработчика приложений;
• периодическая проверка производительности системы и произведение изменений для поддержки необходимого уровня производительности;
• поддержка целостности данных БД;
• планирование и выполнение качественного резервного копирования и стратегии восстановления;

• установка нового программного обеспечения (очень важно протестировать все программы перед введением их в рабочую среду);
• конфигурация программного и аппаратного обеспечения (вместе с системным администратором);
• обеспечение безопасности;
• настройка производительности и его мониторинг, резервное копирование и восстановление системы;
• самая главная задача администратора БД – сохранять данные в системе;
• процедура планового обслуживания (в обслуживание входят архивирование, тестирование и настройка);
• локализация неисправностей;
• восстановление системы после сбоя.

Дополнительными обязанностями администратора БД могут быть:

• анализ данных;
• разработка БД (предварительная);
• моделирование и оптимизация БД;
• предоставление помощи разработчикам по SQL и хранимым процедурам;
• разработка производственных стандартов и соглашений по именам;
• документирование среды;
• консультирование разработчиков и конечных пользователей;
• проверка и тестирование новых программ;
• оценка приобретений нового программного и аппаратного обеспечения;
• планирование нагрузки системы и необходимого объема памяти.