Лекция №2. ИНФОРМАЦИОННЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ В ОРГАНАХ ГОСУДАРСТВЕННОЙ

используются на государственном, областном и районном уровнях при решении статистических

задач. Отраслевые управления (отделы) Госкомстата Украины являются заказчиками разработки КЭОИ и ответственными исполнителями работ по созданию постановки задач для разработки программного обеспечения соответствующих комплексов.
Управления (отделы) Государственного комитета статистики Украины совместно с отделами статистики ГМУС на основании утвержденного годового плана статистических наблюдений формируют годовой план разработки и эксплуатации КЭОИ. В разработке комплексов электронного обработки статистической информации выделяют следующие этапы:
Разработка и утверждение форм государственной статистической отчетности;
Разработка документа «Разъяснение по составлению отчетности»;
Разработка постановки задачи;
Разработка программного обеспечения и эксплуатационной документации;
Опытная эксплуатация;
Внедрение в промышленную эксплуатацию.

постановки задачи разработчиков программного обеспечения, общие требования к программному обеспечению;

эксплуатационную документацию на программное обеспечение; опытную эксплуатацию; внедрение в промышленную эксплуатацию.

Разработчики программного обеспечения участвуют в разработке постановки задачи и выполняют работы, предусмотренные на стадиях:
«Техническое задание»,
«Рабочий проект»,
«Внедрение»,
«Сопровождение».

Примечание. Подробно перечень работ, выполняемых разработчиком программного обеспечения на каждой стадии, определены в документе «Нормативы затрат времени на обработку программного обеспечения комплексов электронного обработки статистической информации».

всех КЭОИ ответственный исполнитель по разработке программного обеспечения (ГМУС) должен

разработать программное обеспечение:
С единым унифицированным интерфейсом;
С типичными стандартизированными функциями, библиотеками, программными модулями;
С одинаковыми именами файлов классификаторов;
С одинаковым механизмом формирования имен файлов;
С использованием информационно-поисковой системы, которая предоставляет возможность по запросу пользователя отбирать по указанным критерием любую совокупность отчетов;
С использованием стандартного механизма создания по запросу пользователя любых макетов выходных таблиц.

информацию на нескольких локальных или сетевых ПЭВМ;
Вести динамику информационных массивов;
Выполнять

слияние баз данных из различных ПЭВМ и передачи обобщенных данных на главную ПЭВМ;
Проводить работу по статистическим классификаторам и локальными справочниками;
Копировать / восстанавливать данные;
Вести контроль за состоянием информационной базы;
Осуществлять связи с данными других КЭОИ;
Выгружать данные в заданном формате для передачи в другие КЭОИ;
Поддерживать формальное описание входного документа, формул контроля, выходных таблиц;
Поддерживать многовариантный поиск в базах данных;
Загружать изменения классификаторов из внешних источников.

архитектуры «клиент-сервер» должно обеспечивать:
Информационную совместимость с другими подсистемами на уровне

файлов обмена данными;
Архитектуру открытых систем;
Технологию «клиент-сервер» или трехуровневую архитектуру;
Многопользовательский режим работы с БД;
Организацию ввода-вывода информации как в интерактивном режиме, так и из других сред;
Разграничение прав доступа и защита от несанкционированного доступа;
Решение функциональных задач;
Масштабируемость подсистемы-функционирования под управлением СКДБ Sybase ASE;
Реализацию внешнего интерфейса в виде MDI-интерфейсу;
Возможность принудительно прервать любой процесс обработки без разрушения БД и с восстановлением данных до состояния, предшествовавшего началу выполнения процесса.

периодичности как в монопольном, так и в сетевом режимах.
В АРМ

реализуются следующие функции:
Ввод данных в ЭВМ с бумажных отчетов;
Корректировка информации;
Расчет данных по формулам, которые задаются;
Накопление данных и их хранения по годам и периодам;
Логико-математическое обработки информации с целью получения статистических материалов по запросам;
Формирование сводных отчетов с выдачей на экран дисплея, на печать, на магнитные носители;
Группировка данных по характеристикам предприятий (организаций) и по показаниям;
Подведение итогов как за текущий год, так и во временном разрезе;
Построение графиков и диаграмм по показателям сводных отчетов;
Создание и редактирование образа формы, идентичного первичном отчета, а также образов сводных отчетов по запросу пользователей
Передача исходных материалов пользователям по каналам связи.

построены с использованием структурного подхода, то есть исходя из организационной

структуры Государственного комитета статистики.
Состав функциональных подсистем информационной системы статистики сформированный согласно перечню соответствующих отраслей статистики:
статистика промышленности,
статистика инвестиций и строительства,
структурная статистика,
статистика услуг и социальных программ,
статистика труда, статистика населения,
статистика сельского хозяйства и окружающей среды,
статистика торговли,
статистика внешней торговли,
статистика финансов,
статистика цен, обследования условий жизни домохозяйств и т.д..

электронной обработки информации, которые создаются и функционируют в составе отдельных

управлений Госкомстата.
Комплексы электронного обработки информации (КЭОИ) - это совокупность программных, технических, технологических, инструктивных и организационных средств, обеспечивающих электронное обработки информации конкретной статистической задачи.
Их можно разделить на комплексы регламентных задач и комплексы задач статистических наблюдений.
В настоящее время в информационной системе статистики Украины функционирует более 500 комплексов электронного обработки информации.
В основном каждый комплекс электронного обработки информации реализует автоматизированную обработку одной конкретной формы статистической отчетности.

информации представляет собой совокупность операций, осуществляемых в определенной последовательности, от

сбора исходной информации до получения исходной информации. Под операцией понимают комплекс действий, выполняемых над информацией на одном рабочем месте.

В технологическом процессе автоматизированной обработки статистической информации решения различных задач прослеживаются три этапа:
первичный,
основной
и итоговый.

сбором и подготовкой статистических отчетов и их машинной обработки. От

качества выполнения этих операций зависят эффективность и достоверность непосредственно автоматизированной обработки.

Операции основного этапа обеспечивающие ввод и обработка первичных отчетов, а также печать сводных отчетов в соответствии с заданным алгоритмом решения статистической задачи. Автоматизированная обработка статистической информации может осуществляться с использованием отдельных типов ЭВМ или ЭВМ, входящих в состав локальной информационно-вычислительной сети.

контроля и выпуска сводных отчетов с целью проверки качества их

обработки и печати, дальнейшего размножения и рассылки потребителям.


В настоящее время в информационной системе Государственного комитета статистики Украины функционируют системные и локальные КЭОИ.
В системных комплексах решения регламентной задачи выполняется по типовой технологии с обменом данными между уровнями с помощью электронной почты.
Локальные КЭОИ для высшего уровня реализуют решения задач, для которых первичные отчеты поступают непосредственно в ГМУС Государственного комитета статистики Украины, где и осуществляется их полная обработка.

охватывает следующие процедуры:
процедура 1 - подготовка к работе с КЭОИ.

При этом осуществляется загрузка программ и библиотечного массива со всеми элементами информационно-справочного фонда КЭОИ (каталогами, словарями, справочниками);
процедура 2 - подготовка исходной информации к обработке. Осуществляются визуальный контроль и подготовка форм первичных статистических отчетов, перенос первичной информации этих отчетов на магнитные носители или непосредственная запись в базу данных или файлов в интерактивном режиме. Процедура выполняется на районном уровне, а промышленных предприятиях - на областном уровне;

Данные первичных статистических отчетов, размещенные на машинных носителях, вводятся (считываются)

в память ЭВМ, осуществляются все виды контроля с выдачей протокола ошибок, на основе которого подготавливается и вводится информация, далее выполняется контроль на полноту поступления отчетов, объединение данных отчетов данным каталога в единый массив данных, копирование этого массива на магнитный носитель с целью организации архива;
процедура 4 - обработка, контроль, корректировка и печать выходных таблиц. При выполнении этих операций происходит формирование промежуточных итоговых числовых матриц и предыдущее печати сводных таблиц, осуществляется контроль таблиц, а при необходимости, в случае корректировки первичных данных, - повторный расчет, контроль и печать отдельных таблиц.

Технологические процессы решения регламентных статистических задач

уровень. Осуществляется вывод на магнитный носитель первичных данных, которые передаются

на более высокий уровень, и массивов в виде промежуточных итоговых числовых матриц или в виде сводных таблиц, полученных в процессе реализации предыдущих процедур, а также печать справочной информации, передаваемой и контрольных и справочных данных о передаваемую по электронной почте в областное управление статистики, а из областного управления статистики - в Государственный комитет статистики Украины;
процедура 6 - подготовка к объединению массивов сводных данных, полученных из низшего уровня. Для каждой из полученных совокупностей региональных данных по очереди представляются справочные сведения об информации, которая поступила. Осуществляется контроль балансовой и логической увязки таблиц, а при необходимости - их корректировки и повторную запись по каждому региону;

Технологические процессы решения регламентных статистических задач

уровня. Происходит предварительное накопление таблиц объединяемых массивов без суммирования данных,

формирование для ряда КЭОИ каталогов в разрезе министерств, ведомств, отраслей и т.п., расчет и печать сводных таблиц по этим разрезами обработки, контроль балансовой и логической увязки этих таблиц;
процедура 8 - обработки и получения сводных таблиц по министерствам и ведомствам, отчетность которых не централизованно в органах статистики. Процедура выполняется во многих КЭОИ на государственном уровне и предусматривает прием сводных выходных таблиц ряда министерств, отчетность которых не централизованно в органах статистики. Осуществляются: прием сводных итогов по этим министерствам, подготовка их к вводу в ЭВМ. Полученная в результате процедуры информация выводится на отдельные носители;
процедура 9 - получения таблиц для местных руководящих органов. Выполняется на районном и областном уровнях. На этих уровнях выполняется формирование промежуточных числовых матриц с данными специальных таблиц для местных руководящих органов и печатаются таблицы.

Технологические процессы решения регламентных статистических задач

обработку материалов переписи населения, ориентирован на создание технологических участков в

составе действующих в системе государственной статистики локальных вычислительных сетей регионального и государственного уровней.

Для создания программных комплексов по обработке данных Всеукраинской переписи населения применяются сертифицированные технические и программные средства, отвечающие требованиям открытых систем взаимодействия.

общего назначения (на центральном уровне), так и с использованием персональных

ЭВМ по технологии клиент-сервер.

При обработке материалов переписи населения на региональном и государственном уровнях используется следующее программное обеспечение: S-Designor, PowerBuilder, Optima + +, Sybase + +, Sybase SQL Serwer System 11, Sybase SQL Anywhere.

Кроме того, на центральном уровне на компьютерах типа Маinframe применяются следующие программные средства: системы управления базами данных Adabas 5.3, Natural 2.2, работающих в среде операционной системы IBM MVS / XA.

Техническое и программное обеспечение обработки материалов переписи населения.

локальную сеть и включают:
Устройства оптического считывания информации;
Рабочие станции для управления

сканерами и распознавания информации (от 3 до 17);
Сетевые файл-серверы для хранения программного и информационного обеспечения (1 на регион);
Сетевой принтер (1-2 на регион);
Hабочие станции для контроля и корректировки информации переписных листов;
Устройства создания копий.

Техническое и программное обеспечение обработки материалов переписи населения.

в базу данных информации, полученной путем сканерного введения;
Образование архива графических

изображений переписных листов;
Просмотр и печать нормативно-справочной информации;
Интерактивное ввода и корректировки переписных листов;
Сплошной и фрагментарный контроль переписных листов с формированием протокола;
Систему поддержки регламентированных запросов к базе данных;
Систему копирования и восстановления материалов переписи;
Ведение и обновление архивных копий;
Формирование территориальных файлов для передачи на государственный уровень;
Загрузка региональных фрагментов центральной базы данных Всеукраинской переписи;
Печать выходных таблиц в необходимых разрезах и их вывода на технические носители;
Систему поддержки администрирования и разграничения прав доступа к данным переписи.

Техническое и программное обеспечение обработки материалов переписи населения.

StatSoft (http://www.statsoft.ru).
Пакет STATISTICA имеет модульную структуру. Каждый модуль содержит уникальные процедуры и

методы анализа данных:
Base — включает в себя обширный выбор основных статистик, широкий набор методов для разведочного анализа.
Advanced Linear/Non-Linear Models — предлагает широкий спектр линейных и нелинейных средств моделирования, регрессионный анализ, анализ компонент дисперсий, анализ временных рядов и т. д.

выбор разведочных технологий, начиная с кластерного анализа до расширенных методов

классификационных деревьев, в сочетании с бесчисленным набором средств интерактивной визуализации для построения связей и шаблонов
QC — Контроль качества — предоставляет широкий спектр аналитических методов управления качеством, а также контрольные карты презентационного качества, непревзойденной гибкости и разнообразия.
Neural Networks — (отдельный модуль) единственный в мире программный продукт для нейросетевых исследований, полностью переведенный на русский язык.
Data Miner — интеллектуальный анализ данных

пять основных классов:
General Slicer/Dicer and Drill-Down Explorer - Разметка/Разбиение и Углубленный анализ.

Набор процедур позволяющий разбивать, группировать переменные, вычислять описательные статистики, строить исследовательские графики и т.д.
General Classifier - Классификация. STATISTICA Data Miner включает в себя полный пакет процедур классификации: обобщенные линейные модели, деревья классификации, регрессионные деревья, кластерный анализ и т.д.
General Modeler/Multivariate Explorer - Обобщенные линейные, нелинейные и регрессионные модели. Данный элемент содержит линейные, нелинейные, обобщенные регрессионные модели и элементы анализа деревьев классификации.
General Forecaster - Прогнозирование. Включает в себя модели АРПСС, сезонные модели АРПСС, экспоненциальное сглаживание, спектральный анализ Фурье, сезонная декомпозиция, прогнозирование при помощи нейронных сетей и т.д.
General Neural Networks Explorer - Нейросетевой анализ. В данной части содержится наиболее полный пакет процедур нейросетевого анализа.