Базы данных и СУБД

и СУБД
1 семестр
Информатика. 1 семестр. Тема 12. IDEF1 и SQL

IDEF1x

и язык SQL

и SQL

Википедия (en) – 2,2 Гб (на март 2012 г.)

[Только текст]

Налоговая служба США – 150 Гб (на май 2008 г.)

Торговая площадка EBay – 1,4 Пб (на май 2008 г.)

Промышленные (Enterprize) базы данных:

Аналитическая система Yahoo – 2 Пб (на май 2008 г.)

Простой текст – 10-100 кб (описания, веб-страницы)

Изображения – 50 кб – 5 Мб (фотографии, оформление)

Типичные «единичные» объемы данных:

Документы – 1 - 20 Мб

Аудио-, видеоданные – 5 - 500 Мб

Информационная ёмкость дата центра АНБ в штате ЮТА оценивается в 3-12 Эб (будет запущен в конце 2013 г.)

нужно ли уметь обрабатывать
экзабайты данных непосредственно?
Можно ли «пощупать» экзабайт?
Проект

Sun и InternetArchive:
Modular Datacenter – 3Пб
(3 145 728 Гб) в одном контейнере

SQL

Ограничения веб-приложений:
Apache + PHP – 16 Мб на один процесс
По

последним исследованиям компании EMC, объем данных, сгенерированных в 2012 году составляет 2.8 зеттабайта (1021 байт) а к 2020 году эта цифра дорастет до 40 зеттабайт, что превосходит предыдущие прогнозы на 14%.
Можно смело констатировать, что мы уже столкнулись с «великим потопом данных» и одним из ответов на это является рост доли самых больших дата-центров, которые часто называют «мега-ЦОД» — их доля по разным оценкам составляет примерно 25% рынка современных серверов.

Ограничения вычислительных систем:

Быстродействие процессора – 10 GFLOPS
Пропускная способность ЛВС – 1 Гб в секунду

и SQL

Случай в Миннеаполисе (штат Миннесота, округ Хеннепин)
«Кажется, я упустил

то, что происходит вокруг меня…»
Из воспоминаний Эндрю Поула, ведущего аналитика Target (весна 2003 г.)

Поиск данных по шаблону (Google, Yandex, …)
Data Mining (поиск закономерностей в данных)

Модель предсказания вектора покупательской активности позволяет продавать товары, о необходимости которых покупатель еще не задумывается, у него нет модели поведения, привычек и связанных (ассоциированных в сознании) брендов.

Создание новой связи и нового канала продаж – это самая суть лояльности в ритейле (розничной торговле).

и SQL

Основной ценностью и предметом потребления в информационном обществе становится

информация, а точнее знания. В настоящее время, объем накопленных данных в компаниях удваивается каждые 18 месяцев и период удваивания постоянно сокращается. Общий объем цифровых данных в мире на 2012 год составляет около 2.7 зеттабайта – это 27 и 20 нулей. Увеличение по сравнению с 2011 годом практически на 50%, и в двадцать раз больше, чем в 2005 году. К 2015 году прогнозирует общий объем данных в 0.8 йоттабайт – это 1024.

Big Data (в смысле Data Science) – это данные и технологии подчиняющиеся правилу «трех V»:
Volume – объем;
Velocity – скорость;
Variety – многообразие

Совсем не важно, но:
Вакансия аналитика в Связном: от 150 тыс. руб.
Международная статистика:
140 тыс. вакансий (от 100 k$)

доступ к его элементам спустя значительный промежуток времени?
Информатика. 1 семестр.

Тема 12. IDEF1 и SQL

Можно в ОЗУ (оперативный режим):

Адрес

Адрес

Адрес

Объект

Heap (куча)

Имя

Массив адресов

Признак

Признак

Объект

Признак

Признак

Физический предел:

4 Гб (32-битная система)
16 Гб (стоимость и техническая сложность)

IDEF1 и SQL

Хэш (hash)
Запись
Значение
Объект
Массив пар ключ-значение
Признак
Признак
Файловая система
Ключ

Значение
Ключ

Значение
Ключ
Иерархия объектов-файлов

записи не связаны между собой
Запись
Значение
Объект
Признак
Признак
Не определена явно структура файлов
Ключ

Значение
Ключ

Значение
Ключ
Как извлечь

нужные признаки?

?

атрибутов объединяются в запись с нужным количеством полей
Запись
Значение
Ключ*

Значение
Ключ*

Значение
Ключ*
Значение
Значение
Значение
Значение
Значение
Значение
Записи одинаковой структуры

объединяются в таблицу

Тема 12. IDEF1 и SQL

Ms SQL Server
Oracle
PostgreSQL
MySQL
Ms Jet (Access)
SQLite

12. IDEF1 и SQL

Внедрение собственного скриптового языка для реализации методов

внутри хранилища данных

Хранилище

Значение

Список

Список

Ключ :Значение

Значение

Значение

Использование иерархически организованных хранилищ

Значение

Значение

Значение

Значение

(JSON)
// Order document
{
“id”:100,
“customer_id”:1000,
“date”:01.05.2012,
“order_items”:[
{
“product_id”:55,
“product_name”:”Iphone5”,
“quantity”:2
},
{
“product_id”:56,
“product_name”:”Ipad3”,
“quantity”:1
},
],
“payments”:[
{
“sum”:1000,
“date”:03.05.2012
}
]
}
// Product document
// Order document
{
100,
1000,
01.05.2012,
{
{
55,
”Iphone5”,
2
},
{
56,
”Ipad3”,
1
},
},
{
{
1000,
03.05.2012
}
}
}
// Product document

Computer-Aided Manufacturing) для решения задач моделирования сложных систем, позволяет отображать и анализировать

модели деятельности широкого спектра сложных систем в различных разрезах

IDEF1 — Information Modeling — методология моделирования информационных потоков внутри системы, позволяющая отображать и анализировать их структуру и взаимосвязи.

IDEF1X (IDEF1 Extended) — Data Modeling — методология моделирования баз данных на основе модели «сущность-связь». Применяется для построения информационной модели, которая представляет структуру информации, необходимой для поддержки функций производственной системы или среды.

SQL

Сущности – абстракции (шаблоны) используемых объектов 
Атрибуты – параметры (характеристики, свойства)

объектов

Название отдела

ОТДЕЛ

Имя сотрудника
Оклад сотрудника
Название отдела

СОТРУДНИК

Пример: система учёта персонала (бухгалтерия)

РАБОТАЕТ В

СУЩНОСТИ

СВЯЗЬ

Установка значений атрибутов приводит к созданию реализации сущности, т.е. появлению отображения реального объекта в информационной системе

SQL

Один экземпляр первой сущности (отдел) связан с несколькими экземплярами второй

сущности. Причем первая сущность называется родительской, а вторая - дочерней

Название отдела

ОТДЕЛ

Имя сотрудника
Оклад сотрудника
Название отдела

СОТРУДНИК

РАБОТАЕТ В

КЛЮЧЕВЫЕ АТРИБУТЫ

МИГРИРУЮЩИЙ АТРИБУТ

Пример связи между сущностями по схеме один-ко-многим

Значение мигрирующего (внешнего) атрибута не хранится в записи, а получается через связь сущностей

(ID) отсутствует у объекта-прототипа и создается для решения технических задач
ID

отдела
Название отдела

ОТДЕЛ

ID сотрудника
Имя сотрудника
Оклад сотрудника
Название отдела

СОТРУДНИК

РАБОТАЕТ В

МИГРИРУЮЩИЙ АТРИБУТ

СУРРОГАТНЫЙ АТРИБУТ

Естественный ключ образуется самими данными
Составной ключ образуется сочетанием нескольких атрибутов
Суррогатный ключ – искусственное образование для обеспечения уникальности объекта

КЛЮЧЕВОЙ АТРИБУТ

НЕКЛЮЧЕВЫЕ АТРИБУТЫ

отдела
ОТДЕЛ
ID сотрудника
Имя сотрудника
Оклад сотрудника
ID отдела
СОТРУДНИК


Одинаковые значения в реализациях (объектах) образуют

связь

1

М

Мощность связи

Отделы

Сотрудники

потоков данных (DFD – Data Flow Diagram) отражают перемещение данных

и способы их обработки

ID отдела
Название отдела

ОТДЕЛ

ID сотрудника
Имя сотрудника
Оклад сотрудника
ID отдела

СОТРУДНИК

Название отдела
Штат
Средний оклад

ОТЧЕТ

COUNT( )

AVG( )

Группировка

и SQL

Вид запроса на выбору данных в конструкторе запросов Ms

Access

Вид запроса на выбору данных на языке SQL:

SELECT COUNT([Имя сотрудника]),
AVG([Оклад сотрудника])
FROM [ОТДЕЛ], [СОТРУДНИК]
GROUP BY [Название отдела];

Результат

12. IDEF1 и SQL

DFD-схема бизнес-процесса "Оформлении и выдача трудовой книжки

сотруднику при увольнении" в нотации Йордона-Де Марко

IDEF1 и SQL

DFD-схема бизнес-процесса "Оформлении и выдача трудовой книжки сотруднику

при увольнении" в нотации Гейна-Сарсона

семестр. Тема 12. IDEF1 и SQL

и SQL

Работы (Activities) - Отображают процессы обработки и изменения информации
Стрелки

(Arrows) - Отображают информационные потоки
Хранилища данных (Data Store) - Отображают данные, к которым осуществляется доступ, эти данные используются, создаются или изменяются работами
Внешние сущности (External References) - Отображают объекты, с которыми происходит взаимодействие

Моделирование баз данных
Синтаксис языка SQL
Применение SQL
Использование Access

2007
Табличные процессоры
Текстовые процессоры

Информатика и информационные технологии

Контакты:
mami.ru/index.php?id=466
timid@mami.ru
inform437@gmail.com

Информатика. 1 семестр. Тема 12. IDEF1 и SQL

за внимание!!!
Контакты:
mami.testolog.ru
timid@mami.ru
inform437@gmail.com
Информатика. 1 семестр. Тема 12. IDEF1 и SQL