Практика Инжиниринг и анализ данных для студентов в сбытовом блоке группы

группы «Газпром нефть»
Михаил Казанцев
Докладчик:
Руководитель Группы разработки
и сопровождения BI-системы ДРП
03.10.2018

бензовозы/газовозы
Услуги метрологии
Реализация нефтепродуктов оптом
Хранение нефтепродуктов
Управление >50 собств. нефтебазами
Розничная

реализация нефтепродуктов
Продажи корпоративным клиентам
Управление АЗС \ АСК >1500 объектов

Реализация сопутствующих товаров,
оказание услуг моек, СТО
>800 магазинов

данных

– персональные компьютеры и массовые инструменты аналитики

стр.

BI-системы являются развитием идей OLAP, но лишены недостатков OLAP-систем

1993 год: Э.Кодд: недостаток реляционной модели БД - невозможность «объединять, просматривать и анализировать данные с точки зрения множественности измерений, т.е. самым понятным для аналитиков способом», статья «OLAP для пользователей-аналитиков: каким он должен быть» – 12 правил оперативной аналитической обработки данных
Конец 1990-х годов – появление промышленных OLAP-систем
Начало 2000-х годов – массовое появление систем Business Intelligence 2.0 (BI), включающих:
Бизнес-отчётность
Информационный поиск
Аналитическую обработку в реальном времени (OLAP),
Инструменты предупреждения об отклонениях от ожиданий
Бизнес-аналитику (статистику, прогнозирование и оптимизацию)

Analytics, Reports) компании Qlik

отсутствие чеков по кассе в течение 10 минут при условии

активной работы других касс этой АЗС

В КОНЦЕ 2012 ГОДА
>1100 активных пользователей

>1900 реализованных отчетов, диаграмм, дашбордов

>200

BI приложений в продуктиве

>20 Tбайт данных обрабатывается

>140 источников данных

Финансовый учет
Расходы
Экономический анализ
Финансы
Инвестиции
ИТ-сервисы
Маржинальный доход
Материальный баланс
Первичная логистика
Розничные продажи
Аналитика розничных продаж
Сервисы для АЗС
Сравнительный анализ АЗС
Программа лояльности АЗС
Стратегическая модель
Оптовые продажи
Качество данных

Модель распределения нефтепродуктов
Эффективность бизнес-процессов
Мониторинг цен и ценообразование
Общая отчетность и АРМы руководителей
Управление ассортиментом АЗС
Аналитика объектов партнеров
Анализ численности персонала
Аналитика нефтебазового хозяйства

Состав подсистем BI показывает разнообразие решаемых аналитических задач

до готовности внедрения лучших практик работы с «большими данными» и

продвинутой аналитикой

2012

2013

2014

2015

2016

Создание института BI-чемпионов (бизнес-пользователей, создающих новые BI-приложения)

Инициативы создания систем отчетности департаментов на основе BI-инструментов

2011

2017

Создание функции управления качеством данных

Запуск регулярного процесса обучения BI бизнес-пользователей

Цифровая трансформация: создание «озера данных» и комплексной системы управления данными

Объединение BI-инициатив под управлением CFO

Система управления мастер-данными

Объем данных в контуре BI c 2012 по 2015 возрос до 3ТБ

Объем данных в контуре BI в 2015-2016 гг. увеличился на 6ТБ

Выбор платформы QlikView для реализации BI

Первые результаты проекта BI:
1100 АЗС подключенных к BI системе
Загрузка данных со всех заправок (высокий уровень детализации)
Интеграция данных со смежными системами
Сокращение штата специалистов по подготовке отчетности

Запуск проекта по внедрению системы
BI

-Технологические изменения

-Организационные изменения

Структура логического хранилища данных на слоях BI QlikView

Создание функции методологии и системного анализа BI

>1000 пользователей BI, >80 источников данных интегрированы

Ожидаемый прирост объема данных в 2017 г. - 5ТБ

реализуют концепцию «умное озеро данных» (Smart Data Lake)

(варианты: отчетность, дизайн, сложные расчетные алгоритмы)

Прогнозирование и исследовательские кейсы на

поиск закономерностей в данных с использованием машинного обучения (SQL / Python / специализированное ПО)

Оптимизация, в том числе нелинейная (солверы и специализированное ПО)

Разработка Big Data (Java, SQL + компоненты Hadoop)

Имитационное моделирование (AnyLogic)

прикладная и фундаментальная математика, системный анализ и программирование), желающие развиваться

как аналитики / инженеры данных / разработчики BI и работать в бизнес-компании

Приветствуются знание SQL, Python, Java, технологий ML и Hadoop, знакомство с платформой QlikView

Приветствуется опыт личных достижений в творческой или спортивной сфере

Форматы привлечения при наличии направления от ВУЗа:
Стажировка/производственная практика = 2-3 месяца
Стажировка + Дипломная работа = 4-6 месяцев
Для более крупных задач с исследовательской составляющей может быть сформирована мини-группа из 2-3 студентов для совместной работы

Для приема на стажировку студенты проходят собеседование и решают кейсы (кейсы выполняются заочно)

Основной отбор: Кейс-чемпионат GPN Intelligence Cup

работы обсуждаются индивидуально, обычно на 0,5 занятости (2,5 дня в

неделю по свободному графику)

Оплата стажировки: для успешно прошедших отборы студентов

Обучения и тренинги: профильные обучения на внутренних курсах и на продуктивных кейсах/приложениях

Кураторство: за стажером закрепляются 1-2 задачи и куратор-эксперт

Оформление: по итогам стажировки формируется отзыв/ рекомендательное письмо от имени профильного руководителя Дирекции/ руководителя практики

Трудоустройство: для стажеров-выпускников возможно предложение постоянной работы по итогам стажировки или по окончании ВУЗа

данными компании»

«Совершенствование функции управления данными в рамках цифровой трансформации бизнеса»

«Разработка

BI-приложения для управления бизнес-процессом компании»

«Проектирование BI-приложения в среде QlikView»

«Экономико-математические модели исследования потребителя»

«Применение метода частичного обучения Co-training в задаче классификации клиентской базы»

2017-2018 учебный год

в R, формирование групп для отправки целевых маркетинговых предложений, визуализация

с помощью BI-инструментов

оценок клиентов в мобильном приложении сети АЗС ГПН

закупок по тендерным процедурам

использованием R, Python и пакетов для работы с временными рядами

R для задач прогнозирования, ансамбль моделей для временных рядов

программы лояльности»

АЗС
Обработка и хранение видео
Озеро данных ГПН
Облако
Облачные аналитические сервисы
BI
Система распознавания номеров,

цвета и сегмента автомобилей на АЗС

использованием инструментов Python

— ежегодный кейс-чемпионат по решению аналитических задач Дирекции региональных продаж

«Газпром нефти» для студентов старших курсов ВУЗов по направлениям в области экономики, информатики и технологий обработки и анализа данных.
 
Участникам предстоит погрузиться в работу компании и решить актуальные задачи бизнеса по разработке стратегии продвижения продуктов, продвинутой аналитике и инжинирингу данных.
 
Победители GPN Intelligence Cup смогут попасть на оплачиваемую стажировку в компанию!
 
Регистрация проходит на сайте http://gpn-cup.ru по двум направлениям:
 
• «Анализ и инжиниринг данных» - до 22 октября 2018.
Регистрация по направлению "Анализ и инжиниринг данных" возможна на все или произвольное количество тем на ваш выбор, темы:
 1). Разработка BI-приложений;
 2). Разработка алгоритмов обработки больших массивов данных;
 3). Продвинутая аналитика
 
• «Бизнес и аналитика» - до 9  ноября 2018г

группы разработки BI
Kazantsev.MP@gazprom-neft.ru

Иван Черницын – Руководитель Офиса Управления данными
Chernitsyn.IG@gazprom-neft.ru