Big Data

инструментов и методов обработки структурированных и неструктурированных данных огромных объѐмов

и значительного многообразия для получения необходимых результатов обработки.
характеристики для больших данных - «три V»:
объѐм (англ. volume, в смысле величины физического объѐма),
скорость (англ. Velocity, в смыслах как скорости прироста, так и необходимости высокоскоростной обработки и получения результатов),
многообразие (англ. variety, в смысле возможности одновременной обработки различных типов структурированных и неструктурированных данных)

сгенерированных данных в 2012 г. составил 2,8 зеттабайта и прогнозируется

к 2020 г. увеличение объема до 40 зеттабайт, что превосходит прежние прогнозы на 14% (в 1 ЗБ содержится около 1 млрд Гб, 1 зеттабайт приравнивают к объемам информации, которые могут храниться в 50 библиотеках Конгресса США).
Значение облачных вычислений в управлении «большими данными» (Big Data): количество серверов в мире должно вырасти в 10 раз, объем данных, управляемых напрямую корпоративными центрами обработки данных (ЦОД), - в 14 раз.
По оценкам IDC, к 2020 г. облачными вычислениями будет затронуто почти 40% данных. При этом, последующие несколько лет радикально изменятся типы хранящихся в облаках данных.

пользователю через Интернет в виде сервиса, позволяющего использовать удобный веб-интерфейс

для удаленного доступа к выделенным ресурсам (вычислительным ресурсам, программам и данным).
Термин «сloud сomputing» был впервые использован еще в 1993 г. Эриком Шмидтом для обозначения сервисов, дистанционно поддерживающих различные данные и приложения, размещенные на удаленных серверах.

2011г.
Облачные вычисления  - модель предоставления возможности повсеместного и удобного

сетевого доступа по требованию к пулу разделяемых конфигурируемых вычислительных ресурсов (например, сетям, серверам, средствам хранение, приложениям и сервисам), которые могут оперативно предоставляться и освобождаться при минимальном усилии управления или взаимодействии с провайдером (поставщиком).
.

это предоставление пользователю компьютерной и сетевой инфраструктуры (servers, storage, networking)

и их обслуживание как услуги в форме виртуализации, т.е. виртуальной инфраструктуры. Другими словами, на базе физической инфраструктуры дата-центров или ЦОД поставщик (провайдер) создает виртуальную инфраструктуру, которую предоставляет пользователям как сервис. Средства виртуализации позволяют преобразовать физическую инфраструктуру data centers в виртуальную и таким образом создать первый слой облачных услуг - IaaS. Что такое виртуализация? Технология виртуализации ресурсов позволяет физическое оборудование (серверы, хранилища данных, сети передачи данных) разделить между пользователями на несколько частей, которые используются ими для выполнения текущих задач. Например, на одном физическом сервере можно запустить сотни виртуальных серверов, а пользователю для решения задач выделить время доступа к ним. Реализация виртуализации может быть осуществлена как на программном уровне, так и на аппаратном.

IaaS используется автоматизация, которая обеспечивает динамическое распределение ресурсов без участия

персонала поставщика услуг, т.е. система автоматически может добавлять или уменьшать количество виртуальных серверов, дисковое пространство для хранения данных, или изменять сетевую пропускную способность каналов связи. Виртуализация и автоматизация обеспечивают эффективность использования вычислительных ресурсов и снижение стоимость аренды облачной услуги IaaS.
Как правило, IaaS предоставляется в аренду (предоставляется IaaS-сервис на условиях аутсорсинга) корпоративным пользователям. То есть пользователи получают интегрированные ресурсы для создания своей собственной вычислительной инфраструктуры. В этом случае пользователь должен сам установить и настроить OS и необходимые программы для выполнения производственных задач или для разработки приложений.

это решение корпоративного уровня для предприятий разного масштаба. Инфраструктура может

быть размещена как в центре обработки данных предприятия, так и во внешнем дата-центре.
Услуги IaaS предназначены для создания и использования защищенных частных, публичных и гибридных облачных сред.
Кроме того, к IaaS-услугам облачных вычислений относится облачный хостинг (Cloud Hosting). Облачный хостинг - это хостинг, который может обеспечить динамическое распределение ресурсов, обладает возможностью автоматического масштабирования ресурсов и имеет повышенную отказоустойчивость.

облачные сайты – это современные облачные приложения. В облачных сайтах

(облачных приложениях) данные хранятся в облачных БД, серверные приложения сайтов хранятся, и выполняется на облачных виртуальных серверах, а клиентская часть сайта выполняется в браузере пользователя.
Кроме того, для облачных вычислений используются облачные базы данных, т.е. базы данных, которые запускаются на платформах облачных вычислений. В качестве облачных баз данных применяются как SQL-ориентированные модели, так и модели данных NoSQL.
Основные IaaS Solution/Vendor: Amazon Web Services/Amazon, IBM SmartCloud/IBM, SoftLayer IaaS/IBM, Azure Virtual Machines/Microsoft, Google Compute Engine/Google, HP Cloud/HP, EMC/EMC Corporation, Oracle Cloud Infrastructure Services/Oracle.

предлагает разработчикам ПО средства разработки, тестирования, развертывания и поддержки различных

приложений. Кроме того пользователю предоставляются инструменты администрирования и управления. В основном PaaS используется для разработки и размещения web-приложений (например, связанных распределенных приложений - SaaS mashup, облачных сайтов и т.д.).
OS - сетевая операционная система (Unix-системы, включая Ubuntu Server, BSD/OS Family, Solaris/SunOS и т.д. или Windows Server),
Database - система управления базой данных СУБД (MySQL, Microsoft SQL, SQL Database, PostgreSQL, Oracle и др.),
Middleware - программное обеспечение среднего слоя или связывающее (промежуточное) программное обеспечение, которое предназначено для обеспечения взаимодействия между различными приложениями, системами и компонентами,
Software development tools and  testing - инструментальное программное обеспечения для разработки веб-приложений и их тестирования (среда разработки ПО: программные фреймворки, библиотеки и т.д. для создания веб-приложений на языках программирования: Python, Java, PHP, Ruby, JS для Node.js и т.д.),
App server - сервер приложений для разработки, тестирования, отладки и работы веб-приложений.

Bluemix/IBM (облачная платформа IBM Bluemix предлагает единую среду решений и

широкий набор языков и фрейморков для построения приложений),
Microsoft Asure/Microsoft,
Google App Engine/Google,
Salesforce1 Platform Cloud application development/Salesforce объединяет Force.com, Heroku и ExactTarget в одну сеть облачных сервисов и предоставляет инструменты для разработки различных приложений.
Heroku/Salesforce,
Oracle Cloud Platform Services/Oracle,
OpenShift/Red Hat,
Cloud Foundry/VMware,

— программное обеспечение как услуга)
По схеме SaaS поставляются следующие типы

облачных приложений и их обслуживание: Business Apps, Office Web Apps, Management Apps, Communications, Security и др.
Наиболее востребованными облачными приложениями являются: CRM (система управления взаимоотношениями с клиентами), HRM (система по работе с персоналом, т.е. с кадрами), ERP (система планирования ресурсов предприятия, например 1С), офисные приложения, средства коммуникаций и др. Salesforce.com является крупнейшим в мире поставщиком облачных приложений CRM.
Под средствами коммуникаций подразумевается электронная переписка (например, Gmail), аудио и видео чаты ( например, Microsoft Lync Online), Cloud PBX или облачная АТС (например, виртуальная АТС Манго-Офис), облачный сервис MDM (Mobile Device Management - управление мобильным устройством). Облачный сервис MDM предназначен для работы с корпоративными системами при помощи мобильных устройств.

IBM® B2B Cloud Services, Axway Cloud B2B, amoCRM SaaS сервис

для B2B, Google Apps for Business),
Business Intelligence (PowerBI в составе Office 365/Microsoft, Oracle Business Intelligence Managed Cloud Service, Anaplan/ADE Professional Solutions, Brand Analytics),
Office Web Apps (Google Docs, Office Online/Microsoft OneDrive, Office Web Apps/Microsoft, Zoho Docs, IBM SmartCloud Docs и т.д.),
Management Apps (ERP/АРЕНДА 1С, HRM, SCM, MRP),
Communications (Gmail, Google Hangouts, Microsoft Lync Online, Cloud PBX или облачная АТС, MDM),
Security (Panda Cloud Email Protection, Panda Cloud Internet Protection, McAfee SaaS Email Protection & Continuity, Сomfortway Mobile Security и т.д.), и др.
Collaboration and Multi–tenant (Google Docs, Google Sites, Microsoft Office Online, Office 365, Office Web Apps).

в качестве услуги (database-as-a-service)
3. Информация в качестве услуги (information-as-a-service)
4. Процесс

в качестве услуги (process-as-a-service)
5. Приложение в качестве услуги (application-as-a-service = software-as-a-service)
6. Платформа в качестве услуги (platform-as-a-service)
7. Интеграция в качестве услуги (integration-as-a-service)
8. ИТ в качестве услуги (IT-as-a-service)
9. Аппаратная инфраструктура в качестве услуги (Hardware Infrastructure-as-a-service)
10. Программная инфраструктура в качестве услуги (Software Infrastructure-as-a-service)
11. Безопасность в качестве услуги (security-as-a-service)
12. Управление в качестве услуги (management/governance-as-a-service)
13. Тестирование в качестве услуги (testing-as-a-service)
14. Унифицированные коммуникации в качестве услуги (UC-as-a-service)
15. Коммуникации в качестве услуги (CaaS)
16. Инфраструктура в качестве услуги (infrastructure-as-a-service)
17. Восстановление после аварии в качестве услуги (Disaster Recovery-as-a-service)

Google Sites и Google Docs.
Доступ к Google Apps открывается

по ссылке www.google.com/apps.

возможность пользоваться программным обеспечением как услугой и делать это удаленно

через Интернет. Данный подход позволяет не покупать программный продукт, а просто временно воспользоваться им при возникновении потребности.
Основная идея SaaS – аренда программного обеспечения, что в некоторых случаях более выгодно нежели покупка лицензированного ПО.
Пользователь за ежемесячную арендную плату получает оперативный доступ к нужному ПО, не занимается установкой, настройкой и дальнейшим его обслуживанием, все эти задачи решает провайдер, обеспечивая клиенту только доступ через интернет к программе.
Примером может служить сервис Google Apps, который обеспечивает приложения в режиме онлайн, доступ к происходит с помощью Интернет-браузера, в то время как ПО и данные хранятся на серверах Google. Служба поддерживает несколько веб-приложений с похожей функциональностью как у традиционных офисных пакетов и включает: Gmail, Google Calendar, Google Talk, Google Docs и Google Sites.

для использования облачных вычислений в масштабе одной организации.
Community cloud (облако

сообщества) - облачная инфраструктура, которая предназначена для исключительного использования облачных вычислений определенным сообществом потребителей от организаций, которые решают общие проблемы .

для свободного использования облачных вычислений широкой публикой.
Hybrid cloud (гибридное облако)

- это комбинация различных облачных инфраструктур (частных, публичных или сообществ), остающихся уникальными объектами, но связанных между собой стандартизованными или частными технологиями, которые обеспечивают возможность обмена данными и приложениями.

будущее.

нужно быстро скинуть файлы, закиньте ваши файлы на виртуальную флешку

DropBox.
На данном сервисе вам предложат скачать программу, после скачивания и установки которой, в папке «Мои документы» вашего компьютера будет создана синхронизируемая папка DropBox.
В данную папку можно скидывать любые файлы, после чего они автоматически сохраняются в Интернете.
Доступ к этим файлам вы сможете получить с любого компьютера, зайдя в свой аккаунт DropBox или в синхронизируемую папку на вашем компьютере. В DropBox вы получаете бесплатно 2 ГБ для ваших файлов и 50 ГБ за 99$ в год. Вы можете увеличить объем пространства бесплатно, если по вашей ссылке в DropBox зарегистрируются ваши друзья, за каждого из которых вы будете получать по 250 МБ дополнительного пространства, вплоть до 8 ГБ.

Загрузить инструкцию можно по ссылке
https://www.dropbox.com/s/hu32pymw3ud16z4/Rabota%20Dropbox.doc

ограничения в ПО и его настройках под собственные задачи; конфиденциальность

данных хранимых на публичных «облаках»; безопасность – «облако» само по себе является достаточно надежной системой, однако пока нет 100% гарантии от проникновения на него злоумышленников и вирусов.
Из-за значительного притока пользователей сервисов, использующих облачные вычисления (например, Flickr или Amazon), фиксируются ошибки, утечка и даже потеря информации.
Риск этот, впрочем, вряд ли превышает опасность того, что пользователь сам упустит свои данные, не создав резервных копий.
Тем не менее, несмотря на недостатки, многие эксперты придерживаются той точки зрения, что преимущества и удобства перевешивают возможные риски использования подобных сервисов.

вычисления (Fog Computing). Туманные вычисления дополняют облачные вычисления и обеспечивают

взаимодействие умных вещей между собой и облачными ЦОД в виде трехуровневой иерархической структуры.
Верхний уровень занимают тысячи облачных ЦОД, предоставляющих ресурсы, необходимые для выполнения серьезных, например аналитических, программных приложений IoT.
Средний уровень - располагаются десятки тысяч распределенных управляющих ЦОД, в которых содержится «интеллект» Fog Computing,
Нижний уровень - находятся миллионы вычислительных устройств умных вещей.
Fog Computing можно определить как в максимальной степени виртуализированную платформу, поддерживающую три основных типа сервисов, образующих межмашинные коммуникации M2M: вычисления, хранение и сеть. Задача Fog Computing заключается в обеспечении взаимодействия миллиардов устройств между собой и с облачными ЦОД.

могут быть размещены на периферии Сети, причем не должно быть

зависимости от координат того места, где находится устройство, и при этом работа в режиме реального времени предполагает низкий уровень задержек при обмене данными, к тому же в Fog Computing может произойти конвергенция двух существовавших долгое время автономно друг от друга систем — управления бизнесом и технологическими системами.
Географическое распределение компонентов. Модель распределения сервисов в Fog Computing менее централизована, чем для облаков, а отдельные устройства могут быть связаны между собой потоками данных и предоставлять друг другу «тяжелые» сервисы.
Большой объем внешних данных. Устройства, экипированные многочисленными сенсорами, могут в реальном времени генерировать гигантские объемы данных.
Сложная топология. Миллионы географически распределенных узлов могут создавать разнообразные и не детерминированные заранее связи.
Мобильность и гетерогенность. Мобильность устройств потребует использования альтернативных протоколов, например протокола маршрутизации LISP (Locator/ID Separation Protocol), который позволяет разделить функциональность IP-адресов на две части: идентификаторы хостов и локаторы маршрутизации. Концепция предусматривает установку туннельных маршрутизаторов, которые будут добавлять LISP-заголовки в информационные пакеты по мере их движения по сети.