«Повітряна математика». Великі дані у світі цивільної авіації. РЗ хоче оптимізувати маршрути за допомогою Big Data Технологія big data на транспорті

"Big Data"- Тема, що активно обговорюється технологічними компаніями. Деякі з них встигли розчаруватися у великих даних, інші - навпаки, максимально використовують їх для бізнесу. . Сподіваємося, інформація буде цікавою та корисною.

ЩО ТАКЕ BIG DATA?

Ключові характеристики

Великі Дані на сьогодні є одним з ключових драйверів розвитку інформаційних технологій. Цей напрямок, відносно новий для російського бізнесу, набув широкого поширення в західних країнах. Пов'язано це з тим, що в епоху інформаційних технологій, особливо після буму соціальних мереж, по кожному користувачеві інтернету стала накопичуватися значна кількість інформації, що в кінцевому підсумку дало розвиток напряму Big Data.

Термін «Великі Дані» викликає безліч суперечок, багато хто вважає, що він означає лише обсяг накопиченої інформації, але не варто забувати і про технічну сторону, цей напрямок включає технології зберігання, обчислення, а також сервісні послуги.

Слід зазначити, що до цієї сфери відноситься обробка саме великого обсягу інформації, який важко обробляти традиційними способами.

Нижче представлена порівняльна таблиця традиційної та бази Великих Даних.

Сфера Великих Даних характеризується такими ознаками:
Volume – обсяг, накопичена база даних є великий обсяг інформації, який трудомістко обробляти та зберігати традиційними способами, для них потрібні новий підхід та вдосконалені інструменти.
Velocity – швидкість, цей ознака вказує як на швидкість накопичення даних, що збільшується (90% інформації було зібрано за останні 2 роки), так і на швидкість обробки даних, останнім часом стали більш затребувані технології обробки даних у реальному часі.
Variety - Різноманіття, тобто. можливість одночасної обробки структурованої та неструктурованої різноформатної інформації. Головна відмінність структурованої інформації – те, що може бути класифікована. Прикладом такої інформації може бути інформація про клієнтські транзакції.
Неструктурована інформація включає відео, аудіо файли, вільний текст, інформацію, що надходить із соціальних мереж. На сьогодні 80% інформації входить до групи неструктурованої. Ця інформація потребує комплексного аналізу, щоб зробити її корисною для подальшої обробки.
Veracity – достовірність даних, дедалі більшого значення користувачі стали надавати значущість достовірності наявних даних. Так, інтернет-компанії мають проблему по поділу дій, що проводяться роботом і людиною на сайті компанії, що призводить в кінцевому рахунку до утруднення аналізу даних.
Value – цінність накопиченої інформації. Великі Дані повинні бути корисні компанії та приносити певну цінність для неї. Наприклад, допомагати у вдосконаленні бізнес-процесів, складанні звітності або оптимізації витрат.

При дотриманні зазначених вище 5 умов, накопичені обсяги даних можна відносити до великих.

Сфери застосування Великих даних

Сфера використання технологій Великих Даних велика. Так, за допомогою Великих Даних можна дізнатися про переваги клієнтів, ефективність маркетингових кампаній або провести аналіз ризиків. Нижче наведено результати опитування IBM Institute, про напрямки використання Big Data у компаніях.

Як видно з діаграми, більшість компаній використовують Великі Дані у сфері клієнтського сервісу, другий за популярністю напрямок – операційна ефективність, у сфері управління ризиками Великі Дані менш поширені на даний момент.

Слід також зазначити, що Big Data є однією з сфер інформаційних технологій, що найбільш швидко ростуть, згідно зі статистикою, загальний обсяг одержуваних і збережених даних подвоюється кожні 1,2 роки.
За період з 2012 по 2014 рік кількість даних, які щомісяця передаються мобільними мережами, зросла на 81%. За оцінками Cisco, у 2014 році обсяг мобільного трафіку склав 2,5 ексабайта (одиниця вимірювання кількості інформації, що дорівнює 10^18 стандартним байтам) на місяць, а вже в 2019 році він дорівнюватиме 24,3 ексабайтам.
Таким чином, Великі Дані – це вже усталена сфера технологій, навіть незважаючи на молодий її вік, що набула поширення в багатьох сферах бізнесу і відіграє важливу роль у розвитку компаній.

Технології Великих Даних

Технології, що використовуються для збирання та обробки Великих Даних, можна розділити на 3 групи:

Програмне забезпечення;
Обладнання;
Сервісні послуги

До найбільш поширених підходів обробки даних (ПЗ) відносяться:
SQL - Мова структурованих запитів, що дозволяє працювати з базами даних. За допомогою SQL можна створювати та модифікувати дані, а управлінням масиву даних займається відповідна система управління базами даних.
NoSQL – термін розшифровується як Not Only SQL (не лише SQL). Включає в себе ряд підходів, спрямованих на реалізацію бази даних, що відрізняються від моделей, що використовуються в традиційних, реляційних СУБД. Їх зручно використовувати при структурі даних, що постійно змінюється. Наприклад, для збирання та зберігання інформації в соціальних мережах.
MapReduce - Модель розподілу обчислень. Використовується для паралельних обчислень над великими наборами даних (петабайти і більше). У програмному інтерфейсі дані передаються на обробку програмі, а програма – даним. Таким чином запит є окремою програмою. Принцип роботи полягає у послідовній обробці даних двома методами Map та Reduce. Map вибирає попередні дані, Reduce агрегує їх.
Hadoop – використовується для реалізації пошукових і контекстних механізмів високонавантажених сайтів – Facebook, eBay, Amazon та ін. вузлі.
SAP HANA - Високопродуктивна NewSQL платформа для зберігання та обробки даних. Забезпечує високу швидкість обробки запитів. Ще однією ознакою є те, що SAP HANA спрощує системний ландшафт, зменшуючи витрати на підтримку аналітичних систем.

До технологічного обладнання відносять:

сервери;
інфраструктурне встаткування.

Сервери включають сховища даних.
До інфраструктурного обладнання відносять засоби прискорення платформ, джерела безперебійного живлення, комплекти серверних консолей та ін.

Сервісні послуги
Сервісні послуги включають послуги з побудови архітектури системи бази даних, облаштування та оптимізації інфраструктури та забезпечення безпеки зберігання даних.

Програмне забезпечення, обладнання, а також сервісні послуги утворюють комплексні платформи для зберігання та аналізу даних. Такі компанії, як Microsoft, HP, EMC пропонують послуги з розробки, розгортання рішень Великих даних та управління ними.

Застосування у галузях

Великі дані набули широкого поширення в багатьох галузях бізнесу. Їх використовують у охороні здоров'я, телекомунікаціях, торгівлі, логістиці, у фінансових компаніях, а також у державному управлінні.
Нижче наведено кілька прикладів застосування Великих Даних у деяких галузях.

Роздрібна торгівля
У базах даних роздрібних магазинів може бути накопичено безліч інформації про клієнтів, систему управління запасами, постачанням товарної продукції. Ця інформація може бути корисною у всіх сферах діяльності магазинів.

Так, за допомогою накопиченої інформації можна керувати постачанням товару, його зберіганням та продажем. На підставі накопиченої інформації можна прогнозувати попит та постачання товару. Також система обробки та аналізу даних може вирішити й інші проблеми рітейлера, наприклад, оптимізувати витрати або підготувати звітність.

Фінансові послуги
Великі Дані дозволяють проаналізувати кредитоспроможність позичальника, також вони корисні для кредитного скорингу* і андеррайтингу**. Використання технологій Великих Даних дозволить скоротити час розгляду кредитних заявок. За допомогою Великих Даних можна проаналізувати операції конкретного клієнта та запропонувати відповідні йому банківські послуги.

Телеком
У телекомунікаційної галузі стала вельми поширеною Великі Даних отримали стільникових операторів.
Оператори стільникового зв'язку нарівні з фінансовими організаціями мають одні з об'ємних баз даних, що дозволяє їм проводити найглибший аналіз накопиченої інформації.
Головною метою аналізу даних є утримання існуючих клієнтів та залучення нових. І тому компанії проводять сегментацію клієнтів, аналізують їх трафіки, визначають соціальну приналежність абонента.

Крім використання Big Data в маркетингових цілях, технології застосовуються для запобігання шахрайським фінансовим операціям.

Гірничодобувна та нафтова промисловості
Великі дані використовуються як при видобутку корисних копалин, так і при їх переробці та збуті. Підприємства можуть на підставі інформації, що надійшла, робити висновки про ефективність розробки родовища, відстежувати графік капітального ремонту та стану обладнання, прогнозувати попит на продукцію та ціни.

За даними опитування Tech Pro Research, найбільшого поширення Великі Дані набули у телекомунікаційній галузі, а також в інжинірингу, ІТ, у фінансових та державних підприємствах. За результатами даного опитування менш популярні Великі Дані в освіті та охороні здоров'я. Результати опитування представлені нижче:

Приклади використання Big Data у компаніях

На сьогоднішній день Big Data активно впроваджуються у закордонних компаніях. Такі компанії, як Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks та Netflix вже використовують ресурси Великих Даних.

Сфери застосування обробленої інформації різноманітні та варіюються залежно від галузі та завдань, які необхідно виконати.
Далі будуть представлені приклади застосування технологій Великих Даних на практиці.

HSBC використовує технології Великих Даних для протидії шахрайським операціям з пластиковими картками. За допомогою Big Data компанія збільшила ефективність служби безпеки у 3 рази, розпізнавання шахрайських інцидентів – у 10 разів. Економічний ефект від впровадження цих технологій перевищив 10 млн. дол. США.

Антифрод* VISA дозволяє в автоматичному режимі обчислити операції шахрайського характеру, система на даний момент допомагає запобігти шахрайським платежам на суму 2 млрд дол. США щорічно.

Суперкомп'ютер Watson компанії IBM аналізує в реальному часі потік даних щодо грошових транзакцій. За даними IBM, Watson на 15% збільшив кількість виявлених шахрайських операцій, на 50% скоротив помилкові спрацьовування системи та на 60% збільшив суму грошових коштів, захищених від транзакцій такого характеру.

Procter & Gamble за допомогою Великих Даних проектують нові продукти та становлять глобальні маркетингові кампанії. P&G створив спеціалізовані офіси Business Spheres, де можна переглядати інформацію у реальному часі.
Таким чином, у менеджменту компанії з'явилася можливість миттєво перевіряти гіпотези та проводити експерименти. P&G вважають, що Великі Дані допомагають у прогнозуванні діяльності компанії.

Рітейлер офісного приладдя OfficeMax за допомогою технологій Великих Даних аналізують поведінку клієнтів. Аналіз Big Data дозволив збільшити B2B виторг на 13%, зменшити витрати на 400 000 доларів США на рік.

На думку Caterpillar , її дистриб'ютори щороку упускають від 9 до 18 млрд дол. США прибутку лише через те, що не впроваджують технології обробки Великих Даних. Big Data дозволили б клієнтам ефективніше керувати парком машин, за рахунок аналізу інформації, що надходить із датчиків, встановлених на машинах.

На сьогоднішній день вже є можливість аналізувати стан ключових вузлів, їх ступінь зношування, керувати витратами на паливо та технічне обслуговування.

Luxottica group є виробником спортивних окулярів, таких марок, як Ray-Ban, Persol та Oakley. Технології Великих Даних компанія застосовує для аналізу поведінки потенційних клієнтів та «розумного» смс-маркетингу. В результаті Big Data Luxottica group виділила понад 100 мільйонів найцінніших клієнтів та підвищила ефективність маркетингової кампанії на 10%.

За допомогою Yandex Data Factory розробники ігри World of Tanks аналізують поведінку гравців. Технології Великих Даних дозволили проаналізувати поведінку 100 тисяч гравців World of Tanks з використанням понад 100 параметрів (інформація про покупки, ігри, досвід та ін.). В результаті аналізу було отримано прогноз відтоку користувачів. Ця інформація дозволяє зменшити догляд користувачів та працювати з учасниками гри адресно. Розроблена модель виявилася на 20-30% ефективнішою за стандартні інструменти аналізу ігрової індустрії.

Міністерство праці Німеччини використовує Великі Дані у роботі, пов'язаної з аналізом заявок, що надходять, на видачу допомоги по безробіттю. Так, проаналізувавши інформацію, стало зрозуміло, що 20% допомоги виплачували незаслужено. За допомогою Big Data міністерство праці скоротило витрати на 10 мільярдів євро.

Дитяча лікарня Торонто запровадила проект Project Artemis. Це інформаційна система, яка збирає та аналізує дані щодо немовлят у реальному часі. Система щомиті відстежує 1260 показників стану кожної дитини. Project Artemis дозволяє прогнозувати нестабільний стан дитини та розпочати профілактику захворювань у дітей.

ОГЛЯД СВІТОВОГО РИНКУ ВЕЛИКИХ ДАНИХ

Поточний стан світового ринку

У 2014 р. великі дані, на думку Data Collective, стали одними з пріоритетних напрямів інвестування у сфері венчурної індустрії. За даними інформаційного порталу Комп'ютера, пов'язано це з тим, що розробки з цього напряму почали давати значні результати для їх користувачів. За минулий рік кількість компаній із реалізованими проектами у сфері управління великими даними збільшилась на 125%, обсяг ринку зріс на 45% порівняно з 2013 роком.

Більшу частину виручки ринку Big Data, на думку Wikibon, у 2014 році склали сервісні послуги, їхня частка була рівна 40% у загальному обсязі виручки (див. діаграму нижче):

Якщо розглядати Big Data за 2014 рік за підтипами, то ринок виглядатиме так:

За даними Wikibon, додатки та аналітика становить 36% виручки Big Data у 2014 році принесли додатки та аналітика Великих Даних, 17% – обчислювальне обладнання та 15% – технології зберігання даних. Найменше виручки було згенеровано NoSQL технологіями, інфраструктурним обладнанням та забезпеченням мережею компаній (корпоративні мережі).

Найбільшою популярністю користуються такі технології Big Data як in-memory платформи компаній SAP, HANA, Oracle та ін. Результати опитування T-Systems показали, що їх обрали 30% опитаних компаній. Другими за популярністю стали NoSQL платформи (18% користувачів), також компанії використовували аналітичні платформи компаній Splunk та Dell, їх обрало 15% компаній. Найменш корисними для вирішення проблем Великих Даних, за результатами опитування, виявилися продукти Hadoop/MapReduce.

За даними опитування Accenture, у понад 50% компаніях, що використовують технології Великих Даних, витрати на Big Data становлять від 21% до 30%.
Згідно з таким аналізом Accenture, 76% компаній вважають, що дані витрати збільшаться в 2015 році, а 24% компаній не змінять свого бюджету на технології Великих Даних. Це говорить про те, що в даних компаніях Big Data стали вже усталеним напрямом ІТ, який став невід'ємною частиною розвитку компанії.

Результати опитування Economist Intelligence Unit survey підтверджують позитивний ефект від застосування Big Data. 46% компаній заявляють, що за допомогою технологій Великих Даних вони покращили клієнтський сервіс більш ніж на 10%, 33% компаній оптимізували запаси та покращили продуктивність основних активів, 32% компаній покращили процеси планування.

Великі Дані у різних країнах світу

На сьогоднішній день технології Великих Даних найчастіше впроваджуються в компаніях США, але вже зараз інші країни світу почали виявляти інтерес. У 2014 році, за даними IDC, на країни Європи, Близького Сходу, Азії (за винятком Японії) та Африки припало 45% ринку ПЗ, послуг та обладнання у сфері Big Data.

Також, згідно з опитуванням CIO, компанії з країн Азіатсько-Тихоокеанського регіону швидкими темпами освоюють нові рішення в галузі аналізу Великих Даних, безпечного зберігання та хмарних технологій. Латинська Америка знаходиться на другому місці за кількістю інвестицій у розвиток технологій Великих Даних, випереджаючи країни Європи та США.
Далі буде представлено опис та прогнози розвитку ринку Великих Даних кількох країн.

Китай
Обсяг інформації Китаю становить 909 ексабайт, що дорівнює 10% загального обсягу інформації у світі, до 2020 року обсяг інформації досягне 8060 ексабайт, збільшиться і частка інформації у загальносвітовій статистиці, через 5 років вона дорівнюватиме 18%. Потенційне зростання Big Data Китаю має одну з найшвидших динамік.

Бразилія
Бразилія за підсумками 2014 року нагромадила інформації на 212 ексабайт, що становить 3% від загальносвітового обсягу. До 2020 обсяг інформації зросте до 1600 ексабайт, що складе 4% інформації всього світу.

Індія
За даними EMC, обсяг накопичених даних Індії за підсумками 2014 становить 326 ексабайт, що становить 5% від загального обсягу інформації. До 2020 обсяг інформації зросте до 2800 ексабайт, що складе 6% інформації всього світу.

Японія
Обсяг накопичених даних Японії за підсумками 2014 становить 495 ексабайт, що становить 8% від загального обсягу інформації. До 2020 року обсяг інформації зросте до 2200 ексабайт, але зменшиться частка ринку Японії і становитиме 5% загального обсягу інформації всього світу.
Таким чином, обсяг ринку Японії зменшиться на більш ніж 30%.

Німеччина
За даними EMC, обсяг накопичених даних у Німеччині за підсумками 2014 становить 230 ексабайт, що становить 4% від загального обсягу інформації у світі. До 2020 обсяг інформації зросте до 1100 ексабайт і складе 2%.
На ринку Німеччини велику частку виручки, за прогнозами Experton Group, генеруватиме сегмент сервісних послуг, частка яких у 2015 році становитиме 54%, а у 2019 році збільшиться до 59%, частки програмного забезпечення та обладнання, навпаки, зменшаться.

В цілому, обсяг ринку зросте з 1,345 млрд євро у 2015 році до 3,198 млрд євро у 2019 році, середній темп зростання становитиме 24%.
Таким чином, на підставі аналітики CIO і EMC, можна зробити висновок про те, що країни світу, що розвиваються, в найближчі роки стануть ринками активного розвитку технологій Великих Даних.

Основні тенденції ринку

На думку IDG Enterprise, у 2015 році витрати компаній на сферу Великих Даних складуть у середньому 7,4 млн дол. США на компанію, великі компанії мають намір витратити приблизно 13,8 млн дол. США, малі та середні – 1,6 млн дол. США. .
Найбільше буде інвестовано у такі галузі, як аналіз та візуалізація даних та їх збір.
Відповідно до поточних тенденцій та попиту на ринку, інвестиції у 2015 році будуть використані на покращення якості даних, удосконалення планування та прогнозування, а також на збільшення швидкості обробки даних.
Компаніями фінансового сектора, за даними Bain Company's Insights Analysis, будуть зроблені значні інвестиції, так у 2015 році планується витратити 6,4 млрд дол. США на технології Big Data, середній темп зростання інвестицій становитиме 22% до 2020 року. Інтернет-компанії планують витратити 2,8 млрд дол. США, середній темп зростання збільшення витрат на Великі Дані становитиме 26%.
Під час проведення опитування Economist Intelligence Unit survey, були виявлені пріоритетні напрямки розвитку Big Data у 2014 році та у найближчі 3 роки, розподіл відповідей виглядає наступним чином:

За прогнозами IDC тенденції розвитку ринку виглядають так:

У наступні 5 років витрати на хмарні рішення у сфері технологій Великих Даних зростатимуть у 3 рази швидше, ніж витрати на локальні рішення. Чи стануть затребуваними гібридні платформи для зберігання даних.
Зростання додатків з використанням складної та прогнозної аналітики, включаючи машинне навчання, прискориться у 2015 році, ринок таких додатків зростатиме на 65% швидше, ніж додатки, які не використовують прогнозну аналітику.
Медіа аналітика потроїться у 2015 році та стане ключовим драйвером зростання ринку технологій Великих Даних.
Прискориться тенденція застосування рішень для аналізу постійного потоку інформації, яка застосовна для інтернету речей.
До 2018 року 50% користувачів взаємодіятимуть із сервісами, заснованими на когнітивному обчисленні.

Драйвери та обмежувачі ринку

Експерти IDC, виділили 3 драйвери ринку Великих Даних 2015 року:

Згідно з опитуванням Accenture, питання безпеки даних є зараз головним бар'єром на шляху впровадження технологій Великих Даних, більше 51% респондентів підтвердили, що турбуються за забезпечення захисту даних та їх конфіденційності. 47% компаній повідомили, про неможливість впровадження Big Data у зв'язку з обмеженим бюджетом, 41% компаній як проблему вказали на брак кваліфікованих кадрів.

Wikibon прогнозує, що обсяг ринку Big Data зросте в 2015 році до 38,4 млрд дол. США і збільшиться порівняно з попереднім роком на 36%. Найближчими роками спостерігатиметься спад темпів зростання до 10% у 2017 році. З урахуванням даних прогнозів, обсяг ринку в 2020 році дорівнюватиме 68,7 млрд дол. США.

Розподіл загальносвітового ринку Великих Даних за бізнес-категоріями виглядатиме так:

Як видно з діаграми, більшу частину ринку займатиме технології зі сфери покращення клієнтського сервісу. Точковий маркетинг буде на другому місці за пріоритетністю у компаній аж до 2019 року, в 2020 році, за прогнозом Heavy Reading, він поступиться місцем рішенням щодо поліпшення операційної ефективності.
Найвищий темп зростання також матиме сегмент «покращення клієнтського сервісу», приріст - 49% щорічно.
Прогноз ринку з підтипів Big Data буде виглядати так:

Переважну частку ринку, як видно з діаграми, займають професійні послуги, найвищий темп зростання буде у додатків з аналітикою, їхня частка зросте з нинішніх 12% до 18% у 2020 році і обсяг даного сегмента дорівнюватиме 12,3 млрд дол. США, частка обчислювального обладнання, навпаки, впаде з 20% до 14% і складе близько 9,3 млрд дол. США в 2020 році, ринок хмарних технологій поступово збільшуватиметься і в 2020 році досягне 6,3 млрд дол. США, частка ринку рішень для зберігання даних, навпаки, зменшиться з 15% у 2014 році до 13% у 2020 році і в грошах дорівнюватиме 8,9 млрд дол. США.
Згідно з прогнозом Bain & Company's Insights Analysis, розподіл ринку Big Data по галузях у 2020 році буде виглядати так:

Фінансова галузь здійснюватиме витрати на Big Data у розмірі 6,4 млрд дол. США із середнім темпом зростання 22% на рік;
Інтернет-компанії витратять 2,8 млрд дол. США та середній темп зростання витрат складе 26% за наступні 5 років;
Витрати держсектора будуть пропорційні витратам інтернет-компаній, але темп зростання буде нижчим – 22%;
Сектор телекомунікацій зростатиме із середнім темпом зростання 40% і досягне 1,2 млрд дол. США у 2020 році;

Енергетичні компанії інвестуватимуть у дані технології порівняно невелику суму – 800 млн дол. США, але темп зростання буде одним із найвищих – 54% щорічно.
Таким чином, велику частку ринку Big Data в 2020 році займуть компанії фінансової галузі, а сектором, що найбільш швидко росте, буде енергетика.
За прогнозами аналітиків, загальний обсяг ринку найближчими роками буде збільшуватися. Зростання ринку буде забезпечено за рахунок впровадження технологій Великих Даних у країнах світу, як видно з представленого нижче графіка.

Прогнозований обсяг ринку залежатиме від того, як країни, що розвиваються, сприймуть технології Великих Даних, чи буде вони також популярні як у розвинених країнах. У 2014 році країни світу, що розвиваються, займали 40% від обсягу накопиченої інформації. За прогнозом EMC, нинішня структура ринку з переважанням розвинених країн зміниться вже в 2017 році. Згідно з аналітикою EMC, у 2020 році частка країн, що розвиваються, буде більше 60%.
На думку Cisco і EMC, країни світу, що розвиваються, будуть досить активно працювати з Big Data, багато в чому це буде пов'язано з доступністю технологій і накопиченням достатнього обсягу інформації до рівня Big Data. На карті світу, представленій на наступній сторінці, буде показаний прогноз збільшення обсягу та темпи зростання Великих Даних по регіонах.

АНАЛІЗ РОСІЙСЬКОГО РИНКУ

Поточний стан російського ринку

Згідно з результатами дослідження CNews Analytics та Oracle, рівень зрілості російського ринку Big Data за останній рік підвищився. Респонденти, що представляють 108 великих підприємств з різних галузей, продемонстрували більш високий ступінь поінформованості про ці технології, а також розуміння потенціалу подібних рішень для свого бізнесу, що склалося.
Станом на 2014 рік, за даними IDC, у Росії накопичено 155 ексабайт інформації, що становить лише 1,8% світових даних. Обсяг інформації до 2020 року досягне 980 ексабайтів та займе 2,2%. Таким чином, середній темп зростання обсягу інформації становитиме 36% на рік.
Компанія IDC оцінює ринок Росії в 340 млн дол. США, з них 100 млн дол. США – рішення SAP, приблизно 240 млн дол. США – аналогічні рішення Oracle, IBM, SAS, Microsoft та ін.
Темп зростання російського ринку Великих Даних становить не менше ніж 50% на рік.
Прогнозується збереження позитивної динаміки у цьому секторі російського ринку ІТ, навіть за умов загальної стагнації економіки. Це пов'язано з тим, що бізнес, як і раніше, пред'являє попит на рішення, що дозволяють підвищити ефективність роботи, а також оптимізацію витрат, покращення точності прогнозування та мінімізувати можливі ризики компанії.
Основними провайдерами послуг у сфері великих даних на російському ринку є:

Oracle
Microsoft
Cloudera
Hortonworks
Teradata.

Огляд ринку по галузях та досвід застосування Великих Даних у компаніях

За даними CNews, у Росії лише 10% компаній почали використовувати технології Великих Даних, коли у світі частка таких компаній становить близько 30%. Готовність до проектів Big Data зростає у багатьох галузях економіки Росії – свідчить звіт СNews Analytics та Oracle. Більше третини опитаних компаній (37%) розпочали роботу з технологіями Big Data, серед яких 20% вже використовують такі рішення, а 17% починають експериментувати з ними. Друга третина респондентів зараз розглядають таку можливість.

У Росії більшої популярністю технології Великих Даних користуються в банківській сфері та телекомі, але вони також потрібні у сфері добувної промисловості, енергетиці, рітейлі, в логістичних компаніях та держсекторі.
Далі будуть розглянуті приклади застосування Великих даних у російських реаліях.

Телеком
Телеком-оператори мають одні з об'ємних баз даних, що дозволяє їм проводити найглибший аналіз накопиченої інформації.
Однією із сфер застосування технології Великих Даних є керування лояльністю абонентів.
Головною метою аналізу даних є утримання існуючих клієнтів та залучення нових. І тому компанії проводять сегментацію клієнтів, аналізують їх трафіки, визначають соціальну приналежність абонента. Крім використання інформації в маркетингових цілях, в телеком технології застосовуються для запобігання шахрайських фінансових операцій.
Одним із яскравих прикладів даної галузі є Вимпелком. Компанія застосовує Великі Дані для підвищення якості обслуговування на рівні кожного абонента, складання звітності, аналізу даних для розвитку мережі, боротьби зі спамом та персоналізації послуг.

Банки
Значну частку користувачів Big Data займають фахівці фінансової галузі. Одним із успішних дослідів було проведено в Уральському банку реконструкції та розвитку, де інформаційну базу почали використовувати для аналізу клієнтів, банк почав пропонувати спеціалізовані кредитні пропозиції, вклади та інші послуги. За рік використання цих технологій роздрібний кредитний портфель компанії зріс на 55%.
В Альфа-Банку аналізують інформацію із соціальних мереж, обробляють заявки на отримання кредиту, аналізують поведінку користувачів сайту компанії.
Ощадбанк також розпочав обробку масиву даних з метою сегментації клієнтів, запобігання шахрайським діям, перехресним продажам та управління ризиками. Надалі планується вдосконалити сервіс та аналізувати дії клієнтів у режимі реального часу.
Всеросійський банк розвитку регіонів аналізує поведінку власників пластикових карток. Це дозволяє виявити нетипові для конкретного клієнта операції, тим самим підвищується можливість виявлення крадіжки коштів із пластикових карток.

Роздрібна торгівля
У Росії технології великих даних були впроваджені компаніями як онлайн, так і офлайн торгівлі. На сьогоднішній день, за даними CNews Analytics, Big Data використовують 20% рітейлерів. 75% фахівців роздрібної торгівлі вважають великі дані необхідними для розвитку конкурентоспроможної стратегії просування компанії. За статистикою Hadoop після застосування технології Великих Даних прибуток у торгових організаціях зростає на 7-10%.
Фахівці М.Відео говорять про покращення логістичного планування після впровадження SAP HANA, також, внаслідок її впровадження, підготовка річної звітності скоротилася з 10 днів до 3, швидкість щоденного завантаження даних скоротилася з 3 до 30 хвилин.
Wikimart використовують ці технології для формування рекомендацій відвідувачам сайту.
Одним з перших офлайн-магазинів, що впровадили аналіз Великих Даних у Росії, була «Стрічка». За допомогою Big Data рітейл став вивчати інформацію про покупців із касових чеків. Рітейлер збирає інформацію для складання поведінкових моделей, що дає змогу більш обґрунтовано приймати рішення на рівні операційної та комерційної діяльності.

Нафтогазова галузь
У цій галузі сфера застосування Великих даних досить широка. Технології Великих Даних можуть бути використані при видобутку корисних копалин надр. З їхньою допомогою можна аналізувати сам процес видобутку та найбільш ефективні способи його вилучення, відстежувати процес буріння, аналіз якості сировини, а також обробку та збут кінцевої продукції. У Росії даними технологіями стали вже користуватися Транснефть та Роснефть.

Державні органи
У таких країнах, як Німеччина, Австралія, Іспанія, Японія, Бразилія та Пакистан технології Великих Даних використовуються для вирішення питань національного масштабу. Ці технології допомагають органам державної влади більш ефективно надавати послуги населенню, надавати адресну соціальну підтримку.
У Росії дані технології стали освоювати такі державні органи, як Пенсійний Фонд, Федеральна Податкова Служба та Фонду обов'язкового медичного страхування. Потенціал реалізації проектів з використанням Big Data великий, дані технології могли б допомогти у покращенні якості сервісів, і, як наслідок, рівня життя населення.

Логістика та транспорт
Big Data також можуть використовуватися транспортними компаніями. За допомогою технологій Великих Даних можна відстежувати парк автомобілів, враховувати витрати на паливо, проводити моніторинг заявок клієнтів.
РЗ запровадили технології Big Data спільно з компанією SAP. Дані технології допомогли скоротити термін підготовки звітності у 43,5 рази (з 14,5 години до 20 хвилин), підвищити точність розподілу витрат у 40 разів. Також Big Data були впроваджені у процеси планування та тарифного регулювання. Усього компаній використовується понад 300 систем на базі рішень SAP, задіяно 4 дата-центри, а кількість користувачів становила 220 000.

Основні драйвери та обмежувачі ринку

Драйверами розвитку технологій Великих Даних на російському ринку є:

Підвищений інтерес з боку користувачів до можливостей Великих Даних як способу збільшення конкурентоспроможності компанії;
Розвиток методів обробки медіа-файлів на загальносвітовому рівні;
Перенесення серверів, що обробляють персональну інформацію на територію Росії, згідно з прийнятим законом про зберігання та обробку персональних даних;
Здійснення галузевого плану з імпортозаміщення програмного забезпечення. Даний план включає державну підтримку вітчизняних виробників ПЗ, а також надання преференцій вітчизняної ІТ-продукції при здійсненні закупівель за державний рахунок.
У новій економічній ситуації, коли курс долара зріс практично вдвічі, спостерігатиметься тренд з дедалі більшого використання послуг російських провайдерів хмарних послуг, ніж зарубіжних.
створення технопарків, що сприяють розвитку ринку інформаційних технологій, у тому числі ринку Великих Даних;
Державна програма з впровадження грід-систем, основою яких є технології Великих Даних.

Основними бар'єрами для розвитку Big Data на російському ринку є:

Забезпечення безпеки та конфіденційності даних;
Нестача кваліфікованих кадрів;
Недостатність накопичених інформаційних ресурсів рівня Big Data в більшості російських компаній;
Труднощі впровадження нових технологій у усталені інформаційні системи підприємств;
Висока вартість технологій Великих Даних, що призводить до обмеженого кола підприємств, які мають можливість впровадити дані технології;
Політична та економічна невизначеність, що призвела до відтоку капіталу та заморожування інвестиційних проектів на території Росії;
Зростання цін на імпортну продукцію та сплеск інфляції, на думку IDC, гальмують розвиток усього ринку ІТ.

Прогноз російського ринку

Станом на сьогоднішній день, російський ринок Великих Даних не настільки популярний як у розвинених країнах. Більшість російських компаній виявляють інтерес до нього, але скористатися їхніми можливостями не наважуються.
Приклади великих компаній, які вже отримали вигоду від використання технологій Великих Даних, розширюють усвідомлення можливостей цих технологій.
У аналітиків також є досить оптимістичні прогнози щодо російського ринку. IDC вважає, що частка російського ринку за наступні 5 років збільшиться, на відміну від Німеччини та Японії.
До 2020 обсяг Big Data Росії зросте з нинішніх 1,8% до 2,2% від загальносвітового обсягу даних. Кількість інформації зросте, за даними EMC, із нинішніх 155 ексабайт до 980 ексабайт у 2020 році.
Зараз у Росії триває накопичення обсягу інформації рівня Великих Даних.
Згідно з опитуванням CNews Analytics, 44% опитаних компаній працюють з даними не більше 100 терабайт* і лише 13% працюють з обсягами понад 500 терабайт.

Проте російський ринок, дотримуючись світових тенденцій, збільшуватиметься. Станом на 2014 рік обсяг ринку компанія IDC оцінює у 340 млн дол. США.
Темп зростання ринку за попередні роки становив 50% на рік, якщо він залишиться на колишньому рівні, то вже у 2018 році обсяг ринку сягне 1,7 млрд дол. США. Частка російського ринку у світовому складе близько 3%, збільшившись із нинішніх 1,2%.

До найбільш сприйнятливих галузей для використання Big Data в Росії відносяться:

Рітейл і банки, їм насамперед важливий аналіз клієнтської бази, оцінка ефекту маркетингових кампаній;
Телеком - сегментація клієнтської бази та монетизація трафіку;
Держсектор - ведення звітності, аналіз заявок від населення та ін;
Нафтові компанії – моніторинг робіт та планування видобутку та збуту;
Енергетичні компанії – створення інтелектуальних електроенергетичних систем, оперативний моніторинг та прогнозування.

У розвинених країнах Big Data набула широкого поширення у сферах охорони здоров'я, страхуванні, металургії, інтернет-компаніях та на виробничих підприємствах, швидше за все в найближчому майбутньому російські компанії з цих сфер також оцінять ефект впровадження Big Data та будуть пристосовувати дані технології у своїх галузях.
У Росії також, як і у світі, у найближчому майбутньому спостерігатиметься тренд на візуалізацію даних, аналіз медіа файлів та розвитку інтернету речей.
Незважаючи на загальну стагнацію економіки, найближчими роками аналітики прогнозують подальше зростання ринку Великих Даних, насамперед це пов'язано з тим, що використання технологій Великих Даних дає конкурентну перевагу її користувачам у частині підвищення операційної ефективності бізнесу, залучення додаткового потоку клієнтів, мінімізації ризиків та запровадження технологій прогнозування даних.
Таким чином, можна зробити висновок, що сегмент Big Data в Росії знаходиться на стадії формування, але попит на дані технології з кожним роком збільшується.

Основні результати аналізу ринку

Світовий ринок

За підсумками 2014 року ринок Великих Даних характеризується такими параметрами:

обсяг ринку становив 28,5 млрд дол. США, збільшившись на 45% порівняно з попереднім роком;
більшу частину виручки ринку Big Data склали сервісні послуги, їхня частка дорівнювала 40% у загальному обсязі виручки;
36% виручки принесли додатки та аналітика Великих Даних, 17% – обчислювальне обладнання та 15% – технології зберігання даних;
Найбільшою популярністю для вирішення проблем Великих Даних користуються in-memory платформи таких компаній, як SAP, HANA та Oracle.
на 125% збільшилася кількість компаній з реалізованими проектами у сфері управління Великими Даними;

Прогноз ринку на наступні роки виглядає так:

у 2015 році обсяг ринку досягне 38,4 млрд дол. США, у 2020 році – 68,7 млрд дол. США;
середній темп зростання дорівнюватиме 16% щорічно;
середні витрати компанії на технології Великих Даних становитимуть 13,8 млн дол. США для великих компаній і 1,6 млн дол. США для малого та середнього бізнесу;
технології матимуть найбільшу поширеність у сферах клієнтського сервісу та точкового маркетингу;
у 2017 році зміниться загальносвітова структура ринку у бік переважання компаній-користувачів із країн, що розвиваються.

Російський ринок

Російський ринок Великих Даних знаходиться на стадії формування, результати 2014 виглядають наступним чином:

обсяг ринку досяг 340 млн дол. США;
середній темпи зростання ринку в попередні роки становив 50% щорічно;
загальний обсяг накопиченої інформації становив 155 ексабайт;
10% російських компаній почали використовувати технології Великих Даних;
більшою популярністю технології Великих Даних користувалися у банківській сфері, телекомі, інтернет-компаніях та рітейлі.

Прогноз російського ринку на найближчі роки виглядає так:

обсяг ринку Росії у 2015 році досягне 500 млн дол. США, а у 2018 році – 1,7 млрд дол. США;
частка російського ринку у світовому складе близько 3% у 2018 році;
кількість накопичених даних у 2020 році становитиме 980 ексабайт;
обсяг даних зросте до 2,2% від загальносвітового обсягу даних у 2020 році;
Найбільшої популярності набудуть технології візуалізації даних, аналізу медіа файлів та інтернету речей.

За результатами аналізу можна зробити висновок про те, що ринок Big Data все ще знаходиться на ранніх стадіях розвитку, і в найближчому майбутньому ми спостерігатимемо його зростання та розширення можливостей даних технологій.

Дякуємо, що приділили час прочитанню цієї об'ємної роботи, підписуйтесь на наш блог – обіцяємо багато нових цікавих публікацій!

У Башкирії під час аналізу турпотоку вперше використали «великі дані». Держкомітет РБ з туризму замовив Уральському центру моніторингу та аналітики дослідження, яке було виконано на базі динаміки пересування абонентів мобільних телефонів.

Згідно з дослідженнями, з січня по листопад 2018 року республіку відвідали 1,656 млн. туристів, 60% з яких - чоловіки віком від 30 до 45 років, як правило, співробітники комерційних організацій, з вищою освітою, з доходом від 40 тис. рублів на місяць. Середня тривалість перебування – 3,8 дня.

Пік туристського потоку посідає літо. У червні 2018 року кількість тих, хто в'їжджає, становила 179 тис. осіб, у липні — 215 тис. осіб. Мінімальний показник спостерігався у лютому – 118 тис. осіб.

Гості приїжджали з різних регіонів Росії. Найбільша частка приїжджих – Москва, Підмосков'я, Татарстан – по 11%. Жителі Оренбуржжя, Челябінської та Самарської областей склали частки турпотоку у 9%, 7%, 6%. Далі Свердловська область та ХМАО – по 3,8%, Тюменська область – 3%, Пермський край та Удмуртія – кожен трохи більше 2%.

Іноземні туристи приїжджали з країн ближнього зарубіжжя, а також з Індії, Іспанії, Італії, Ємену, Німеччини, Туреччини, Єгипту, Нігерії, Ізраїлю, США, Чехії, Саудівської Аравії, Болгарії, Ірану, Китаю та Фінляндії.

Також було проведено соціологічне дослідження як опитувань туристів. 37% опитаних обрали для зупинки готель чи готель. 17% зупинилися у друзів або родичів, хостели віддали перевагу 11%. За цілями поїздок туристський потік розподілився так: поїздки до родичів (30%), діловий туризм (28%), оздоровчий (18%), екскурсійний (12%), активний (8%), паломницький туризм (0,2%) .

40% туристів приїжджали до Башкирії не вперше. За рекомендацією друзів (колег, родичів) приїхало 20%. 24% прибутку у відрядження. Найменш використовуваними джерелами інформації під час вибору напряму подорожі для респондентів стали інтернет-портали (3,4%), соціальні мережі (1,2%), реклама у ЗМІ (0,5%).

У поточному 2019 році аналізуватиметься також туристична привабливість окремих районів республіки, повідомили у держкомітеті.

«Геоаналітика із використанням можливостей мобільних операторів є передовою методикою підрахунку туристичного потоку. Нині подібний досвід мають лише Москва і Нагадаю, що останній посідає у національному туристському рейтингу перше місце у ПФО, Башкортостан — друге», — зазначив заступник керівника Держкомтуризму та підприємництва РБ Азамат Галін.

За даними порталу «Турстат», Башкирія за підсумками 2018 року увійшла до Топ-15 рейтингу внутрішнього та в'їзного туризму, посівши 13 місце з кількістю туристів понад 2,5 млн осіб (+13% до рівня 2017 року).

Дані ініціативи Уряду Башкирії дуже цікаві та корисні для вивчення турпотоку та планування своєї діяльності з метою просування турпродуктів регіону через комплексне надання послуг туристам, у тому числі з використанням IT-технологій.

До речі, новини згадають Нижній Ногород. Ми раніше повідомляли, що в цьому місті реалізовано проект "Карта гостя", за якою можна буде відслідковувати пересування туристів, які відвідують пам'ятки міста, їхні інтереси, туристи зможуть отримувати різноманітні знижки, а також безкоштовно користуватися громадським транспортом.

Всі ці ініціативи реалізуються у регіонах відокремлено та одинично, без федеральної участі.

ПРО ЩО МОВА?

Суть справи у цьому, що у час вирішується питання застосування електронних віз для іноземних громадян, які прибувають Російську Федерацію . На думку Асоціації "Безпека туризму" застосування таких віз з використанням спеціальних цифрових технологій без інтеграції до них системи міграційного та реєстраційного обліку туристів у готелях та згаданих вище послуг з "карти гостя" не має сенсу. Не державний підхід.

На нашу думку, системний, державний підхід повинен включати облік всіх цих елементів. Турист повинен пройти реєстрацію на кордони один раз, отримавши електронну мітку, а потім пересуватися країною, реєструватися в готелях (вже без міграційного обліку), відвідувати без проблем музеї, отримувати різні знижки, користуватися громадським транспортом безкоштовно або зі знижками. І при цьому даний підхід дозволить - як забезпечити національну безпеку, фіксуючи пересування іноземців, так і звільнити готельєрів від головного болю реєстраційного та міграційного обліку, а органам управління туризмом у суб'єктах РФ отримувати інформацію про найбільш популярні об'єкти регіону (міста) та на її основі формувати туристські пропозиції, тим самим одержуючи максимальну вигоду.

І ДЛЯ ЦЬОГО ВЖЕ ВСЕ Є!

А саме Постанова Уряду Російської Федерації ще 6 серпня 2015 року №813, якою затверджено Положення про державну систему міграційного та реєстраційного обліку, реалізація якої може суттєво вплинути на гостинність та збільшення в'їзного туристичного потоку в цілому. Саме про це 06 грудня 2018 року у Раді Федерації говорив Голова Правління Асоціації "Безпека туризму" Сергій Груздьучасникам круглого столу на тему «Актуальні питання застосування електронних віз для іноземних громадян, які прибувають до Російської Федерації, та вдосконалення законодавства Російської Федерації у цій сфері»

Нагадаємо, що питання вдосконалення міграційного та реєстраційного обліку, спрощення візового режиму, розробки та впровадження єдиного біометричного ідентифікатора для подорожей стануть предметом обговорення у рамках Міжнародного форуму "Безпека туризму" – TSIF – 2019.Цей Форум – ключовий професійний захід, на якому представники органів влади, професійної спільноти та бізнесу на одному майданчику обговорюють актуальні питання забезпечення безпеки туризму.Форматом Форуму передбачено 4 секційні засідання.

01.10.2018, Пн, 10:03, Мск , Текст: Марія Сисойкіна

Інноваційний центр "Безпечний транспорт", створений рік тому в рамках Московського метрополітену, об'єднує розробників рішень для роботи з цифровими технологіями. У межах першої стратегічної сесії інноваційного центру пройшло обговорення нових технологій, запропонованих російськими компаніями, і навіть реалізованих центром ініціатив.

Спільнота навколо «Безпечного транспорту»

Інноваційний центр «Безпечний транспорт» розпочав створення спільноти експертів та розробників для обміну ідеями та досвідом щодо використання сучасних технологій у вирішенні різних транспортних завдань для Москви. У рамках спільноти об'єднаються як ті компанії, які вже працюють із «Безпечним транспортом», так і нові учасники. На першій стратегічній сесії центру, що відбулася, представники компаній ABBYY, «Максима телеком», «Яндекс.Таксі», Avito, «Програмний продукт» та ін. поділилися своїм баченням необхідних технологічних змін на транспорті в Москві, обговорили роль технологій у формуванні нових інноваційних сервісів та запропонували ідеї для персоналізації взаємодії міста з його мешканцями.

Великі дані змінюють комунікації

Ідея створення центру народилася в серпні 2018 р. Основною метою цієї ініціативи є трансформація взаємодії з пасажирами, виведення комунікацій з городянами на новий, персоналізований рівень. Досягти поставленої мети допомагає аналіз великих даних. Інноваційний центр має можливість працювати з даними підвідомчих департаменту транспорту організацій, виконуючи свої дослідження, перевірки гіпотез, роблячи роботу із побудови сегментів для таргетованих комунікаційних компаній.

«Ми збираємо досить багато різноманітних деперсоналізованих даних про пасажирів і на основі аналізу можемо адресно повідомляти городянам важливу інформацію, – пояснює керівник Інноваційного центру Юрій Ємельянов. – Сценарії можуть бути різні. Наприклад, часто виникають зміни маршрутів, ремонти, перекриття руху через якісь події, заходи. Аналізуючи дані, ми можемо персоналізовано інформувати про зміни тих пасажирів, які часто рухаються цими маршрутами».

Проекти інноваційного центру

Є в скарбничці Центру і більш масштабні проекти, наприклад, аналіз задоволеності районів міста Москви в користуванні наземним транспортом. Експерти центру проводили численні опитування з цієї тематики, аналізували результати та формулювали за підсумками ініціативи щодо зміни маршрутів, розкладу та зупинок. Ці ініціативи Центр виносить різні керуючі комітети, проведені у межах транспортного комплексу й у разі затвердження, реалізацією їх займаються підвідомчі організації. Зворотний зв'язок з реалізованих ініціатив знову надходить до інноваційного центру, де оцінюються результати робіт та ступінь задоволеності громадян. Ця програма стартувала у березні 2018 р. і на даний момент показала себе досить успішною. Наразі Центр активно бере участь в аналогічній програмі для Московського Метрополітену.

Окремий інтерес становить проект Центру з аналітичної підтримки заходів у рамках Чемпіонату Світу з футболу. Експерти центру аналізували пасажиропотоки у дні матчів, що проводилися на московських стадіонах («Лужники», «Спартак», фан-зона на Воробйових горах), у найкоротші терміни після гри реалізували опитування задоволеності та виробляли рекомендації для оптимізації навантаження на транспортну організації транспортного обслуговування

Оцінка розподілу навантаження на стадіон "Лужники". Фрагмент аналітичного звіту щодо матчу Росія – Саудівська Аравія, що відбувся 14 червня, у день відкриття чемпіонату

Окремим напрямком роботи центру стала підтримка мобільних програм для громадян. "Безпечний транспорт" співпрацює з низкою розробників, у тому числі компанією "Інфокомпас", що розробляє додаток "Помічник Москви". «Ми намагаємось підтримувати ініціативи щодо створення різних сервісів на основі мобільних додатків для громадян. Для нас це один із каналів комунікації з населенням міста, – розповідає Юрій Ємельянов. – Наприклад, експерти Центру спільно з розробниками мобільного додатку «Помічник Москви» ведуть роботу, спрямовану на покращення алгоритму розпізнавання державного реєстраційного знака». Перед Інноваційним центром стоїть багато амбіційних завдань на майбутній 2019 р.

Дані стали важливим активом, вони становлять чималу цінність власними силами. При правильному підході до визначення власника та уважному побудові доступу до них можуть приносити прибуток всім учасникам перевізного процесу. Але можуть стати і яблуком розбрату, - пише журнал.

«Дані перетворилися на актив. Дані сьогодні – це золото та нафта ХХІ століття. Той, хто швидше з ними навчиться працювати, обробляти, кластеризувати, виготовляти з них продукти, які підвищують додану вартість, той і буде попереду», – переконував своїх слухачів Михайло Мішустін, голова Федеральної податкової служби, на сесії «Цифрова трансформація та якість життя. Погляд із регіонів», що пройшла в рамках Російського інвестиційного форуму в Сочі. Він ведеться про так званих великих даних – і кому як не голові ФНП, де зібрані дані про доходи та майно мільйонів росіян, розуміти всю їхню цінність? Але насправді чиновник лише повторив фразу, яку зараз можна почути на сотнях форумів у всьому світі від керівників тисяч компаній, зокрема глобальних. І перше ж питання, яке виникає: якщо великі дані стали цінним активом, отже, мають з'явитися правила, які опишуть, як із ними поводитися, хто ними володіє, чи можна і за якою ціною ці дані купити?

Технологія великих даних має на увазі наявність трьох елементів: величезних масивів даних, обчислювальних потужностей для дуже швидкої обробки цих даних та спеціальних математичних моделей, що дозволяють порівнювати заздалегідь певні параметри, доступ до яких раніше було заборонено. Це дозволяє виявляти нові, дуже часто неочевидні зв'язки та закономірності і вже на основі їх приймати управлінські рішення та отримувати прибуток (або як варіант – вирішувати суспільно важливі завдання).

Для того, щоб витягати з великих даних користь, мали дозріти технології. Зовсім недавно у розпорядженні компаній з'явилися обчислювальні потужності та алгоритми, які в змозі швидко обробляти величезні масиви даних у режимі реального часу, дата-центри, де ці дані можна зберігати, розвивається так званий Інтернет речей, що дозволяє в режимі реального часу отримувати дані від обладнання та різних пристроїв, покращуються характеристики та падає ціна датчиків, які використовуються для збору даних.

Олексій Федосєєв, керівник департаменту сервісної підтримки замовників «Сіменс Мобільність», так визначає кордон, з якого дані можуть вважатися більшими: «1 млн вимірів, так званих дата-пойнтів. З цього моменту ми можемо реалізовувати аналітичні моделі, що ґрунтуються на підході Big Data».

Піонерами стали авіабудівники. Цінність великих даних, на основі яких можна передбачати несправності та відмови обладнання, у цій галузі особливо велика. Наприклад, зараз Boeing 737 з двома двигунами за шість годин польоту передає 240 тис. терабайт даних (обсяг даних на паперових носіях у Ленінській бібліотеці більший, але ненабагато – приблизно у 84 рази). Йдеться про зняття за політ кількох сотень тисяч параметрів, хоча попередні покоління літаків збирали їх лише кілька сотень.

Минулого року голова гірничодобувної компанії Tinto (у її парку дані знімаються з безпілотних самоскидів, бурових на кар'єрах, локомотивів та в порту) розповів, що Центральний пункт управління в місті Перт отримує 2,4 терабайти даних щохвилини (приблизно 3,5 тис.). терабайт на добу).

Андрій Бородін, головний інженер проекту в Проектному конструкторсько-технологічному бюро Центр цифрових технологій Департаменту інформатизації ВАТ «РЖД», каже, що, з погляду професіоналів, дані бувають гарячі (тобто потрапляють в обробку відразу, в режимі реального часу), теплі та холодні (не використовуються, але залишені для зберігання).

"І навіть сирі дані небезпідставно розглядаються багатьма компаніями як актив, здатний приносити цінність, навіть якщо компанії зараз не можуть ними скористатися, - зробити передиктивні моделі або системи реагування в режимі реального часу", - каже Олег П'ятаков, керівник напряму з інвестиційного аналізу компанії. 2050. digital». Він упевнений, що генерувати дані заради даних контрпродуктивно як мінімум у найближчій перспективі: «Потрібна можливість пов'язати дані між собою (ідентифікатори пристроїв/користувачів, тимчасові мітки), хоча б мінімальна значущість даних для тих цільових параметрів, які намагаємося оптимізувати, вміння виробити керуючий вплив . Адже в традиційних (старих) управлінських системах нормою була ситуація, коли понад 95% даних, що збираються, з різних причин не використовувалися для прийняття рішення».

"РЖД" стали однією з перших компаній Росії, що почали процес цифрової трансформації. І з технологією великих даних холдинг, звісно, також працює. Звичайно, перша область для застосування їх очевидна - регулярний збір даних з рухомого складу та інфраструктури за допомогою Інтернету речей.

У «Сіменс Мобільність», який є стратегічним партнером «РЖД» у цій галузі, проводиться чітке розрізнення двох понять – даних та інформації. Дані, що генеруються рухомим складом, інфраструктурою, за словами Олексія Федосєєва, належать експлуатуючій організації: «Щойно ми поставили технічні системи компанії Deutsche Bahn або ВАТ «РЖД», дані належать їм».

Потім у рамках сервісних контрактів, у межах окремих контрактів на обробку цих даних вони перетворюються на корисну інформацію. Наприклад, потяги «Ластівка», що експлуатуються на МЦК, генерують діагностичні сполучення про технічний стан окремих підсистем електропоїзда. Ці дані агрегуються і захищеним каналом передаються на сервер біля РФ. І лише потім, каже Олексій Федосєєв, у Центрі аналізу та обробки даних, створеному спільно ВАТ «РЖД» та «Сіменс» у лютому 2017 року, ці агреговані дані перетворюються на корисну інформацію.

Співробітники центру використовують аналітичні моделі, які на базі отриманих технічних параметрів дозволяють реалізувати концепцію передиктивного технічного обслуговування, прогнозувати відмови критично важливих вузлів рухомого складу, розповідає експерт. Приклад – обробка даних, отриманих із системи тягового приводу. Но не тільки. Контролюється, наприклад, система пасажирських дверей. Під час руху в режимі міської електрички робота пасажирських дверей може впливати на час знаходження поїзда на станції, збої та відмови у їх роботі можуть впливати на порушення графіків руху. До цієї інформації через комп'ютеризовану систему технічного обслуговування Cormap мають доступ працівники відділу ремонту Дирекції швидкісного сполучення ВАТ «РЗ». Система відкрита, її основі приймаються рішення про видачу поїздів на лінію.

Моделі передиктивної аналітики з експлуатації високошвидкісних поїздів, що постачаються «Сіменс» для німецьких, іспанських, російських, турецьких залізниць, а також компанії Eurostar, удосконалюються протягом останніх трьох-чотирьох років. Чим більше даних опрацьовано, тим точніше моделі функціонують. Результатом стає підвищення технічної готовності поїздів. Наприклад, робота Центру віддаленого моніторингу компанії «Сіменс» по поїздах Velaro в Іспанії розпочалася трохи раніше, ніж із «Сапсанами» в Росії. Моделі дозволяють прогнозувати відмови тягових двигунів за п'ять-сім днів, що призвело до практично повного виключення можливості порушення графіка руху через зниження тяги. В результаті, компанія RENFE продемонструвала готовність компенсувати 100% вартості квитка пасажирам при запізненні поїзда більш ніж на 15 хвилин на лінії Мадрид – Барселона. Реакція пасажирів не забарилася: частка залізничних перевезень у пасажирообороті на цьому напрямку зросла з 20 до 61%, а авіаперевезень знизилася з 80 до 39%.

Якщо брати російський досвід із запровадження аналогічних моделей передиктивної діагностики поїздів «Сапсан», то, за словами Олексія Федосєєва, позитивні ефекти очевидні: на лінії Москва – Санкт-Петербург парк поїздів «Сапсан» пройшов вже понад 7 млн км без запізнень через технічні відмови , які перевищують 5 хвилин (це один із параметрів, його компанія використовує, щоб оцінити рівень надійності).

Важливою частиною роботи з великими даними стало створення так званого довіреного середовища - воно призначене для безпечного використання даних, виключення неправомірного доступу до нього. Наприклад, «Довірене середовище локомотивного комплексу» будується для доступу до даних, які генеруватимуться локомотивами, споживачами цих даних – співробітниками холдингу «РЗ», сервісних компаній, виробниками рухомого складу та виробниками компонентів.

Не завжди взаємини ґрунтуються на партнерській основі. У цьому випадку можливе протистояння сторін, що беруть участь у наданні та обробці даних. Як це може відбуватися, демонструє історія, яка зараз розвивається з датською компанією Maersk, лідером океанських перевезень. Ще в 2014 році компанія вирішила, що цифровуватиме свій бізнес океанських перевезень. Maersk тоді повідомила, що просте відправлення морем охолоджених фруктів зі Східної Африки до Європи проходить ланцюжком з 30 людей та організацій і вимагає близько 200 актів взаємодії (передача документів, спілкування) між ними, а 20% витрат на доставку партії товару припадає на обробку. передачу документів та адміністрування процесу. Maersk збиралася радикально зменшити витрати у цій сфері, де серйозних змін не відбувалося вже 60 років.

У 2016 році вона визначилася з технологією та партнером, розпочала співпрацю з компаній IBM як носієм просунутих знань у блокчейні. Блокчейн-систему розумних контрактів, що дістала назву TradeLens, почали тестувати у 2017 році. У січні 2018 року Maersk та IBM оголосили про створення спільного підприємства. Працювали з партнерами, щоб зрозуміти, як прискорити передачу інформації та знизити кількість помилок. Було оголошено, що до кінця 2018 року буде запущено повноцінну комерційну версію TradeLens. Вже до середини 2018 року система містила дані про 154 млн подій (дати прибуття судів, звіти про відправлення та прибуття контейнерів, митні дозволи, комерційні рахунки та коносаменти, тобто документи про прийняття вантажу перевізником від відправника вантажу), їх кількість приростала на 1 млн кожен день – загалом, TradeLens була готова до повноцінної експлуатації.

На тестовій стадії до системи приєдналися 92 учасники: судновласники, океанські перевізники, відправники вантажу, порти (наприклад, дуже великий порт Роттердама, через який проходить до 2/3 океанських вантажів для Європи) і митниці. Але в той же час, як закінчувалося тестування, стало відомо, що інші океанські перевізники відмовилися підключатися до TradeLens. Без інформації цих гравців виключено повноцінне використання системи.

Схоже, для Maersk такий опір став несподіванкою. У середині листопада данська компанія прийняла пропозицію конкурентів по першій шістці (MSC, CMA CGM, Hapag-Lloydand та Ocean Network Express) увійти до некомерційного об'єднання, яке займеться розробкою нових стандартів для обміну інформацією в галузі. Андре Сімха, CIO компанії MSC, океанського перевізника №2, заявив журналістам, що його компанія із задоволенням приєднається до TradeLens, якщо компанія стане більш відкритою. І взагалі MSC набагато більше подобається ідея працювати через некомерційне об'єднання, адже попри обіцянки рівного доступу до інформації всі інтелектуальні права на TradeLens розділені між IBM і Maersk. Перевізникам не сподобалася перспектива віддавати свої дані до системи, тому що заробляти на них буде їхній головний конкурент. Олег П'ятаков все ж таки вважає, що Maersk пішов правильним шляхом і врешті-решт перемагатимуть пропрієтарні рішення потужних компаній, а відкриті стандарти без участі сильних гравців поступатимуться позиціями. Але Maersk доведеться поборотися за володіння таким цінним активом, як дані. У листопаді було оголошено про створення конкуруючої з TradeLens системи.

Подібні документи

Принципи технологій "Розумний дім". Вибір елемента для системи. Розробка програмного забезпечення сегментів системи управління приміщенням: вимірювання вологості та температури, автономний контролер та освітлення. Виведення інформації користувачеві.

дипломна робота, доданий 07.08.2018

Застосування технології блокчейн у фінансовій сфері, ігровій промисловості, держуправлінні. Створення концепції об'єднання блокчейн та Інтернету речей для роботи мережі "Розумний дім", її реалізація у поєднанні з технологією Big Data та штучним інтелектом.

стаття, доданий 20.11.2018

Поняття, принцип роботи та елементи системи "розумний дім". Протоколи обміну даними між керуючими, передавальними та виконавчими елементами. Приклад практичної реалізації проекту. Опис основних програмних елементів прототипу "розумного дому".

дипломна робота, доданий 30.07.2017

Розгляд існуючих проблем управління міським пасажирським транспортом у Росії. Методика автоматизації системи диспетчерського контролю. Аналіз безвідмовності роботи експертної системи пасажирського транспорту у програмному середовищі AnyLogic.

стаття, доданий 01.03.2019

Опис конструкції та особливостей роботів для розваг та охорони. Управління роботом-пилососом. Рухи та зовнішність андроїдів. Вивчення загального алгоритму роботи системи "Розумний Дім". Механізм інтелектуального управління у житлових та офісних приміщеннях.

реферат, доданий 10.02.2015

Дослідження таких технологічних рішень для міського середовища, як "розумна вулиця", "розумне паркування", "розумне місто". Опис основних принципів роботи та функціональних можливостей інтернет речей, позначення ефекту від їх впровадження та головні переваги.

стаття, доданий 18.08.2018

Розгляд схеми пристроїв "Розумного дому" та програмного забезпечення. Розробка зв'язку між елементами. Вибір елементів. Підготовка технічної документації Характеристика процесу впровадження та тестування. Вивчення використовуваних технологій.

дипломна робота, доданий 20.03.2017

Розгляд питань, пов'язаних із комплексною розробкою та впровадженням технологій типу "Розумного міста". Знайомство з основними тенденціями у розвитку інформаційної безпеки. Загроза як потенційна можливість порушити інформаційну безпеку.

стаття, доданий 05.06.2018

Розглядається модель розумного міста IBM, що складається з трьох стадій: "інструментальність", "взаємопов'язаність", "інтелектуальність". Способи впровадження енергозберігаючих технологій та екологічно безпечним розвитком міських систем, їх ефективність.

стаття, доданий 31.10.2017

Поняття інформаційної системи, її використання для обробки інформації, її зберігання та розповсюдження. Інформаційні технології у галузі водного транспорту. Берегові та бортові інформаційні системи. Тренажерні та портові технологічні системи.