УДК 004.38.032.26

О. В. Конюхова, К. С. Лапочкін

O. V. KONUKHOVA, K. S. LAPOCHKINA

ЗАСТОСУВАННЯ нейронних мереж В ЕКОНОМІЦІ ТА АКТУАЛЬНІСТЬ ЇХ ВИКОРИСТАННЯ ПРИ СКЛАДАННІ КОРОТКОСТРОКОВОГО ПРОГНОЗА БЮДЖЕТУ

APPLICATION OF NEURAL NETWORKS IN ECONOMY AND AN URGENCY OF THEIR USE BY DRAWING UP OF A SHORT-TERM FORECAST OF THE BUDGET

У даній статті описується застосування нейронних мереж в економіці. Розглядається процес прогнозування бюджету Російської федерації і актуальність застосування нейронних мереж для складання короткострокового бюджету.

Ключові слова: економіка, бюджет Російської Федерації, прогнозування бюджету, нейронні мережі, генетичні алгоритми.

In this article application of neural networks in economy is described. Process of forecasting of the budget of the Russian Federation and an urgency of application of neural networks for drawing up of the short-term budget is considered.

Keywords: economy, budget of the Russian Federation, budget forecasting, neural networks, genetic algorithms.

4) автоматичне групування об'єктів.

Одна з цікавих спроб створення механізму раціонального управління депресивною економікою належить англійському кібернетику Стаффорд Біру. Їм було запропоновано стали широко відомими принципи управління, в основі яких лежать нейрофізіологічні механізми. Моделі виробничих систем розглядалися їм як дуже складні відносини між входами (потоками ресурсів) внутрішніми, невидимими елементами і виходами (результатами). Входами моделей служили досить узагальнені індекси, основні з яких оперативно відображали обсяг вироблення конкретного виробництва, що випробовується потреба в ресурсах і продуктивність. Рішення, пропоновані для ефективного функціонування такого роду систем, приймалися після, як були знайдені і обговорені всі можливі в даній ситуації варіанти. найкраще рішення приймалося більшістю голосів, що беруть участь в обговоренні менеджерів і експертів. З цією метою в системі була передбачена ситуаційна кімната, оснащена відповідними технічними засобами. Запропонований С. Біром підхід до створення системи управління виявився ефективним для управління не тільки великими виробничими об'єднаннями, такими, як сталеливарна корпорація, але і економікою Чилі 70-х років.

Аналогічні принципи були використані в методі групового урахування аргументів (МГУА) українським кібернетиком для моделювання економіки благополучній Англії. Спільно з економістами (Паркс та ін.), Які запропонували понад двісті незалежних змінних, що впливають на валовий дохід, їм було виявлено кілька (п'ять-шість) головних чинників, які з високим ступенем точності визначають значення вихідної змінної. На основі цих моделей були вироблені різні варіанти дій на економіку з метою збільшення економічного зростання при різних нормах заощаджень, рівнях інфляції і безробіття.

Запропонований метод групового обліку аргументів ґрунтується на принципі самоорганізації моделей складних, зокрема економічних систем, і дозволяє визначати складні приховані залежності в даних, які не виявляються стандартними статистичними методами. Цей метод успішно використовувався А. І Івахненко для оцінки стану економіки і прогнозування її розвитку в таких країнах, як США, Великобританія, Болгарія і Німеччина. використовував велику кількість незалежних змінних (від п'ятдесяти до двохсот), що описують стан економіки і впливають на валовий дохід в досліджуваних країнах. На основі аналізу цих змінних з використанням методу групового обліку аргументів виявлялися головні, вагомі чинники, з великим ступенем точності визначають значення вихідної змінної (валовий дохід).

Дослідження в цьому напрямку зробили стимулюючий вплив на розвиток нейромережних методів, інтенсивно застосовуються останнім часом в зв'язку з їх здатністю витягувати досвід і знання з невеликої класифікованої послідовності. Нейронні мережі після навчання на таких послідовностях здатні вирішувати складні формалізації завдання так, як це роблять експерти на основі своїх знань і інтуїції. Ці переваги стають особливо значущими в умовах перехідної економіки, для якої характерна нерівномірність темпів розвитку, різні темпи інфляції, невелика тривалість, а також неповнота і суперечливість знань про відбуваються економічних явищах.

Широко відомі роботи, який успішно застосував принципи самоорганізації моделей складних економічних систем для побудови нейронної мережі у вирішенні задач аналізу і моделювання розвитку економіки Мордовії і Пензенської області.

характерний приклад успішного застосування нейронних обчислень у фінансовій сфері управління кредитними ризиками. Як відомо, до видачі кредиту банки проводять складні статистичні розрахунки по фінансовій надійності позичальника, щоб оцінити ймовірність власних збитків від несвоєчасного повернення фінансових коштів. Такі розрахунки зазвичай базуються на оцінці кредитної історії, динаміці розвитку компанії, стабільності її основних фінансових показників та багатьох інших факторів. Один широко відомий банк США випробував метод нейронних обчислень і прийшов до висновку, що те ж завдання по вже виконаним розрахунками подібного роду вирішується швидше і точніше. Наприклад, в одному з випадків оцінки 100 тис. Банківських рахунків нова система, Побудована на базі нейронних обчислень, визначила понад 90% потенційних неплатників.

Інша дуже важлива область застосування нейронних обчислень у фінансовій сфері пророкування ситуації на фондовому ринку. Стандартний підхід до цього завдання базується на жорстко фіксованому наборі "правил гри", які з часом втрачають свою ефективність через зміну умов торгів на фондовій біржі. Крім того, системи, побудовані на основі такого підходу, виявляються занадто повільними для ситуацій, що вимагають миттєвого прийняття рішень. Саме тому основні японські компанії, що оперують на ринку цінних паперів, вирішили застосувати метод нейронних обчислень. В типову систему на базі нейронної мережі ввели інформацію загальним обсягом в 33 роки ділової активності декількох організацій, включаючи оборот, попередню вартість акцій, рівні доходу і т. Д. Самонавчанням на реальних прикладах, система нейронної мережі показала велику точність передбачення і кращу швидкодію: по порівняно зі статистичним підходом дала поліпшення результативності в цілому на 19%.

Одна з найбільш передових методик нейронних обчислень - генетичні алгоритми, що імітують еволюцію живих організмів. Тому вони можуть бути використані як оптимізатор параметрів нейронної мережі. Подібна система для прогнозування результатів контрактів за довгостроковими цінними паперами підвищеної надійності була розроблена і інстальована на робочій станції Sun в компанії Hill Samuel Investment Management. При моделюванні кількох стратегій торгів вона досягла точності 57% в прогнозі напрямку руху ринку. У страховій фірмі TSB General Insurance (Ньюпорт) використовується подібна методика для прогнозу рівня ризику при страхуванні приватних кредитів. Дана нейронна мережа самонавчається на статистичних даних про стан безробіття в країні.

Незважаючи на те, що фінансовий ринок в Росії ще не стабілізований і, розмірковуючи з математичної точки зору, його модель змінюється, що пов'язано з одного боку з очікуванням поступового згортання ринку цінних паперів і збільшення частки фондового ринку, пов'язаного з потоком інвестицій як вітчизняного, так і зарубіжного капіталу, а з іншого - з нестабільністю політичного курсу, все-таки можна помітити появу фірм, які потребують використання статистичних методів, відмінних від традиційних, а також поява на ринку програмних продуктів і обчислювальної техніки нейропакет для емуляції нейронних мереж на комп'ютерах серії IBM і навіть спеціалізованих нейроплата на базі замовних нейрочипів.

Зокрема, в Росії вже успішно функціонує один з перших потужних нейрокомп'ютерів для фінансового застосування - CNAPS PC / 128 на базі 4-х нейроБІС фірми Alaptive Solutions. За даними фірми «Тора-центр» в число організацій, що використовують нейронні мережі для вирішення своїх завдань, вже увійшли - Центробанк, МНС, Податкова Інспекція, більше 30 банків і більше 60 фінансових компаній. Деякі з цих організацій вже опублікували результати своєї діяльності в галузі використання нейрокомпьютинга.

З вищесказаного випливає висновок, що в даний час застосування нейронних мереж при складанні прогнозу короткострокового бюджету є актуальною темою для досліджень.

На закінчення необхідно відзначити, що використання нейронних мереж у всіх областях людської діяльності, в тому числі в області фінансових додатків, рухається по висхідній, почасти за потребою і через широких можливостей для одних, через престижність для інших і через цікавих додатків для третіх.

СПИСОК ЛІТЕРАТУРИ

1. Федеральний закон РФ від 01.01.2001 (зі зм. Від 01.01.2001) «Про державне прогнозування та програмах соціально - економічного розвитку Російської Федерації» [Текст]

2. Бір С. Мозок фірми [Текст] / С. Бір. - М .: Радио и связь, 1993. - 524 с.

3. Галушкин, нейрокомп'ютерів у фінансовій діяльності [Текст] /. - Новосибірськ: Наука, 2002. - 215с.

4., Мюллер прогнозують моделей [Текст] /, - Київ: Техніка, 1985. - 225 с.

5. Клещінскій, методів прогнозування в бюджетному процесі [Текст] / // Електронний журнал Корпоративні фінанси, 2011. - № 3 (19) - С. 71 - 78.

6. Рутковська М., Плінскій Л. Нейронні мережі, генетичні алгоритми та нечіткі системи: Пер. з пол. [Текст] / М. Рутковська, Л. Плінскій -: Гаряча лінія - Телеком, 20с.

7., Костюнін рішень на нейронних мережах оптимальної складності [Текст] /, // Автоматизація та сучасні технології, 1998. - № 4. - С. 38-43.

Федеральне державне освітня установа вищої професійної освіти « Державний університет - навчально-науково-виробничий комплекс ", м Орел

Кандидат технічних наук, доцент, доцент кафедри «Інформаційні системи»

E-mail: ***** @ *** ru

Лапочкіна Крістіна Сергіївна

Федеральне державне освітня установа вищої професійної освіти «Державний університет - навчально-науково-виробничий комплекс", м Орел

Студентка групи 11-ПІ (м)

МІНІСТЕРСТВО СІЛЬСЬКОГО ГОСПОДАРСТВА

РОСІЙСЬКОЇ ФЕДЕРАЦІЇ

ФГБОУ ВПО «Воронезького державного

АГРАРНИЙ УНІВЕРСИТЕТ ІМ. ІМПЕРАТОРА ПЕТРА I »

КАФЕДРА ІНФОРМАЦІЙНОГО ЗАБЕЗПЕЧЕННЯ

І МОДЕЛЮВАННЯ агроекономічний СИСТЕМ

Курсовий проект

на тему : «Проектування автоматизованої інформаційної системи для аналізу ефективності роботи підприємств (на прикладі: підприємств Калачеевском району Воронезької області і підприємства

«ТОВ СП" ПЛЕМІННЕ ПТАХІВНИЧЕ ГОСПОДАРСТВО "ЗАБРОДЕНСКОЕ" »)»

Виконала: студентка БФ-2-7 (БЕ)

Максимова О.І.

Керівник: асистент

Містюкова С.В.

ВОРОНІЖ

ВСТУП .. 3

1 нейронні мережі В ЕКОНОМІЦІ .. 4

1.1 Поняття і основи нейронних штучних мереж .. 4

1.2 Властивості і класифікація нейронних мереж .. 6

1.3 Типи архітектур нейронних мереж. 8

1.4 Використання нейронних мереж в економічних задачах .. 11

2 ПРОЕКТУВАННЯ АВТОМАТИЗОВАНОЇ ІНФОРМАЦІЙНОЇ СИСТЕМИ ДЛЯ АНАЛІЗУ ЕФЕКТИВНОСТІ РОБОТИ ПІДПРИЄМСТВ (НА ПРИКЛАДІ ПІДПРИЄМСТВ Калачеевском району Воронезької ОБЛАСТІ ТА ПІДПРИЄМСТВА ТОВ СП "ПЛЕМІННЕ ПТАХІВНИЧЕ ГОСПОДАРСТВО" ЗАБРОДЕНСКОЕ ". 17

2.1 Пояснювальна записка .. 17

2.2 Проектування форм документів. 18

2.3 Інформаційно-логічна модель. 22

2.4 Алгоритм функціонування інформаційної системи .. 25

2.5 Інструкція для користувача. 26

Висновки і пропозиції .. 30

Список використаної літератури ... 32

ДОДАТКИ .. 33

ВСТУП

Нейронні мережі являють собою нову і дуже перспективну обчислювальну технологію, що дає нові підходи до дослідження динамічних задач в економічній області. Спочатку нейронні мережі відкрили нові можливості в області розпізнавання образів, потім до цього додалися статистичні і засновані на методах штучного інтелекту засоби підтримки прийняття рішень і вирішення завдань у сфері економіки.

Здатність до моделювання нелінійних процесів, роботи з зашумленими даними і адаптивність дають можливості застосовувати нейронні мережі для вирішення широкого класу задач. В останні кілька років на основі нейронні мереж було розроблено багато програмних систем для застосування в таких питаннях, як операції на товарному ринку, оцінка ймовірності банкрутства банку, оцінка кредитоспроможності, контроль за інвестиціями, розміщення позик.

Метою даного курсового проекту є розробка автоматизованої інформаційної системи для аналізу ефективності роботи підприємств.

При створенні АІС, для аналізу ефективності роботи підприємств, необхідно вирішити такі завдання:

1. Розглянути поняття, властивості, класифікацію, типи і економічне застосування нейронних мереж.

2. Вивчити склад і функції автоматизованих інформаційних систем; вивчити теоретичні основи проектування АІС;

3. Освоїти роботу з основними видами прикладного програмного забезпечення, Що використовується для реалізації АІС;

4. Спроектувати форми вхідних, проміжних і вихідних документів;

5. Побудувати інформаційно-логічну модель;

6. Розробити алгоритм функціонування;

7. Скласти інструкцію для користувача.

У процесі виконання курсового проекту використані такі наукові методи як моделювання, опис, аналіз, синтез, розрахунково-конструктивний метод.

Технічні засоби, Які використовувалися для реалізації поставленої мети - персональний комп'ютер з операційною системою Windows XP, клавіатурою і мишкою.

АІС розроблялася в табличному процесорі MS Excel. Опис виконаної роботи проводилося в текстовому процесорі MS Word.

Нейронні мережі В ЕКОНОМІЦІ

Мал. 13.12. Мал. 13.13. Мал. 13.14. Мал. 13.15. Мал. 13.16. Мал. 13.17. Мал. 13.18. Мал. 13.19. Мал. 13.20. Мал. 13.21. Мал. 13.22. Мал. 13.23. Мал. 13.24. Мал. 13.25. Мал. 13.26. Мал. 13.28. Загальна технологічна схема обробки даних

Повсякденна практика фінансових ринків знаходиться в цікавому протиріччі з академічної точки зору, згідно з якою зміни цін фінансових активів відбуваються миттєво, без будь-яких зусиль ефективно відбиваючи всю доступну інформацію. Існування сотень маркет-мейкерів, трейдерів і фондових менеджерів, робота яких полягає в тому, щоб робити прибуток, говорить про те, що учасники ринку вносять певний вклад в загальну інформацію. Більш того, так як ця робота коштує дорого, то і обсяг привнесеної інформації повинен бути значним.

Існування сотень маркет-мейкерів, трейдерів і фондових менеджерів на фінансових ринках говорить про те, що всі вони обробляють фінансову інформацію і приймають рішення.

Важче відповісти на питання про те, як конкретно на фінансових ринках виникає і використовується інформація, яка може приносити прибуток. Дослідження майже завжди показують, що ніяка стійка стратегія торгівлі не дає постійного прибутку, і це, в усякому разі, так, якщо враховувати ще й витрати на укладення угод. Добре відомо також, що учасники ринку (і весь ринок в цілому) можуть приймати абсолютно різні рішення виходячи з подібною або навіть постійної інформації.

Учасники ринку в своїй роботі, мабуть, не обмежуються лінійними заможними правилами прийняття рішень, а мають в запасі кілька сценаріїв дій, і те, який з них пускається в хід, залежить часом від зовнішніх непомітних ознак. Один з можливих підходів до багатовимірним і часто нелінійним інформаційним рядах фінансового ринку полягає в тому, щоб по можливості наслідувати зразкам поведінки учасників ринку, використовуючи такі методи штучного інтелекту, як експертні системи або нейронні мережі.

На моделювання процесів прийняття рішень цими методами було витрачено багато зусиль. Виявилося, однак, що експертні системи в складних ситуаціях добре працюють лише тоді, коли системі властива внутрішня стационарность (тобто коли на кожен вхідний вектор є єдиний не змінний з часом відповідь). Під такий опис в якійсь мірі підходять завдання комплексної класифікації або розподілу кредитів, але воно представляється абсолютно непереконливим для фінансових ринків з їх безперервними структурними змінами. У випадку з фінансовими ринками навряд чи можна стверджувати, що можна досягти повного або хоча б певною мірою адекватного знання про дану предметної області, в той час як для експертних систем з алгоритмами, заснованими на правилах, це - звичайна вимога.

Нейронні мережі пропонують абсолютно нові багатообіцяючі можливості для банків і інших фінансових інститутів, яким за родом своєї діяльності доводиться вирішувати завдання в умовах невеликих апріорних знань про середовище. Характер фінансових ринків драматичним чином змінюється з тих пір, як внаслідок ослаблення контролю, приватизації та появи нових фінансових інструментів національні ринки злилися в загальносвітові, а в більшості секторів ринку зросла свобода фінансових операцій. Очевидно, що самі основи управління ризиком і доходом не могли не зазнати змін, якщо можливості диверсифікації і стратегії захисту від ризику змінилися до невпізнання.

Однією зі сфер застосування нейронних мереж для ряду провідних банків стала проблема змін позиції долара США на валютному ринку при великій кількості незмінних об'єктивних показників. Можливості такого застосування полегшуються тим, що є величезні бази економічних даних, - адже складні моделі завжди ненажерливі щодо інформації.

Котирування облігацій і арбітраж - ще одна область, де завдання розширення і звуження ризику, різниці в процентних ставках і ліквідності, глибини і ліквідності ринку є сприятливим матеріалом для потужних обчислювальних методів.

Ще однією проблемою, значення якої останнім часом зростає, є моделювання потоків коштів між інституційними інвесторами. Падіння процентних ставок зіграло вирішальну роль в підвищенні привабливості інвестиційних фондів відкритого типу і індексних фондів, а наявність опціонів і ф'ючерсів на їх акції дозволяє купувати їх з повною або частковою гарантією.

Очевидно, що завдання оптимізації в умовах, коли число часткових обмежень рівноваги нескінченно (наприклад, на ф'ючерсному та готівковому ринку будь-якого товару в будь-якому секторі ринку відіграють роль перехресні різниці процентних ставок), стає проблемою надзвичайної складності, все більше виходить за рамки можливостей будь-якого трейдера.

В таких обставинах трейдери і, отже, будь-які системи, які прагнуть описати їх поведінку, в кожен момент часу повинні будуть зосереджувати увагу на зменшенні розмірності задачі. Добре відомо таке явище, як цінний папір підвищеного попиту.

Коли мова йде про фінансовий сектор, можна з упевненістю стверджувати, що перші результати, отримані при застосуванні нейронних мереж, є вельми обнадійливими, і дослідження в цій області потрібно розвивати. Як це вже було з експертними системами, може знадобитися кілька років, перш ніж фінансові інститути досить упевняться в можливостях нейронних мереж і стануть використовувати їх на повну потужність.

Характер розробок в області нейронних мереж принципово відрізняється від експертних систем: останні побудовані на твердженнях типу «якщо ..., то ...», які напрацьовуються в результаті тривалого процесу навчання системи, а прогрес досягається, головним чином, за рахунок більш вдалого використання формально-логічних структур. В основі нейронних мереж лежить переважно-поведінковий підхід до розв'язуваної задачі: мережа «вчиться на прикладах» і підлаштовує свої параметри за допомогою так званих алгоритмів навчання через механізм зворотного зв'язку.

РІЗНІ ВИДИ штучних нейронів

Штучним нейроном (рис. 13.1) називається простий елемент, спочатку обчислює зважену суму V вхідних величин формула "src \u003d" http://hi-edu.ru/e-books/xbook725/files/13.1.gif "border \u003d" 0 " align \u003d "absmiddle" alt \u003d "(! LANG:(13.1)

Тут N- розмірність простору вхідних сигналів.

Потім отримана сума порівнюється з пороговою величиною (або bias) формула "src \u003d" http://hi-edu.ru/e-books/xbook725/files/18.gif "border \u003d" 0 "align \u003d" absmiddle "alt \u003d "(! LANG: у зваженій сумі (1) зазвичай називають синаптическими коефіцієнтами або вагами. Саму ж зважену суму V ми будемо називати потенціалом нейрона i. Вихідний сигнал тоді має вигляд f (V).

Величину порогового бар'єру можна розглядати як ще один ваговий коефіцієнт при постійному вхідному сигналі. В цьому випадку ми говоримо про розширеному вхідному просторі: Нейрон з N -мірним входом має N + 1 ваговій коеффіціент..2.gif "border \u003d" 0 "align \u003d" absmiddle "alt \u003d" (! LANG:(13.2)

Залежно від способу перетворення сигналу і характеру функції активації виникають різні види нейронних структур. Ми будемо розглядати тільки детерміновані нейрони (в протилежність імовірнісним нейронам, Стан яких в момент t є випадкова функція потенціалу та стану в момент t-1). Далі, ми будемо розрізняти статичні нейрони- такі, в яких сигнал передається без затримки, - і динамічні, де враховується можливість таких затримок, враховується ( «Синапси з запізненням»).

РІЗНІ ВИДИ ФУНКЦІЇ АКТИВАЦІЇ

Функції активації f можуть бути різних видів:

Формула "src \u003d" http://hi-edu.ru/e-books/xbook725/files/20.gif "border \u003d" 0 "align \u003d" absmiddle "alt \u003d" (! LANG:, Крутизну b можна врахувати через величини ваг і порогів, і без обмеження спільності можна вважати її рівною одиниці.

Можливо також визначити нейрони без насичення, які беруть на виході безперервне безліч значень. У задачах класифікації вихідне значення може визначатися порогом - при прийнятті єдиного рішення, - або бути вероятностним- при визначенні приналежності до класу. Щоб врахувати особливості конкретного завдання, можуть бути обрані різні інші види функції активації - гауссова, синусоїдальна, сплески (wavelets) і т.д.

Нейронні мережі З ПРЯМОЇ ЗВ'ЯЗКОМ

Ми будемо розглядати два види нейронних мереж: статичні, які також часто називають мережами з прямим зв'язком (feed-forward), і динамічні, або рекурентні мережі. У цьому розділі ми займемося Статичними мережами. Мережі інших видів будуть коротко розглянуті пізніше.

Нейронні мережі з прямим зв'язком складаються з статичних нейронів, так що сигнал на виході мережі з'являється в той же момент, коли подаються сигнали на вхід. Організація (топологія) мережі може бути різною. Якщо не всі складові її нейрони є вихідними, кажуть, що мережа містить приховані нейрони. Найбільш загальний тип архітектури мережі виходить в разі, коли всі нейрони пов'язані один з одним (але без зворотного зв'язку). У конкретних задачах нейрони зазвичай бувають згруповані в шари. На рис. 13.2 показана типова схема нейронної мережі з прямим зв'язком з одним прихованим шаром.

Цікаво відзначити, що, згідно з теоретичними результатами, нейронні мережі з прямим зв'язком і з сігмоідной функціями є універсальним засобом для наближення (апроксимації) функцій. Точніше кажучи, будь-яку вещественнозначную функцію декількох змінних на компактній області визначення можна як завгодно точно наблизити за допомогою тришарової мережі. При цьому, правда, ми не знаємо ні розмірів мережі, яка для цього буде потрібно, ні значень ваг. Більш того, з докази цих результатів видно, що число прихованих елементів необмежено зростає при збільшенні точності наближення. Мережі з прямим зв'язком, дійсно, можуть служити універсальним засобом для апроксимації, але немає ніякого правила, що дозволяє знайти оптимальну топологію мережі для даного завдання.

Таким чином, завдання побудови нейронної мережі є нетривіальною. Питання про те, скільки потрібно взяти прихованих шарів, скільки елементів в кожному з них, скільки зв'язків і які навчальні параметри, в наявній літературі, як правило, трактуються полегшено.

На етапі навчання відбувається обчислення синаптичних коефіцієнтів в процесі вирішення нейронною мережею задач (класифікації, передбачення часових рядів і ін.), В яких потрібний відповідь визначається не за правилами, а за допомогою прикладів, згрупованих в навчальні множини. Таке безліч складається з низки прикладів із зазначеним для кожного з них значення вихідного параметра, яке було б бажано отримати. Дії, які при цьому відбуваються, можна назвати контрольованим навчанням: «Вчитель» подає на вхід мережі вектор вихідних даних, а на вихідний вузол повідомляє бажане значення результату обчислень. Контрольоване навчання нейронної мережі можна розглядати як рішення оптимізаційної задачі. Її метою є мінімізація функції помилок, або невязки, Е на даній безлічі прикладів шляхом вибору значень ваг W.

КРИТЕРІЇ ПОМИЛОК

Метою процедури мінімізації є відшукання глобального мінімуму - досягнення його називається збіжністю процесу навчання. Оскільки невязка залежить від ваг нелінійно, отримати рішення в аналітичній формі неможливо, і пошук глобального мінімуму здійснюється за допомогою ітераційного процесу - так званого навчального алгоритму, Який досліджує поверхню невязки і прагне виявити на ній точку глобального мінімуму. Зазвичай в якості запобіжного похибки береться середня квадратична помилка (MSE), яка визначається як сума квадратів різниць між бажаною величиною виходу формула "src \u003d" http://hi-edu.ru/e-books/xbook725/files/22.gif " border \u003d "0" align \u003d "absmiddle" alt \u003d "(! LANG:для кожного прикладу к.

приклад "\u003e критерієм максимуму правдоподібності:

приклад "\u003e« епохи »). Зміна ваг відбувається в напрямку, протилежному до напряму найбільшої крутизни для функції вартості:

- визначений користувачем параметр, який називається величиною градиентного кроку або коефіцієнтом навчання.

Інший можливий метод носить назву стохастичного градієнтного.

У ньому ваги перераховуються після кожного прорахунку всіх прикладів з одного навчальної множини, і при цьому використовується часткова функція вартості, що відповідає цьому, наприклад k-му, безлічі:

підзаголовок "\u003e

ЗВОРОТНЕ ПОШИРЕННЯ ПОМИЛКИ

Розглянемо тепер найбільш поширений алгоритм навчання нейронних мереж з прямим зв'язком - алгоритм зворотного поширення помилки (Backpropagation, BP), що представляє собою розвиток так званого узагальненого дельта-правила. Цей алгоритм був заново відкритий і популяризував в 1986 р Ру-мельхартом і Макклеланд зі знаменитої Групи з вивчення паралельних розподілених процесів в Массачусетському технологічному інституті. У цьому пункті ми більш детально розглянемо математичну суть алгоритму. Він є алгоритмом градієнтного спуску, які мінімізують сумарну квадратичну помилку:

формула "src \u003d" http://hi-edu.ru/e-books/xbook725/files/24.gif "border \u003d" 0 "align \u003d" absmiddle "alt \u003d" (! LANG:. Обчислення приватних похідних здійснюється за правилом ланцюга: вага входу j-го нейрона, що йде від j-гo нейрона, перераховується по формулі

формула "src \u003d" http://hi-edu.ru/e-books/xbook725/files/23.gif "border \u003d" 0 "align \u003d" absmiddle "alt \u003d" (! LANG:- довжина кроку в напрямку, протилежному до градієнту.

Якщо розглянути окремо k-й зразок, То відповідну зміну ваг одно

обчислюється через аналогічні множники з наступного шару, і помилка, таким чином, передається в зворотному напрямку.

Для вихідних елементів ми отримуємо:

формула "src \u003d" http://hi-edu.ru/e-books/xbook725/files/25.gif "border \u003d" 0 "align \u003d" absmiddle "alt \u003d" (! LANG:визначається так:

формула "src \u003d" http://hi-edu.ru/e-books/xbook725/files/13.14.gif "border \u003d" 0 "align \u003d" absmiddle "alt \u003d" (! LANG:(13.14)

отримуємо:

приклад "\u003e стохастичною варіанті ваги перераховуються кожен раз після прорахунку чергового зразка, а в« епохальному », або off-line варіанті, ваги змінюються після прорахунку всього навчальної множини.

Інший часто вживаний прийом полягає в тому, що при визначенні напрямку пошуку до поточного градієнту додається поправка - вектор зміщення попереднього кроку, взятий з деяким коефіцієнтом. Можна сказати, що враховується вже наявний імпульс руху. Остаточна формула для зміни ваг виглядає так:

формула "src \u003d" http://hi-edu.ru/e-books/xbook725/files/26.gif "border \u003d" 0 "align \u003d" absmiddle "alt \u003d" (! LANG:- число в інтервалі (0,1), яке задається користувачем.

Часто значенням підзаголовок "\u003e

ІНШІ АЛГОРИТМИ НАВЧАННЯ

Нарешті, останнім часом користуються успіхом так звані генетичні алгоритми, В яких набір ваг розглядається як індивід, здатний до мутацій і схрещування, а в якості показника його «якості» береться критерій помилки. У міру того як народжуються нові покоління, дедалі ймовірнішим стає поява оптимального індивіда.

У фінансових додатках дані зашумлені особливо сильно. Наприклад, укладення угод може реєструватися в базі даних із запізненням, причому в різних випадках-з різним. Пропуск значень або неповну інформацію також іноді розглядають як шум: в таких випадках береться середнє або оптимальне значення, і це, звичайно, призводить до зашумлення бази даних. Негативно позначається на навчанні неправильне визначення класу об'єкта в задачах розпізнавання - це погіршує здатність системи до узагальнення при роботі з новими (тобто не входили в число зразків) об'єктами.

ПЕРЕХРЕСНЕ ПІДТВЕРДЖЕННЯ

Для того щоб усунути свавілля в розбитті бази даних, можуть бути застосовані методи повторних проб. Розглянемо один з таких методів, який називається перехресним підтвердженням. Його ідея полягає в тому, щоб випадковим чином розбити базу даних на q попарно не перетинаються підмножин. Потім проводиться q навчань на (q -1) безлічі, а помилка обчислюється по залишився безлічі. Якщо q досить велике, наприклад дорівнює 10, кожне навчання задіює більшу частину вихідних даних. Якщо процедура навчання надійна, то результати по q різним моделям повинні бути дуже близькі один до одного. Після цього підсумкова характеристика визначається як середнє всіх отриманих значень помилки. На жаль, при застосуванні цього методу обсяг обчислень часто виявляється дуже великим, так як існує потреба у проведенні q навчань, і в реальному додатку з більшою розмірністю це може бути неможливо. У граничному випадку, коли q \u003d Р, де Р - загальне число прикладів, метод називається перехресним підтвердженням з одним в залишку. Такий метод оцінки має зсув, і розроблений метод «Складного ножа», Що зменшує цей недолік ціною ще більшого обсягу обчислень.

Наступний клас нейронних мереж, який ми розглянемо, - динамічні або рекурентні, мережі. Вони побудовані з динамічних нейронів, чия поведінка описується диференціальними або різницевими рівняннями, як правило, першого порядку. Мережа організована так, що кожен нейрон отримує вхідну інформацію від інших нейронів (можливо, і від себе самого) і з навколишнього середовища. Цей тип мереж має важливе значення, так як з його допомогою можна моделювати нелінійні динамічні системи. Це - досить загальна модель, яку потенційно можна використовувати в самих різних додатках, наприклад: асоціативна пам'ять, нелінійна обробка сигналів, моделювання кінцевих автоматів, ідентифікація систем, завдання управління.

Нейронні мережі з тимчасовою затримкою

Перед тим, як описати власне динамічні мережі, розглянемо, як мережа з прямим зв'язком використовується для обробки часових рядів. Метод полягає в тому, щоб розбити тимчасової ряд на кілька відрізків і отримати таким чином статистичний зразок для подачі на вхід багатошарової мережі з прямим зв'язком. Це здійснюється за допомогою так званої розгалуженої лінії затримки (див. Рис. 13.3).

Архітектура такої нейронної мережі з тимчасовою затримкою дозволяє моделювати будь-яку кінцеву тимчасову залежність виду:

підзаголовок "\u003e

МЕРЕЖІ Хопфілд

За допомогою рекурентних мереж Хопфілда можна обробляти невпорядковані (рукописні літери), впорядковані в часі (часові ряди) або просторі (графіки, граматики) зразки (рис. 13.4). Рекурентна нейронна мережа найпростішого виду введена Хопфілд; вона побудована з N нейронів, пов'язаних кожен з кожним, причому всі нейрони є вихідними.

Мережі такої конструкції використовуються, головним чином, в якості асоціативної пам'яті, а також в задачах нелінійної фільтрації даних і граматичного виводу. Крім цього, нещодавно вони були застосовані для прогнозування і для розпізнавання закономірностей в поведінці цін акцій.

Введену Кохоненом «самоорганізується карту ознак» можна розглядати як варіант нейронної мережі. Мережа такого типу розрахована на самостійне навчання: Під час навчання повідомляти їй правильні відповіді необов'язково. В процесі навчання на вхід мережі подаються різні зразки. Мережа вловлює особливості їх структури і розділяє зразки на 436 кластери, а вже отримана мережа відносить кожен знову надходить приклад до одного з кластерів, керуючись деяким критерієм «близькості».

Мережа складається з одного вхідного і одного вихідного шару. Кількість елементів у вихідному шарі безпосередньо визначає, скільки кластерів мережа може розпізнавати. Кожен з вихідних елементів отримує на вхід весь вхідний вектор. Як і у всякій нейронної мережі, кожному зв'язку приписаний певний синоптичний вага. У більшості випадків кожен вихідний елемент з'єднаний також зі своїми сусідами. ці внутрішні зв'язки грають важливу роль в процесі навчання, так як коригування ваги відбувається тільки в околиці того елемента, який найкращим чином відгукується на черговий вхід.

Вихідні елементи змагаються між собою за право вступити в дію і «отримати урок». Виграє той з них, чий вектор ваг виявиться ближче всіх до вхідного вектора в сенсі відстані, що визначається, наприклад, евклідової метрикою. У елемента-переможця яку буде менше, ніж у всіх інших. На поточному етапі навчання міняти ваги дозволяється тільки елементу-переможцю (і, може бути, його безпосереднім сусідам); ваги інших елементів при цьому як би заморожено. Що виграв елемент замінює свій ваговий вектор, трохи переміщаючи його в бік вхідного вектора. Після навчання на достатній кількості прикладів сукупність вагових векторів з більшою точністю приходить у відповідність зі структурою вхідних прикладів - вектори ваг в буквальному сенсі моделюють розподіл вхідних зразків.

Мал. 13.5. Самоорганізована мережу Кохонена. Зображені тільки зв'язку, що йдуть в i-й вузол. Околиця вузла показана пунктиром

Очевидно, для правильного розуміння мережею вхідного розподілу потрібно, щоб кожен елемент мережі ставав переможцем однакове число раз - вагові вектори повинні бути рівноімовірними.

Перед початком роботи мережі Кохонена потрібно зробити дві речі:

вектори величини повинні бути випадково розподілені по одиничній сфері;

всі вагові та вхідні вектори повинні бути унормовані на одиницю.

Мережа із зустрічним поширенням(CPN, Counterpropagation Network) поєднує в собі властивості самоорганізується мережі Кохонена та концепцію Oustar - мережі Гроссберга. В рамках цієї архітектури елементи шару мережі Кохонена не має прямого виходу в зовнішній світ, а служать входами для вихідного шару, в якому зв'язків адаптивно надаються ваги Гроссберга. Ця схема виникла з робіт Хехта - Нільсена. CPN-мережу націлена на поступову побудову шуканого відображення входів в виходи на основі прикладів дії такого відображення. Мережа добре вирішує завдання, де потрібно здатність адаптивно будувати математичне відображення по його точних значень в окремих точках.

Мережі даного виду успішно застосовуються в таких фінансових і економічних додатках, як розгляд заявок на надання позик, передбачення трендів цін акцій, товарів і курсів обміну валют. Кажучи узагальнено, можна очікувати успішного застосування CPN-мереж в задачах, де потрібно витягати знання з великих обсягів даних.

Практичне застосування нейронних мереж ДЛЯ ЗАДАЧ КЛАСИФІКАЦІЇ (КЛАСТЕРИЗАЦІЇ)

Рішення завдання класифікації є одним з найважливіших застосувань нейронних мереж. Завдання класифікації представляє собою завдання віднесення зразка до одного з декількох попарно непересічних множин. Прикладом таких завдань може бути, наприклад, завдання визначення кредитоспроможності клієнта банку, медичні завдання, в яких необхідно визначити, наприклад, результат захворювання, рішення задач управління портфелем цінних паперів (продати, купити або «притримати» акції в залежності від ситуації на ринку), задача визначення життєздатних і схильних до банкрутства фірм.

МЕТА КЛАСИФІКАЦІЇ

При вирішенні задач класифікації необхідно віднести наявні статичні зразки (Характеристики ситуації на ринку, дані медогляду, інформація про клієнта) до певним класам. Можливі кілька способів подання даних. Найбільш поширеним є спосіб, при якому зразок видається вектором. Компоненти цього вектора є різні характеристики зразка, які впливають на прийняття рішення про те, до якого класу можна віднести даний зразок. Наприклад, для медичних завдань в якості компонентів цього вектора можуть бути дані з медичної карти хворого. Таким чином, на підставі деякої інформації про приклад, необхідно визначити, до якого класу його можна віднести. Класифікатор таким чином відносить об'єкт до одного з класів відповідно до визначеного розбиттям N-мірного простору, яке називається простором входів, І розмірність цього простору є кількістю компонент вектора.

Перш за все, потрібно визначити рівень складності системи. В реальних задачах часто виникає ситуація, коли кількість зразків обмежено, що ускладнює визначення складності завдання. Можливо виділити три основні рівні складності. Перший (найпростіший) - коли класи можна розділити прямими лініями (або гіперплоскостямі, якщо простір входів має розмірність більше двох) - так звана лінійна роздільність. У другому випадку класи неможливо розділити лініями (площинами), але їх можна виділити за допомогою більш складного поділу - нелінійна роздільність. У третьому випадку класи перетинаються, і можна говорити тільки про ймовірнісної разделимости.

Мал. 13.6. Лінійно і нелінійно разделімие класи

В ідеальному варіанті після попередньої обробки ми повинні отримати лінійно роздільна завдання, так як після цього значно спрощується побудова класифікатора. На жаль, при вирішенні реальних завдань ми маємо обмежену кількість зразків, на підставі яких і проводиться побудова класифікатора. При цьому ми не можемо провести таку предобработку даних, при якій буде досягнута лінійна роздільність зразків.

ВИКОРИСТАННЯ нейронних мереж ЯК КЛАСИФІКАТОРА

Мережі з прямим зв'язком є \u200b\u200bуніверсальним засобом апроксимації функцій, що дозволяє їх використовувати в рішенні задач класифікації. Як правило, нейронні мережі виявляються найбільш ефективним способом класифікації, тому що генерують фактично велике число регресійних моделей (які використовуються в рішенні задач класифікації статистичними методами).

На жаль, в застосуванні нейронних мереж в практичних завданнях виникає ряд проблем. По-перше, заздалегідь невідомо, якої складності (розміру) може знадобитися мережу для досить точної реалізації відображення. Ця складність може виявитися надмірно високою, що потребують складної архітектури мереж. Так, Мінський в своїй роботі «Персептрони» довів, що найпростіші одношарові нейронні мережі здатні вирішувати тільки лінійно роздільні завдання. Це обмеження можна подолати при використанні багатошарових нейронних мереж. У загальному вигляді можна сказати, що в мережі з одним прихованим шаром вектор, відповідний вхідному зразком, перетворюється прихованим шаром в якийсь новий простір, яке може мати іншу розмірність, а потім гиперплоскости, відповідні нейронам вихідного шару, поділяють його на класи. Таким чином мережа розпізнає не тільки характеристики вихідних даних, але і «характеристики характеристик», сформовані прихованим шаром.

ПІДГОТОВКА ВИХІДНИХ ДАНИХ

Для побудови класифікатора необхідно визначити, які параметри впливають на прийняття рішення про те, до якого класу належить зразок. При цьому можуть виникнути дві проблеми. По-перше, якщо кількість параметрів мало, то може виникнути ситуація, при якій один і той же набір вихідних даних відповідає прикладів, які перебувають в різних класах. Тоді неможливо навчити нейронну мережу, і система не буде коректно працювати (неможливо знайти мінімум, який відповідає такому набору вихідних даних). Вихідні дані обов'язково повинні бути несуперечливі. Для вирішення цієї проблеми необхідно збільшити розмірність простору ознак (кількість компонент вхідного вектора, відповідного зразку). Але при збільшенні розмірності простору ознак може виникнути ситуація, коли число прикладів може стати недостатнім для навчання мережі, і вона замість узагальнення просто запам'ятає приклади з навчальної вибірки і не зможе коректно функціонувати. Таким чином, при визначенні ознак необхідно знайти компроміс з їх кількістю.

Далі необхідно визначити спосіб представлення вхідних даних для нейронної мережі, тобто визначити спосіб нормування. Нормировка необхідна, оскільки нейронні мережі працюють з даними, представленими числами в діапазоні 0..1, а вихідні дані можуть мати довільний діапазон або взагалі бути нечисловими даними. При цьому можливі різні способи, починаючи від простого лінійного перетворення в необхідний діапазон і закінчуючи багатовимірним аналізом параметрів і нелінійної нормування в залежності від впливу параметрів один на одного.

КОДИРОВАНИЕ ВИХІДНИХ ЗНАЧЕНЬ

Завдання класифікації при наявності двох класів може бути вирішена на мережі з одним нейроном у вихідному шарі, який може приймати одне з двох значень 0 або 1 в залежності від того, до якого класу принад-440 лежить зразок. При наявності декількох класів виникає проблема, пов'язана з поданням цих даних для виходу мережі. Найбільш простим способом представлення вихідних даних в такому випадку є вектор, компоненти якого відповідають різним номерам класів. При цьому i-я компонента вектора відповідає i-му класу. Всі інші компоненти при цьому встановлюються в 0. Тоді, наприклад, другого класу буде відповідати 1 на 2 виході мережі і 0 на інших. При інтерпретації результату зазвичай вважається, що номер класу визначається номером виходу мережі, на якому з'явилося максимальне значення. Наприклад, якщо в мережі з трьома виходами, ми маємо вектор вихідних значень (0,2; 0,6; 0,4), і бачимо, що максимальне значення має друга компонента вектора, значить клас, до якого належить цей приклад, - 2 . При такому способі кодування іноді вводиться також поняття впевненості мережі в тому, що приклад відноситься до цього класу. Найбільш простий спосіб визначення впевненості полягає у визначенні різниці між максимальним значенням виходу і значенням іншого виходу, яке є найближчим до максимального. Наприклад, для розглянутого вище прикладу впевненість мережі в тому, що приклад відноситься до другого класу, визначиться як різниця між другою і третьою компонентою вектора і дорівнює 0.6-0.4 \u003d 0.2. Відповідно, чим вище впевненість, тим більша ймовірність того, що мережа дала правильну відповідь. Цей метод кодування є найпростішим, але не завжди найоптимальнішим способом представлення даних.

Відомі й інші способи. Наприклад, вихідний вектор являє собою номер кластера, записаний в двійковій формі. Тоді при наявності 8 класів нам буде потрібно вектор з 3 елементів, і, скажімо, 3 класу буде відповідати вектор 011. Але при цьому в разі отримання невірного значення на одному з виходів ми можемо отримати невірну класифікацію (невірний номер кластера), тому має сенс збільшити відстань між двома кластерами за рахунок використання кодування виходу за кодом Хеммінга, який підвищить надійність класифікації.

Інший підхід полягає в розбитті завдання з до класами на k * (k-l) / 2 подзадач з двома класами (2 на 2 кодування) кожна. Під підзадачею в даному випадку розуміється то, що мережа визначає наявність однієї з компонент вектора. Тобто вихідний вектор розбивається на групи по два компонента в кожній таким чином, щоб в них увійшли всі можливі комбінації компонент вихідного вектора. Число цих груп можна визначити як кількість невпорядкованих вибірок по два з вихідних компонент.

352 "border \u003d" 0 "\u003e

№ підзадачі (виходу) компоненти виходу 1 1-2 2 1-3 3 1-4 4 2-3 5 2-4 6 3-4

Де 1 на виході говорить про наявність однієї з компонент. Тоді ми можемо перейти до номера класу по результату розрахунку мережею наступним чином: визначаємо, які комбінації отримали одиничне (точніше близьке до одиниці) значення виходу (тобто які підзадачі у нас активувалися), і вважаємо, що номер класу буде той, який увійшов до найбільша кількість активованих подзадач (див. таблицю).

Документ без назви

Це кодування в багатьох задачах дає кращий результат, ніж класичний спосіб кодування.

імовірнісний КЛАСИФІКАЦІЯ

При статистичному розпізнаванні образів оптимальний класифікатор відносить зразок формула "src \u003d" http://hi-edu.ru/e-books/xbook725/files/1.gif "border \u003d" 0 "align \u003d" absmiddle "alt \u003d" (! LANG:

віднести формула "src \u003d" http://hi-edu.ru/e-books/xbook725/files/4.gif "border \u003d" 0 "align \u003d" absmiddle "alt \u003d" (! LANG:відноситься до групи, яка має найбільшу апостеріорну ймовірність. Це правило оптимально в тому сенсі, що воно мінімізує середнє число неправильних классіфікацій..gif "border \u003d" 0 "align \u003d" absmiddle "alt \u003d" (! LANG:

то Байєсова співвідношення між апріорної і апостеріорної ймовірністю зберігає силу, і тому ці функції можна використовувати в якості спрощених вирішальних функцій. Так має сенс робити, якщо ці функції будуються і обчислюються більш просто.

Хоча правило виглядає дуже простим, застосувати його на практиці виявляється важко, так як бувають невідомі апостеріорні ймовірності (або навіть значення спрощених вирішальних функцій). Їх значення можна оцінити. В силу теореми Байеса апостеріорні ймовірності можна виразити через апріорні ймовірності і функції щільності за формулою формула "src \u003d" http://hi-edu.ru/e-books/xbook725/files/8.gif "border \u003d" 0 "align \u003d "absmiddle" alt \u003d "(! LANG:.

КЛАСИФІКАТОРИ ОБРАЗІВ

Апріорну щільність ймовірності можна оцінити різними способами. В параметричних методах передбачається, що щільність ймовірності (PDF) є функцією певного виду з невідомими параметрами. Наприклад, можна спробувати наблизити PDF за допомогою гауссових функції. Для того щоб зробити класифікацію, потрібно попередньо отримати оціночні значення для вектора середнього і матриці ковариаций по кожному з класів даних і потім використовувати їх у вирішальному правилі. В результаті вийде поліноміальний вирішальне правило, що містить тільки квадрати і попарні твори змінних. Вся описана процедура називається квадратичним дискримінантний аналізом (QDA). У припущенні, що матриці ковариаций у всіх класів однакові, QDA зводиться до лінійному дискримінантного аналізу(LDA).

У методах іншого типу - непараметрических- ніяких попередніх припущень про щільність ймовірності не потрібно. У методі «до найближчих сусідів» (NN) обчислюється відстань між знову надійшли зразком і векторами навчальної множини, після чого зразок відноситься до того класу, до якого належить більшість з до його найближчих сусідів. В результаті цього кордону, що розділяють класи, виходять кусочно лінійними. У різних модифікаціях цього методу використовуються різні заходи відстані і спеціальні прийоми знаходження сусідів. Іноді замість самого безлічі зразків береться сукупність Центроїд, відповідних кластерів у методі адаптивного векторного квантування (LVQ).

В інших методах класифікатор розбиває дані на групи за схемою дерева. На кожному кроці підгрупа розбивається надвоє, і в результаті виходить ієрархічна структура бінарного дерева. Розділяють кордону виходять, як правило, кусочно лінійними і відповідають класам, що складається з одного або декількох листя дерева. Цей метод хороший тим, що він породжує метод класифікації, заснований на логічних вирішальних правилах. Ідеї \u200b\u200bдеревовидних класифікаторів застосовуються в методах побудови самонаращівающіхся нейронних класифікаторів.

Нейронна мережа З ПРЯМОЇ ЗВ'ЯЗКОМ ЯК КЛАСИФІКАТОР

Оскільки мережі з прямим зв'язком є \u200b\u200bуніверсальним засобом апроксимації функцій, з їх допомогою можна оцінити апостеріорні ймовірності в даній задачі класифікації. Завдяки гнучкості в побудові відображення можна домогтися такої точності апроксимації апостеріорного ймовірностей, що вони практично будуть збігатися зі значеннями, обчисленими за правилом Байеса (так звані оптимальні процедури класифікації.

ЗАВДАННЯ АНАЛІЗУ часових рядів

Часовий ряд - це впорядкована послідовність дійсних чисел формула "src \u003d" http://hi-edu.ru/e-books/xbook725/files/10.gif "border \u003d" 0 "align \u003d" absmiddle "alt \u003d" (! LANG:в n-вимірному просторі зсунутих в часі значень, або просторі затримки.

Мета аналізу часових рядів - витягти з даного ряду корисну інформацію. Для цього необхідно побудувати математичну модель явища. Така модель повинна пояснювати істота процесу, що породжує дані, зокрема-описувати характер даних (випадкові, мають тренд, періодичні, стаціонарні і т.п.). Після цього можна застосовувати різні методи фільтрації даних (згладжування, видалення викидів та ін.) З кінцевою метою - передбачити майбутні значення.

Таким чином, цей підхід заснований на припущенні, що часовий ряд має деяку математичну структуру (яка, наприклад, може бути наслідком фізичної суті явища). Ця структура існує в так званому фазовому просторі, Координати якого - це незалежні змінні, що описують стан динамічної системи. Тому перше завдання, з якою доведеться зіткнутися при моделюванні - це відповідним чином визначити фазовий простір. Для цього потрібно вибрати деякі характеристики системи в якості фазових змінних. Після цього вже можна ставити питання про передбачення або екстраполяції. Як правило, у тимчасових рядах, отриманих в результаті вимірювань, в різній пропорції присутні випадкові флуктуації і шум. Тому якість моделі багато в чому визначається її здатністю апроксимувати передбачувану структуру даних, відокремлюючи її від шуму.

СТАТИСТИЧНИЙ АНАЛІЗ ТИМЧАСОВИХ РЯДІВ

Детальний опис методів статистичного аналізу часових рядів виходить за рамки цієї книги. Ми коротко розглянемо традиційні підходи, виділяючи при цьому обставини, які мають пряме відношення до предмету нашого викладу. Починаючи з піонерської роботи Юла, центральне місце в статистичному аналізі часових рядів зайняли лінійні моделі ARIMA. Згодом ця область оформилася в закінчену теорію з набором методів - теорію Боксу-Дженкінса.

Присутність в моделі ARIMA авторегресійного члена висловлює ту обставину, що поточні значення змінної залежать від її минулих значень. Такі моделі називаються одновимірними. Часто, однак, значення досліджуваної цільової змінної пов'язані з декількома різними часовими рядами.

Мал. 13.7. Реалізація ARIMA (p, q) моделі на найпростішої нейронної мережі

Так буде, наприклад, якщо цільова змінна - курс обміну валют, а інші беруть участь змінні - процентні ставки (в кожній з двох валют).

Відповідні методи називаються багатовимірними. Математична структура лінійних моделей досить проста, і розрахунки по ним можуть бути без особливих труднощів виконані за допомогою стандартних пакетів чисельних методів. Наступним кроком в аналізі часових рядів стала розробка моделей, здатних враховувати нелінійність, присутні, як правило, в реальних процесах і системах. Одна з перших таких моделей була запропонована Тонгом і називається порогової авторегрессионной моделлю (TAR).

У ній, при досягненні певних (встановлених заздалегідь) порогових значень, відбувається перемикання з однієї лінійної AR-моделі на іншу. Тим самим в системі виділяється кілька режимів роботи.

Потім запропоновані STAR-, або «гладкі» TAR-моделі. Така модель являє собою лінійну комбінацію декількох моделей, взятих з коефіцієнтами, які є безперервними функціями часу.

МОДЕЛІ, ЗАСНОВАНІ НА нейронних мережах З ПРЯМОЇ ЗВ'ЯЗКОМ

Цікаво зауважити, що всі описані в попередньому пункті моделі можуть бути реалізовані за допомогою нейронних мереж. Будь-яка залежність виду

виділення "\u003e рис. 13.8

Дії на першому етапе- етапі п редварітельной обробки даних- очевидно, сильно залежать від специфіки завдання. Потрібно правильно вибрати число і вид показників, що характеризують процес, в тому числі, - структуру затримок. Після цього треба вибрати топологію мережі. Якщо застосовуються мережі з прямим зв'язком, потрібно визначити число прихованих елементів. Далі, для знаходження параметрів моделі потрібно вибрати критерій помилки і оптимізує (навчальний) алгоритм. Потім, використовуючи засоби діагностики, слід перевірити різні властивості моделі. Нарешті, потрібно проінтерпретувати вихідну інформацію мережі і, може бути, подати її на вхід якийсь інший системи підтримки прийняття рішень. Далі ми розглянемо питання, які доводиться вирішувати на етапах попередньої обробки, оптимізації та аналізу (доведення) мережі.

ЗБІР ДАНИХ

Найважливіше рішення, яке повинен прийняти аналітик, - це вибір сукупності змінних для опису модельованого процесу. Щоб уявити собі можливі зв'язки між різними змінними, потрібно добре розуміти істота завдання. У зв'язку з цим дуже корисно буде поговорити з досвідченим фахівцем у даній галузі. Щодо обраних вами змінних потрібно розуміти, значимі вони самі по собі, або ж в них всього лише відображаються інші, дійсно суттєві змінні. Перевірка на значимість включає в себе крос-кореляційний аналіз. З його допомогою можна, наприклад, виявити тимчасову зв'язок типу запізнювання (лаг) між двома рядами. Те, наскільки явище може бути описано лінійною моделлю, перевіряється за допомогою регресії за методом найменших квадратів (OLS).

Отримана після оптимізації невязка підзаголовок "\u003e

Нейронні мережі ЯК ЗАСІБ ВИДОБУТКУ ДАНИХ

Іноді виникає завдання аналізу даних, які насилу можна уявити в математичної числовій формі. Це випадок, коли потрібно витягти дані, принципи відбору яких задані нечітко: виділити надійних партнерів, визначити перспективний товар і т.п. Розглянемо типову для задач подібного роду ситуацію - пророкування банкрутств. Припустимо, що у нас є інформація про діяльність кількох десятків банків (їх відкрита фінансова звітність) за деякий період часу. Після закінчення цього періоду ми знаємо, які з цих банків збанкрутували, у яких відкликали ліцензію, а які продовжують стабільно працювати (на момент закінчення періоду). І тепер нам необхідно вирішити питання, в якому з банків варто розміщувати кошти. Природно, малоймовірно, що ми хочемо розмістити кошти в банку, який може скоро збанкрутувати. Значить, нам треба якимось чином вирішити задачу аналізу ризиків вкладень в різні комерційні структури.

На перший погляд, вирішити цю проблему нескладно - адже у нас є дані про роботу банків і результатах їх діяльності. Але, насправді, це завдання не така проста. Виникає проблема, пов'язана з тим, що наявні у нас дані описують минулий період, а нас цікавить те, що буде в подальшому. Таким чином, нам треба на підставі наявних у нас апріорних даних отримати прогноз на подальший період. Для вирішення цього завдання можна використовувати різні методи.

Так, найбільш очевидним є застосування методів математичної статистики. Але тут виникає проблема з кількістю даних, бо статистичні методи добре працюють при великому обсязі апріорних даних, а у нас може бути обмежена їх кількість. При цьому статистичні методи не можуть гарантувати успішний результат.

Іншим шляхом вирішення цього завдання може бути застосування нейронних мереж, які можна навчити на наявному наборі даних. У цьому випадку в якості вихідної інформації використовуються дані фінансових звітів різних банків, а в якості цільового поля - підсумок їх діяльності. Але при використанні описаних вище методів ми нав'язуємо результат, не намагаючись знайти закономірності у вихідних даних. В принципі, все збанкрутілі банки схожі один на одного хоча б тим, що вони збанкрутували. Значить, в їх діяльності повинно бути щось більш загальне, що привело їх до цього підсумку, і можна спробувати знайти ці закономірності з тим, щоб використовувати їх в подальшому. І тут перед нами постає питання про те, як знайти ці закономірності. Для цього, якщо ми будемо використовувати методи статистики, нам треба визначити, які критерії «схожості» нам використовувати, що може зажадати від нас будь-яких додаткових знань про характер завдання.

Однак існує метод, що дозволяє автоматизувати всі ці дії з пошуку закономірностей - метод аналізу з використанням систем, що самоорганізуються карт Кохонена. Розглянемо, як вирішуються такі завдання і як карти Кохонена знаходять закономірності у вихідних даних. Для спільності розгляду будемо використовувати термін об'єкт (наприклад, об'єктом може бути банк, як в розглянутому вище прикладі, але описувана методика без змін підходить для вирішення і інших завдань - наприклад, аналізу кредитоспроможності клієнта, пошуку оптимальної стратегії поведінки на ринку і т.д. ). Кожен об'єкт характеризується набором різних параметрів, які описують його стан. Наприклад, для нашого прикладу параметрами будуть дані з фінансових звітів. Ці параметри часто мають числову форму або можуть бути приведені до неї. Таким чином, нам треба на підставі аналізу параметрів об'єктів виділити схожі об'єкти та представити результат у формі, зручній для сприйняття.

Всі ці завдання вирішуються самоорганізації картами Кохонена. Розглянемо докладніше, як вони працюють. Для спрощення розгляду будемо вважати, що об'єкти мають 3 ознаки (насправді їх може бути скільки завгодно).

Тепер уявімо, що всі ці три параметри об'єктів представляють собою їх координати в тривимірному просторі (в тому самому просторі, яке оточує нас у повсякденному житті). Тоді кожен об'єкт можна представити у вигляді точки в цьому просторі, що ми і зробимо (щоб у нас не було проблем з різним масштабом по осях, пронумеруємо всі ці ознаки в інтервал будь-яким підходящим способом), в результаті чого всі крапки потраплять в куб одиничного розміру Мал. 13.9. Відобразимо ці точки. Поглянувши на цей малюнок, ми можемо побачити, як розташовані об'єкти в просторі, причому легко помітити ділянки, де об'єкти групуються, тобто у них схожі параметри, значить і самі ці об'єкти, швидше за все, належать одній групі. Нам треба знайти спосіб, яким можна перетворити дану систему в просту для сприйняття, бажано двовимірну систему (бо вже тривимірну картинку неможливо коректно відобразити на площині) так, щоб сусідні в шуканому просторі об'єкти виявилися поруч і на отриманій картинці. Для цього використовуємо самоорганізується карту Кохонена. У першому наближенні її можна представити у вигляді мережі, виготовленої з гуми рис. 13.10.

Ми, попередньо «зім'явши», кидаємо цю мережу в простір ознак, де у нас вже є об'єкти, і далі поступаємо таким чином: беремо один об'єкт (точку в цьому просторі) і знаходимо найближчий до нього вузол мережі. Після цього цей вузол підтягується до об'єкта (тому що сітка «гумова», то разом з цим вузлом так само, але з меншою силою підтягуються і сусідні вузли).

Потім вибирається інший об'єкт (точка), і процедура повторюється. В результаті ми отримаємо карту, розташування вузлів якої співпадає з розташуванням основних скупчень об'єктів в вихідному просторі ріс.13.11. Крім того, отримана карта має наступну чудову властивість - вузли її розташувалися таким чином, що об'єктам, схожим між собою відповідають сусідні вузли карти. Тепер визначаємо, які об'єкти у нас потрапили в які вузли карти. Це також визначає найближче вузлом - об'єкт потрапляє в той вузол, що знаходиться ближче до нього. В результаті всіх цих операцій об'єкти зі схожими параметрами потраплять в один вузол або в сусідні вузли. Таким чином, можна вважати, що ми змогли вирішити задачу пошуку схожих об'єктів і їх угрупування.

Але на цьому можливості карт Кохонена не закінчуються. Вони дозволяють також представити отриману інформацію в простій і наочній формі шляхом нанесення розмальовки. Для цього ми розфарбовуємо отриману карту (точніше, її вузли) квітами, відповідними цікавлять нас ознаками об'єктів. Повертаючись до прикладу з класифікацією банків, можна розфарбувати одним кольором ті вузли, куди потрапив хоч один з банків, у яких була відкликана ліцензія. Тоді після нанесення розмальовки ми отримаємо зону, яку можна назвати зоною ризику, і потрапляння цікавить нас банку в цю зону говорить про його ненадійність.

Але і це ще не все. Ми можемо також отримати інформацію про залежності між параметрами. Завдавши на карту розмальовку, відповідну різними статтями звітів, можна отримати так званий атлас, який зберігає в собі інформацію про стан ринку. При аналізі, порівнюючи розташування кольорів на розмальовках, породжених різними параметрами, можна отримати повну інформацію про фінансовий портреті банків - невдах, процвітаючих банків і т.д.

При цьому описана технологія є універсальним методом аналізу. З її допомогою можна аналізувати різні стратегії діяльності, проводити аналіз результатів маркетингових досліджень, перевіряти кредитоспроможність клієнтів і т.д.

Маючи перед собою карту і знаючи інформацію про деякі з досліджуваних об'єктів, ми можемо досить достовірно судити про об'єкти, з якими ми мало знайомі. Потрібно дізнатися, що з себе представляє новий партнер? Відобразимо його на карті і подивимося на сусідів. В результаті, можна отримувати інформацію з бази даних, грунтуючись на нечітких характеристиках.

ОЧИЩЕННЯ І ПЕРЕТВОРЕННЯ БАЗИ ДАНИХ

Попереднє, до подачі на вхід мережі, перетворення даних за допомогою стандартних статистичних прийомів може істотно поліпшити як параметри навчання (тривалість, складність), так і роботу системи. Наприклад, якщо вхідний ряд має виразний експонентний вигляд, то після його логарифмирования вийде більш простий ряд, і якщо в ньому є складні залежності високих порядків, виявити їх тепер буде набагато легше. Дуже часто ненормально розподілені дані попередньо піддають нелінійного перетворення: вихідний ряд значень змінної перетворюється деякою функцією, і ряд, отриманий на виході, приймається за нову вхідну змінну. Типові способи перетворення - спорудження до рівня, вилучення кореня, взяття зворотних величин, експонент або логарифмів.

Для того щоб поліпшити інформаційну структуру даних, можуть виявитися корисними певні комбінації змінних - твори, приватні і т.д. Наприклад, коли ви намагаєтеся передбачити зміни цін акцій за даними про позиції на ринку опціонів, ставлення числа опціонів пут (put options, тобто опціонів на продаж) до числа опціонів колл (call options, тобто опціонів на покупку) більш інформативно, ніж обидва цих показника окремо. До того ж, за допомогою таких проміжних комбінацій часто можна отримати більш просту модель, Що особливо важливо, коли число ступенів свободи обмежено.

Нарешті, для деяких функцій перетворення, реалізованих у вихідному вузлі, виникають проблеми з масштабуванням. Сигмоид визначено на відрізку, тому вихідну змінну потрібно масштабувати так, щоб вона приймала значення в цьому інтервалі. Відомо кілька способів масштабування: зрушення на константу, пропорційне зміна значень з новим мінімумом і максимумом, центрування шляхом вирахування середнього значення, приведення стандартного відхилення до одиниці, стандартизація (дві останні дії разом). Має сенс зробити так, щоб значення всіх вхідних і вихідних величин в мережі завжди лежали, наприклад, в інтервалі (або [-1,1]), - тоді можна буде без ризику використовувати будь-які функції перетворення.

Побудова МОДЕЛІ

Значення цільового ряду (це той ряд, який потрібно знайти, наприклад, дохід по акціях на день вперед) залежать від N чинників, серед яких можуть бути комбінації змінних, минулі значення цільової змінної, закодовані якісні показники.

Оцінка якості моделі зазвичай грунтується на критерії згоди типу середньої квадратичної помилки (MSE) або квадратного кореня з неї (RMSE). Ці критерії показують, наскільки передбачені значення виявилися близькі до навчального, що підтверджує або тестовому безлічам.

У лінійному аналізі часових рядів можна отримати несмещенную оцінку здатності до узагальнення, досліджуючи результати роботи на навчальній множині (MSE), число вільних параметрів (W) і обсяг навчальної множини (N). Оцінки такого типу називаються інформаційними критеріями (1С) і включають в себе компоненту, відповідну критерієм згоди, і компоненту штрафу, яка враховує складність моделі. Були запропоновані наступні інформаційні критерії: нормалізований (NAIC), нормалізований байесовский (NBIC) і підсумкова помилка прогнозу (FPE):

підзаголовок "\u003e

ПРОГРАМНЕ ЗАБЕЗПЕЧЕННЯ

До теперішнього часу розроблено багато програмних пакетів, що реалізують нейронні мережі. Ось деякі, найбільш відомі: програми-симулятори нейронних мереж, представлені на ринку програмного забезпечення: Nestor, Cascade Correlation, Neudisk, Mimenice, Nu Web, Brain, Dana, Neuralworks Professional II Plus, Brain Maker, HNet, Explorer, Explorenet 3000, Neuro Solutions, Prapagator, Matlab Toolbox. Варто також сказати про сі-муляторах, вільно розповсюджуваних через університетські сервери (наприклад, SNNS (Штутгарт) або Nevada QuickPropagation). Важливим якістю пакета є його сумісність з іншими програмами, задіяними в обробці даних. Крім того, важливі дружній інтерфейс і продуктивність, яка може доходити до багатьох мегафлопс (млн. Операцій з плаваючою крапкою в секунду). Плати-прискорювачі дозволяють скоротити час навчання при роботі на звичайних персональних комп'ютерах. Однак для отримання надійних результатів за допомогою нейронних мереж, як правило, потрібно потужний комп'ютер.

Усталені парадигми фінансової науки такі, як модель випадкового блукання і гіпотеза ефективного ринку, припускають, що фінансові ринки реагують на інформацію раціонально і плавно. В цьому випадку навряд чи можна придумати щось краще лінійних зв'язків та стаціонарного поведінки з оборотним трендом. На жаль, в реальному поведінці фінансових ринків ми бачимо не просто оборотність трендів, але постійно виникають невідповідності курсів, волатильність, явно не відповідає інформації, що надходить, і періодично трапляються скачки рівня цін і волатильності. Для опису поведінки фінансових ринків були розроблені і мали певний успіх деякі нові моделі.

ФІНАНСОВИЙ АНАЛІЗ НА РИНКУ ЦІННИХ ПАПЕРІВ

Фінансовий аналіз на ринку цінних паперів з використанням нейромережевих технологій в даній роботі проводиться щодо торгівлі нафтою і нафтопродуктами.

Макроекономічне зростання і добробут країни у величезній мірі залежать від рівня розвитку базових галузей, серед яких виключно важливу роль відіграють нафтовидобувна і нафтопереробна промисловість. Ситуація в нафтовій галузі в значній мірі визначає стан всієї економіки Росії. У зв'язку зі сформованою кон'юнктурою цін на світовому ринку нафти, для Росії найбільш дохідної стороною в діяльності нафтової галузі, є експорт. Експорт нафти - один з найважливіших і швидких джерел валютних надходжень. Одним з кращих представників нафтової промисловості є нафтова компанія «ЛУКОЙЛ». НК «ЛУКОЙЛ» є провідною в Росії вертикально-інтегрованої нафтової компанією, яка спеціалізується на видобутку і переробці нафти, виробництві і збуті нафтопродуктів. Компанія працює не тільки в Росії, але і за кордоном, активно беручи участь в перспективних проектах.

Фінансово-виробнича діяльність компанії описана в таблиці 13.1.

Таблиця. 13.1

Основні фінансові та виробничі показники за 1998 рік

Документ без назви

Видобуток нафти (включаючи газовий конденсат)		64192 1284
Комерційний видобуток газу	млн. куб. м / рік млн. куб. футів / добу	3748 369
Переробка нафти (власні НПЗ, включаючи закордонні)	тис. тонн / рік тис. бар. / добу	17947 359
експорт нафти	тис. тонн / рік	24711
експорт нафтопродуктів	тис. тонн / рік	3426
Виручка-нетто від реалізації	млн. рублів USD млн. *	81660 8393
Прибуток від реалізації	млн. рублів USD млн. *	5032 517
Прибуток до оподаткування (за звітом)	млн. рублів USD млн. *	2032 209
Прибуток до оподаткування (без курсової різниці)	млн. рублів USD млн. *	5134 528
Нерозподілений прибуток (за звітом)	млн. рублів USD млн. *	118 12
Нерозподілений прибуток (виключаючи курсові різниці)	млн. рублів USD млн. *	3220 331
Активи (на кінець року)	млн. рублів USD млн. *	136482 6638

У зв'язку з триваючим в 1998 році падінням світових цін на нафтопродукти їх експорт склав 3,4 млн. Т проти 6,3 млн. У 1997 році. Для збереження Компанією завойованих позицій на світовому ринку нафтопродуктів обсяги експорту планується довести в 1999 році до 5-6 млн. За умови поліпшення ринкової кон'юнктури. Пріоритетним завданням є створення стимулюючих умов для зростання експорту і витяг максимально можливого прибутку.

Важливим складовим процесу продажу нафти і нафтопродуктів на експорт, включаючи всі форми контрактів, порядок встановлення цін, відповідальність сторін і інше, є біржа. Вона акумулює всі процеси, що відбуваються на стадії покупки продажу даного товару, і допомагає застрахуватися від супутніх ризиків.

Біржі, на яких проводяться торги нафтовими і нафтопродуктовому ф'ючерсними контрактами: Нью-Йоркська товарна біржа (NYMEX) і Лондонська міжнародна нафтова біржа (IPE). Біржа-це оптовий ринок, юридично оформлений у вигляді організації торговців. Розвиток механізмів торгівлі ф'ючерсними контрактами та введення останніх на всі активи, якими перш торгували товарні, ф'ючерсні і валютні біржі, призвело до стирання відмінностей між зазначеними видами бірж і до появи або ф'ючерсних бірж, на яких торгують лише ф'ючерсними контрактами, або універсальних бірж, на яких торгують як ф'ючерсними контрактами, так і традиційними біржовими активами, наприклад акціями, валютою і навіть окремими товарами.

Функції біржі полягають в наступному:

організація біржових зборів для проведення гласних публічних торгів;

розробку біржових контрактів;

біржовий арбітраж, або вирішення спорів, що виникають за укладеними біржовими угодами в ході біржових торгів;

ціннісна функція біржі. Ця функція має два аспекти. Перший - це, що завданням біржі стає виявлення «істинно» ринкових цін, але водночас і їх регулювання з метою недопущення незаконних маніпуляцій з цінами на біржі. Другий - це ценопрогнозірующая функція біржі;

функція хеджування, або біржове страхування учасників біржової торгівлі від несприятливих для них коливань цін. Функція хеджування ґрунтується на використанні механізму торгівлі ф'ючерсними контрактами. Суть цієї функції полягає в тому, що продавець - хеджер (тобто той, хто страхується) - повинен стати одночасно і продавцем товару, і його покупцем. У цьому випадку будь-яка зміна ціни його товару нейтралізується, так як виграш продавця є одночасно програш покупця і навпаки. Така ситуація досягається тим, що хеджер, займаючи, наприклад, позицію покупця на звичайному ринку, повинен зайняти протилежну позицію, в даному випадку продавця, на ринку біржових ф'ючерсних контрактів. Зазвичай виробники товару хеджують від зниження цін на їх продукцію, а покупці - від підвищення цін на закуповується продукцію:

спекулятивна біржова діяльність;

функція гарантування виконання угод. Досягається за допомогою біржових систем клірингу і розрахунків;

інформаційна функція біржі.

Основними джерелами інформації про стан і перспективи розвитку світового ринку нафти і нафтопродуктів є публікації котирувальних агентств Piatt "s (структурний підрозділ найбільшої американської видавничої корпорації McGraw-Hill) і Argus Petroleum (незалежна компанія, Великобританія).

Котирування дають уявлення про діапазон цін на конкретний сорт нафти за певний день. Відповідно, вони складаються з ціни мінімум (мінімальної ціни угод або мінімальної середньозваженої ціни пропозиції про покупку даного сорту нафти) і ціни максимум (максимальна ціна угод або максимальна середньозважена ціна пропозиції з продажу).

Точність котирувань залежить від обсягу зібраної інформації. Перші дані по котируваннях даються в режимі реального часу (їх можна отримувати при наявності доступу до відповідного обладнання) в 21.00-22.00 за московським часом. Ці дані можуть коригуватися у разі надходження до кінця дня нової інформації по операціях, що уточнює попередні котирування. Остаточна версія котирувань наводиться в офіційних друкованих публікаціях зазначених агентств.

Котирування наводяться як по операціях з негайною поставкою - ціни «спот» (поставка протягом двох тижнів, а за деякими сортами нафти - протягом трьох тижнів), так і по операціях з відстроченою поставкою (по ключовим сортам нафти) - ціни «форвард» (поставка через місяць, два місяці і три місяці).

Інформація по котируваннях «спот» і «форвард» є ключовим елементом в торгівлі нафтою на вільному ринку. Котирування «спот» використовуються для оцінки правильності обраної ціни раніше укладеної «форвардної» угоди; для виписки інвойсів по поставкам, розрахунки за якими здійснюються на основі формул, що базуються на котируваннях «спот» на момент відвантаження товару; а також в якості вихідного пункту, з якого контрагенти починають обговорення цінових умов угод на наступний котирувального день.

Котирування «форвард», відображаючи фіксовані ціни угод з відстроченою поставкою, по суті представляють собою прогнозну оцінку учасниками ринку ситуації на місяць, два і три місяці вперед. У поєднанні з котируваннями «спот», котирування «форвард» показують найбільш ймовірну на даний момент тенденцію зміни цін на даний сорт нафти на перспективу в один, два і три місяці.

Котирування наводяться для нафти даного сорту стандартної якості. Якщо якість конкретної партії нафти відрізняється від стандартного, то при укладанні угоди ціна партії встановлюється на базі котирувань з урахуванням знижки або премії за якість.

Величина знижки або премії за якість залежить від того, в якій мірі ціна «нетбек» \u200b\u200bконкретної партії товару відрізняється від ціни «нетбек» \u200b\u200bнафти даного сорту стандартної якості.

Резюмуючи зміст усього сказаного, відзначимо, що для забезпечення ефективного експорту нафти постачальник повинен мати у своєму розпорядженні даними по котируваннях «спот», «форвард», цінами на нафтопродукти і ф'ючерсними позиціями, інформацією за цінами «нетбек», фрахтовим і страховим ставками, динаміці спредів та запасів нафти. Мінімальні інформаційні вимоги зводяться до знання котирувань «спот» і «форвард» на експортовану нафту і конкурентні сорти нафти, динаміці спредів, фрахтових і страхових ставок. До основних видів термінових контрактів, що укладаються на біржі, відносяться:

ф'ючерсний контракт - контракт на покупку і продаж товару в майбутньому за ціною на момент укладання угоди.

Опціон - контракт, що дає право, але не зобов'язання, купити або продати ф'ючерсний контракт на нафту або нафтопродукти в майбутньому за бажаною ціною. Опціонами торгують на тих же біржах, де торгують ф'ючерсними контрактами.

форвардна угода - угода, термін виконання якої не збігається з моментом її укладення на біржі і обумовлюється в контракті.

Угода «спот» характеризується тим, що термін її ув'язнення збігається з терміном виконання, і при такій угоді валюта повинна бути поставлена \u200b\u200bвідразу ж (як правило, не пізніше двох робочих днів після укладення угоди).

Під час укладання договору особливу роль відіграє точність прогнозу ситуації на ринку по даному виду товару, а також прогноз ціни на нього. Тому ми вважаємо за необхідне розглянути роль прогнозних оцінок в досягненні ефекту від торгівлі нафтою і нафтопродуктами.

При здійсненні перерахованих угод є один ключовий момент - це точність прогнозів. Звичайно, з точки зору теорії, здавалося б, нам все одно, де будуть ціни в майбутньому. Відкривши позицію, ми замкнули для себе ціну продажу нафти, для нас вона вже не може бути ні вище, ні нижче. Тому точний прогноз дає нам опцію на необхідні дії при зміні ціни. Невірний прогноз означає збитки. Існує безліч способів прогнозування на ринку, але лише деякі з них заслуговують на особливу увагу. Протягом багатьох років прогнозування фінансових ринків грунтувалося на теорії раціональних очікувань, аналізі часових рядів і технічному аналізі.

Відповідно до теорії раціональних очікувань, ціни збільшуються або зменшуються внаслідок того, що інвестори раціонально і негайно реагують на нову інформацію: будь-які відмінності між інвесторами щодо, наприклад, інвестиційних цілей або доступної їм інформації ігноруються як статистично незначущі. Подібний підхід ґрунтується на припущенні про повну інформаційної відкритості ринку, тобто на те, що жоден з його учасників не має інформації, якої не мали б інші учасники. При цьому не може існувати ніяких конкурентних переваг, оскільки, володіючи інформацією, не доступною іншим, неможливо збільшити шанси для отримання прибутку.

Метою аналізу часових рядів є виявлення певної кількості факторів, що впливають на зміну цін за допомогою статистичних методів. Цей підхід дозволяє виявити тенденції розвитку ринку, проте, якщо в рядах даних спостерігається повторюваність або однорідні цикли, його застосування може бути пов'язане з серйозними труднощами.

технічний аналізявляє собою сукупність методів аналізу та прийняття рішень, заснованих тільки на дослідженні внутрішніх параметрів фондового ринку: цін, обсягів угод і величини відкритого інтересу (числа відкритих контрактів на купівлю та на продаж). Все різноманіття методів прогнозування технічного аналізу можна розділити на дві великі групи: графічні методи і аналітичні методи.

Графічний технічний аналіз - це аналіз різних ринкових графічних моделей, Що утворюються певними закономірностями руху цін на графіках, з метою припущення ймовірності продовження або зміни існуючого тренда. Розглянемо основні типи графіків:

Лінійний. На лінійному графіку відзначають тільки ціну закриття для кожного подальшого періоду. Рекомендується на коротких відрізках (до декількох хвилин).

Графік відрізків (бари) - на баровому графіку зображають максимальну ціну (верхня точка стовпчика), мінімальну ціну (нижня точка стовпчика), ціну відкриття (риска зліва від вертикального стовпчика) і ціну закриття (риска праворуч від вертикального стовпчика). Рекомендується для проміжків часу від 5 хвилин і більше.

Японські свічки (будуються за аналогією з барами).

Хрестики-нулики - немає осі часу, а нова колонка цін будується після появи іншого напрямку динаміки. Хрестик малюється, якщо ціни знизилися на певну кількість пунктів (критерій ріверсіровкі), якщо ціни підвищилися на певну кількість пунктів, то малюється нулик.

Арифметична і логарифмічна шкали. Для деяких видів аналізу, особливо якщо мова йде про аналіз довгострокових тенденцій, зручно використовувати шкалою логарифмічною. В арифметичній шкалою відстані між поділами незмінні. У логарифмічною шкалою однакову відстань відповідає однаковим в процентному відношенні змін.

Графіки обсягу.

Постулатами цього виду технічного аналізу є перераховані нижче основні поняття технічного аналізу: лінії тенденції, рівні ринкового опору і підтримки, рівні корекції поточного тренда. наприклад:

Лінії опору (Resistance):

виникають, коли покупці більше або не можуть, або не хочуть купувати даний товар по більш високими цінами. Тиск продавців перевершує тиск з боку покупців, в результаті зростання зупиняється і змінюється падінням;

з'єднують важливі максимуми (вершини) ринку.

Лінії підтримки (Support):

з'єднують важливі мінімуми (низи) ринку;

виникають, коли продавці більше або не можуть, або не хочуть продавати даний товар за нижчими цінами. при даному рівні ціни прагнення купити досить сильно і може протистояти тиску з боку продавців. Падіння припиняється, і ціни знову починають йти вгору.

Спускаючись, лінія підтримки перетворюється в опір. Піднімаючись, лінія опору перетворюється в підтримку.

У разі, якщо ціни коливаються між двома паралельними прямими лініями (лініями каналу) можна говорити про наявність підвищуючого (знижувального або горизонтального) каналу.

Розрізняють два види графічних моделей:

1. Моделі перелому тенденції-які утворюються на графіках моделі, які при виконанні деяких умов можуть передбачати зміну існуючого на ринку тренда. До них відносяться такі моделі, як «голова-плечі», «подвійна вершина», «подвійне підставу», «потрійна вершина», «потрійне підставу».

Розглянемо деякі з них.

«Голова - плечі» - підтверджує розворот тренда.

Ріс.13.22. 1-перша вершина; 2-друга вершина; 3-лини шиї

HeadShoulders - голова - плечі.

Ріс.13.23. 1-вершина лівого плеча; 2-вершина голови; 3-вершина правого плеча; 4-лінія шиї.

2. Моделі продовження тенденції - утворюються на графіках моделі, які при виконанні деяких умов дозволяють стверджувати, що існує ймовірність продовження поточної тенденції. Можливо, тенденція розвивалася дуже швидко і тимчасово вступила в стан перекупленності або перепроданості. Тоді після проміжної корекції вона продовжить свій розвиток в напрямку колишньої тенденції. У цій групі виділяють такі моделі, як «трикутники», «алмази», «прапори», «вимпели» та інші. наприклад:

Як правило, ці фігури закінчують своє формування з відривом від вершини P (древко) однакову:

визна-е "\u003e

трикутник

Трикутників на ринку слід боятися. Р- цінова база. Т тимчасова база. Пробій фігури відбувається на відстані: "\u003e

збір і зберігання даних - можливих учасників прогнозу (або як критерій, або в якості прогнозованої величини, або як і те й інше);

визначення для даного тренду або набору критеріїв (причому не завжди можуть бути використані дані, безпосередньо що зберігаються в базі даних, часто потрібно зробити деякі перетворення даних, наприклад, раціонально як критерії використовувати відносні зміни величин);

виявлення залежності між прогнозованою величиною і набором критеріїв у вигляді деякої функції;

обчислення цікавить величини відповідно до певної функцією, значеннями критеріїв на прогнозований момент і видом прогнозу - короткостроковий чи довгостроковий).

У практичній частині роботи на основі історичних даних якогось тренду за певний часовий проміжок (місяць, рік, кілька років), представлених також в деякому масштабі часу (хвилинні, 5-хвилинні, півгодинні, денні та ін. Котирування) нам необхідно отримати прогноз розвитку котирувань на кілька дискретов часу вперед. Інформація про котирування активів представлена \u200b\u200bвсіма або частиною стандартних параметрів, що описують котирування за дискрет часу: ціни відкриття, закриття, максимальна, мінімальна, обсяг торгів на момент закриття, відкритий інтерес.

Застосування нейронних мереж для отримання швидкого і якісного прогнозу можна розглянути на рис. 13.27 «Технологічна схема прогнозування на фондовому ринку з використанням нейронних мереж».

Для повноцінного прогнозу тенденцій трьох найбільш розвинених в нашій країні ринків, що включають в себе безліч фінансових інструментів, необхідна достатня кількість вихідних для прогнозу даних. Як видно зі схеми, на даний момент реалізовано надходження такої інформації:

інформаційно-торговельні дані агентства «REUTERS», «DOW JONES TELERATE», «BLOOMBERG»;

торгові дані з майданчиків ММВБ і РТС;

інші дані за допомогою ручного введення.

Всі необхідні дані надходять до бази даних (БД MS SQL Server). Далі відбувається вибір і підготовка даних для участі в прогнозі. На цьому попередньому етапі постає завдання вибору з більш 200 видів інформаційно-торгових даних найбільш значущих критеріїв для прогнозу цікавить вартісної величини деякого фінансового інструменту або групи фінансових інструментів. Первинний вибір критеріїв здійснюється аналітиком і залежить від досвіду і інтуїції останнього. На допомогу аналітику надаються інструменти технічного аналізу, що подаються у вигляді графіків, аналізуючи які можна вловити приховані взаємозв'язки. Виділяється тимчасової ряд прогнозування.

Потім оброблені дані надходять в нейросетевой пакет STATIS-TICA Neural Networks, де за допомогою навченого персептрона відбувається розпізнавання 5-денних періодів. Кожному з періодів мережу присвоює одне з чотирьох показників, що характеризують зміни тренда (як чарти в технічному аналізі): стабільний період, висхідний, спадний, невизначений. На основі опрацьованих даних мережу будує прогноз, але щоб домогтися уточнення отриманих результатів, ми ускладнюємо процес прогнозування. Подальша обробка відбувається в системі STATIST1CA. Дані не потребують перетворенні, так як однакові за типом.

В процесі обробки тимчасового ряду в пакеті STATISTICA в модулі TIME Series / Forecasting за допомогою експоненціального згладжування (exponential smoothing forecasting), виділяється тренд, який розбивається на рівні (5-денні періоди) для подальшого короткострокового прогнозування. Налаштування тренда проводиться по одному з чотирьох представлених методів (лінійний, експоненціальне, горизонтальний, поліноміальний). Ми для свого експерименту обрали експонентний метод. Обробили тренд і отримали дані по його згладжування. Ці дані знову надходять на нейромережевому обробку за допомогою багатошарового персептрона. Навчання проводиться методом експоненціального згладжування, в результаті якого мережа підтверджує правильність отриманого раніше прогнозу. Переглянути результати можна за допомогою функції архівації.

Отримані прогнозовані величини аналізуються трейдером, в результаті чого приймається правильне рішення щодо проведення операцій з цінними паперами.

Один з підходів до вирішення проблеми аналізу і прогнозування фондового ринку базується на циклічної природи розвитку економічних процесів. Проявом циклічності є хвилеподібний розвиток економічних періодів. При прогнозуванні часових рядів в економіці неможливо правильно оцінити ситуацію і зробити досить точний прогноз без урахування того, що на лінію тренда накладаються циклічні коливання. У сучасній економічній науці відомі більш 1 380 видів циклічності. Економіка оперує переважно з наступними чотирма:

Цикли Китчина - цикли запасів. Китчин (1926р.) Зосередив увагу на дослідженні коротких хвиль довжиною від 2-х до 4-х років на основі аналізу фінансових рахунків і продажних цін при русі товарних запасів.

Цикли Жугляра. Цей цикл має й інші назви: бізнес-цикл, промисловий цикл і т.д. Цикли були виявлені при вивченні природи промислових коливань у Франції, Великобританії і в США на основі фундаментального аналізу коливань ставок відсотка і цін. Як виявилося, ці коливання співпали з циклом інвестицій, які в свою чергу ініціювали зміни ВНП, інфляції і зайнятості.

Цикли Коваля. Дж.Ріггальмен, В.Ньюмен в 1930-і рр. і деякі інші аналітики побудували перші статистичні індекси сукупного річного обсягу житлового будівництва і виявили в них одне за одним тривалі інтервали швидкого зростання і глибоких спадів або застою. Тоді і з'явився вперше термін «будівельні цикли».

Цикли Кондратьєва. Великі цикли можна розглядати як порушення і відновлення економічної рівноваги тривалого періоду. Основна їх причина лежить в механізмі накопичення, акумулювання і розсіювання капіталу достатнього для створення основних виробничих сил. Однак дія цієї основної причини підсилює дію вторинних факторів. Відповідно до викладеного, розвиток великого циклу приймає наступне освітлення. Початок підйому збігається з моментом, коли нагромадження й акумулювання капіталу досягає такої напруги, при якому стає можливим рентабельне інвестування капіталу з метою продуктивних сил і радикального переустаткування техніки. Причому, згідно з основним «істин» Кондратьєва, в період підвищувальної хвилі великого циклу середні і короткі хвилі характеризуються стислістю дисперсій і інтенсивністю підйомів, а в періоди знижувальної хвилі великого циклу спостерігається зворотна картина.

На фондовому ринку дані коливання проявляються в наступних один за одним злети та спади рівнів ділової активності протягом деякого періоду часу: пік циклу, спад, нижча точка і фаза пожвавлення.

У даній роботі ми виходимо з того, що коливання цін на ринку цінних паперів є результатом суперпозиції різних зазначених вище хвиль і рядів випадкових, стохастичних чинників. Робиться спроба виявити наявність циклів і визначити фазу, в якій знаходиться процес. Залежно від цього будується прогноз подальшого розвитку процесу з використанням засобів ARIMA при відповідних припущеннях про параметрі процесу.

Переходи системи являють собою суперпозицію хвиль різної довжини. Як відомо, хвилі складаються з кількох фаз, що змінюють один одного. Це може бути фаза пожвавлення, спаду або застою. Якщо цих фаз привласнити символьні значення А, В, С, то їх можна представити у вигляді послідовності примітивів (подібних чартам в технічному аналізі) і, розпізнавши ці послідовності (які також є періоди підйому, спаду, застою, тобто а, b, с, тільки більш дрібного масштабу), ми можемо, грунтуючись на правилах розпізнають граматик з певною ймовірністю формула "src \u003d" http://hi-edu.ru/e-books/xbook725/files/28.gif "border \u003d "0" align \u003d "absmiddle" alt \u003d "(! LANG:. Потім ми можемо також розглянути послідовності виду AAABBCD .... .Получается, що ми розпізнали і саму хвилю, і її фазу.

Тепер ми можемо зробити не тільки більш точний короткостроковий прогноз, але і можемо простежити загальну динаміку фондового ринку в перспективі (визначивши фазу довгою хвилі, ми можемо судити про характер наступної, тому що фази протікають в певній послідовності). У нашому експерименті ми спробували навчити персептрон розпізнаванню фаз хвиль (А, В, С, D).

Для експерименту були взяті дані підсумків торгів з РТС по акціях компанії ЛУКОЙЛ (LKON) за період з 01 червня 1998р. по 31 грудня 1999 р вихідну БД увійшли наступні змінні: середньозважена ціна покупки, середньозважена ціна продажу, максимальна денна ціна, мінімальна денна ціна, кількість угод. База даних зі значеннями перерахованих змінних була імпортована в середу Excel з Інтернету, а потім перенесені в пакет SNW. Детальніше ця процедура розглянута на мал. 13.28 - ваги, які приймають окремі спостереження ряду.

Ширина інтервалу згладжування бралася рівною 4 спостереженнями. Потім числове вираження тренда (рис 13.30) були додані в нову змінну smoothing.

Таким чином, ми сформували БД зі змінними, які будуть подаватися на вхід нейронної мережі. Причому тому SNW повністю сумісна з SNN спеціально імпортувати дані в SNN не було необхідності. На вході передбачалося отримати значення типу a, b, c, d, але для цього персептрон повинен був розпізнати фазу, в якій ми знаходимося і на її підставі зробити більш точний короткостроковий прогноз. Іншими словами, він повинен розглянути послідовності примітивів і ідентифікувати їх з фазами циклу. Причому фази циклу типу A, B, C, D персептрон на вихід не видає.

Для реалізації поставленого завдання навчання персептрона виділяється мобільне вікно шириною 5 днів. Одне тимчасове вікно складається з послідовності примітивів а, b, с або d. Таким чином, більш точний прогноз може бути отриманий шляхом кусочной апроксимації числового тренда за середньозваженою ціною покупки.

Щоб навчити персептрон розпізнати п'ятиденні послідовності і ідентифікувати їх як А, В, С або D, нам довелося для деякого числа варіантів самим визначити їх фазу і додати наші результати в нову змінну вихідної БД (state). Таким чином, остаточно сформована БД містить значення наступних змінних: середньозважена ціна покупки, середньозважена ціна продажу, максимальна денна ціна, мінімальна денна ціна, кількість угод, тренд, виділений щодо середньозваженої ціни покупки і, нарешті, змінна, яка визначає стан економічного процесу. На вхід подавалися всі змінні, крім останньої. Її передбачалося отримати тільки на виході, щоб персептрон при навчанні не реагував на значення цієї змінної, а підганяв ваги таким чином, щоб на виході могли вийти тільки чотири значення: А, В, С, D, а потім, відповідно до розпізнаного станом, а також враховував, що після фази підйому слід фаза сталості, а потім знову спаду, і на цій основі був здатний зробити короткостроковий прогноз. Таким чином, для прогнозу зібрані всі дані. Тепер залишається тільки одне питання: які параметри вибрати для мережі і яким методом навчати. У зв'язку з цим було проведено ряд експериментів і в результаті зроблені наступні висновки.

Спочатку передбачалося навчати багатошаровий персептрон методом зворотного поширення помилок. На вхід подавалося 7 змінних (вони перераховані вище), на вихід-тільки одна- STATE. Крім вхідного і вихідного шарів будувався один проміжний шар, що складається з 6, а потім з 8 нейронів. Помилка навчання становила приблизно 0,2-0,4, однак на перехідні стани персептрон реагував слабо. Тому ми вирішили спочатку збільшити кількість нейронів в середньому шарі до 14, а потім змінили метод навчання персептрона ( «сполучених градієнтів»). Помилка стала коливатися в межах 0.12-0,14, причому всі безліч значень змінних розглядалося як навчальне.

В результаті експериментів оптимальної вийшла нейронна мережа з наступними параметрами: на вхід подається 7 змінних: Smoothly, Average, Open_Buy, VoLTrad. Val_Q, Min_PR, Max_PR, на вихід - STATE. Навчання проводилося з кроком 6, методом сполучених градієнтів, всього-3 шари (на першому 7 нейронів, на другому-14, на третьому-3) (рис. 13.29), в результаті персептрон чітко реагував на стану тренда (висхідний - 1 нейрон вихідного шару, спадний ndash; 2 нейрон вихідного шару і горизонтальний - 3 нейрон) (рис. 13.31).

В результаті проведених досліджень був проведений відбір даних-можливих об'єктів прогнозу, визначили прогнозовані величини і набори критеріїв, а також виявили залежності між ними.

В процесі експерименту, було встановлено, що виділення тренда збільшує швидкість навчання багатошарового персептрона, і при певному регулюванні мережі розпізнає висхідний, спадний і горизонтальний тренди.

Отримані позитивні результати дають можливість перейти до більш глибокого вивчення циклічних залежностей на ринках, і використовувати при проведенні фінансових операцій інші методи нейронний технологій (карти Кохонена).

Добрий день, мене звати Наталія Єфремова, і я research scientist в компанії NtechLab. Сьогодні я буду розповідати про види нейронних мереж та їх застосування.

Спочатку скажу пару слів про нашу компанію. Компанія нова, може бути багато з вас ще не знають, чим ми займаємося. У минулому році ми виграли змагання MegaFace. Це міжнародне змагання з розпізнавання осіб. У цьому ж році була відкрита наша компанія, тобто ми на ринку вже близько року, навіть трохи більше. Відповідно, ми одна з лідируючих компаній в розпізнаванні осіб і обробці біометричних зображень.

Перша частина моєї доповіді буде направлена \u200b\u200bтим, хто не знайомий з нейронними мережами. Я займаюся безпосередньо deep learning. У цій області я працюю понад 10 років. Хоча вона з'явилася трохи менше, ніж десятиліття тому, раніше були якісь зачатки нейронних мереж, які були схожі на систему deep learning.

В останні 10 років deep learning і комп'ютерний зір розвивалися неймовірними темпами. Все, що зроблено значимого в цій області, відбулося в останні років 6.

Я розповім про практичні аспекти: де, коли, що застосовувати в плані deep learning для обробки зображень і відео, для розпізнавання образів і осіб, оскільки я працюю в компанії, яка цим займається. Трошки розповім про розпізнавання емоцій, які підходи використовуються в іграх і робототехніці. Також я розповім про нестандартне застосування deep learning, то, що тільки виходить з наукових інститутів і поки що ще мало застосовується на практиці, як це може застосовуватися, і чому це складно застосувати.

Доповідь буде складатися з двох частин. Так як більшість знайомі з нейронними мережами, спочатку я швидко розповім, як працюють нейронні мережі, що таке біологічні нейронні мережі, чому нам важливо знати, як це працює, що таке штучні нейронні мережі, і які архітектури в яких областях застосовуються.

Відразу перепрошую, я буду трохи перескакувати на англійську термінологію, тому що більшу частину того, як називається це російською мовою, я навіть не знаю. Можливо ви теж.

Отже, перша частина доповіді буде присвячена сверточних нейронних мереж. Я розповім, як працюють convolutional neural network (CNN), розпізнавання зображень на прикладі з розпізнавання осіб. Трохи розповім про рекурентні нейронні мережі recurrent neural network (RNN) і навчання з підкріпленням на прикладі систем deep learning.

Як нестандартного застосування нейронних мереж я розповім про те, як CNN працює в медицині для розпізнавання воксельних зображень, як використовуються нейронні мережі для розпізнавання бідності в Африці.

Що таке нейронні мережі

Прототипом для створення нейронних мереж послужили, як це не дивно, біологічні нейронні мережі. Можливо, багато хто з вас знають, як програмувати нейронну мережу, але звідки вона взялася, я думаю, деякі не знають. Дві третини всієї сенсорної інформації, яка до нас потрапляє, приходить з зорових органів сприйняття. Більше однієї третини поверхні нашого мозку зайняті двома найголовнішими зоровими зонами - дорсальний зоровий шлях і вентральний зоровий шлях.

Спинний зоровий шлях починається в первинної зорової зоні, в нашому тім'ячку і триває наверх, в той час як вентральний шлях починається на нашому потилиці і закінчується приблизно за вухами. Все важливе розпізнавання образів, яке у нас відбувається, все смислонесущій, то що ми усвідомлюємо, проходить саме там же, за вухами.

Чому це важливо? Тому що часто потрібно для розуміння нейронних мереж. По-перше, всі про це розповідають, і я вже звикла що так відбувається, а по-друге, справа в тому, що всі області, які використовуються в нейронних мережах для розпізнавання образів, прийшли до нас саме з вентрального зорового шляху, де кожна маленька зона відповідає за свою строго певну функцію.

Зображення потрапляє до нас з сітківки ока, проходить низку зорових зон і закінчується в скроневій зоні.

У далекі 60-ті роки минулого століття, коли тільки починалося вивчення зорових зон мозку, перші експерименти проводилися на тваринах, тому що не було fMRI. Досліджували мозок за допомогою електродів, вживлених в різні зорові зони.

Перша зорова зона була досліджена Девідом Хьюбел і Торстеном Візелем в 1962 році. Вони проводили експерименти на кішках. Кішкам показувалися різні рухомі об'єкти. На що реагували клітини мозку, то і було тим стимулом, який распознавало тварина. Навіть зараз багато експерименти проводяться цими драконівськими способами. Але тим не менше це найефективніший спосіб дізнатися, що робить кожна найдрібніша клітинка в нашому мозку.

Таким же способом були відкриті ще багато важливих властивості зорових зон, які ми використовуємо в deep learning зараз. Одне з найважливіших властивостей - це збільшення рецептивних полів наших клітин у міру просування від первинних зорових зон до скроневих часток, тобто більш пізнім зоровим зонам. Рецептивної полі - це та частина зображення, яку обробляє кожна клітинка нашого мозку. У кожної клітини своє рецептивної полі. Це ж властивість зберігається і в нейронних мережах, як ви, напевно, все знаєте.

Також зі зростанням рецептивних полів збільшуються складні стимули, які зазвичай розпізнають нейронні мережі.

Тут ви бачите приклади складності стимулів, різних двомірних форм, які розпізнаються в зонах V2, V4 і різних частинах скроневих полів у макак. Також проводяться кілька експериментів на МРТ.

Тут ви бачите, як проводяться такі експерименти. Це 1 нанометровій частина зон IT cortex "a мавпи при розпізнаванні різних об'єктів. Підсвічені то, де розпізнається.

Підсумуємо. Важлива властивість, яке ми хочемо перейняти у зорових зон - це те, що зростають розміри рецептивних полів, і збільшується складність об'єктів, які ми розпізнаємо.

комп'ютерне зір

До того, як ми навчилися це застосовувати до комп'ютерного зору - в загальному, як такого його не було. У всякому разі, воно працювало не так добре, як працює зараз.

Всі ці властивості ми переносимо в нейронну мережу, і ось воно запрацювало, якщо не включати невеличкий відступ до датасета, про який розповім пізніше.

Але спочатку трохи про найпростішому перцептроном. Він також утворений за образом і подобою нашого мозку. Найпростіший елемент нагадує клітку мозку - нейрон. Має вхідні елементи, які за замовчуванням розташовуються зліва направо, зрідка від низу до верху. Зліва це вхідні частини нейрона, праворуч вихідні частини нейрона.

Найпростіший перцептрон здатний виконувати тільки найпростіші операції. Для того, щоб виконувати більш складні обчислення, нам потрібна структура з великою кількістю прихованих шарів.

У разі комп'ютерного зору нам потрібно ще більше прихованих шарів. І тільки тоді система буде осмислено розпізнавати те, що вона бачить.

Отже, що відбувається при розпізнаванні зображення, я розповім на прикладі осіб.

Для нас подивитися на цю картинку і сказати, що на ній зображено саме обличчя статуї, досить просто. Однак до 2010 року для комп'ютерного зору це було неймовірно складним завданням. Ті, хто займався цим питанням до цього часу, напевно, знають наскільки важко було описати об'єкт, який ми хочемо знайти на зображенні без слів.

Нам потрібно це було зробити якимось геометричним способом, описати об'єкт, описати взаємозв'язки об'єкта, як можуть ці частини ставитися один до одного, потім знайти це зображення на об'єкті, порівняти їх і отримати, що ми розпізнали погано. Зазвичай це було трохи краще, ніж підкидання монетки. Трохи краще, ніж chance level.

Зараз це відбувається не так. Ми розбиваємо наше зображення або на пікселі, або на якісь патчі: 2х2, 3х3, 5х5, 11х11 пікселів - як зручно творцям системи, в якій вони служать вхідним шаром в нейронну мережу.

Сигнали з цих вхідних шарів передаються від шару до шару за допомогою синапсів, кожен з шарів має свої певні коефіцієнти. Отже, ми передаємо від шару до шару, від шару до шару, поки ми не отримаємо, що ми розпізнали особа.

Умовно всі ці частини можна розділити на три класи, ми їх позначимо X, W і Y, де Х - це наше вхідне зображення, Y - це набір лейблів, і нам потрібно отримати наші ваги. Як ми обчислимо W?

При наявності нашого Х і Y це, здається, просто. Однак те, що позначено зірочкою, дуже складна нелінійна операція, яка, на жаль, не має зворотної. Навіть маючи 2 заданих компоненти рівняння, дуже складно її знайти. Тому нам потрібно поступово, методом проб і помилок, підбором ваги W зробити так, щоб помилка максимально зменшилася, бажано, щоб стала рівною нулю.

Цей процес відбувається итеративно, ми постійно зменшуємо, поки не знаходимо то значення ваги W, яке нас досить влаштує.

До речі, жодна нейронна мережа, з якої я працювала, не досягала помилки, що дорівнює нулю, але працювала при цьому досить добре.

Перед вами перша мережа, яка перемогла на міжнародному змаганні ImageNet в 2012 році. Це так званий AlexNet. Це мережа, яка вперше заявила про себе, про те, що існує convolutional neural networks і з тих самих пір на всіх міжнародних змаганнях вже convolutional neural nets не здавали своїх позицій ніколи.

Незважаючи на те, що ця мережа досить дрібна (в ній всього 7 прихованих шарів), вона містить 650 тисяч нейронів з 60 мільйонами параметрів. Для того, щоб итеративно навчитися знаходити потрібні ваги, нам потрібно дуже багато прикладів.

Нейронна мережа навчається на прикладі картинки і лейбла. Як нас в дитинстві вчать «це кішка, а це собака», так само нейронні мережі навчаються на великій кількості картинок. Але справа в тому, що до 2010 не існувало досить великого data set'a, який здатний був би навчити таку кількість параметрів розпізнавати зображення.

Найбільші бази даних, які існували до цього часу: PASCAL VOC, в який було всього 20 категорій об'єктів, і Caltech 101, який був розроблений в California Institute of Technology. В останньому була 101 категорія, і це було багато. Тим же, хто не зумів знайти свої об'єкти в жодній з цих баз даних, доводилося коштувати свої бази даних, що, я скажу, страшно болісно.

Однак, у 2010 році з'явилася база ImageNet, в якій було 15 мільйонів зображень, розділені на 22 тисячі категорій. Це вирішило нашу проблему навчання нейронних мереж. Зараз всі бажаючі, у кого є будь-якої академічний адреса, можуть спокійно зайти на сайт бази, запросити доступ і отримати цю базу для тренування своїх нейронних мереж. Вони відповідають досить швидко, по-моєму, на наступний день.

У порівнянні з попередніми data set'амі, це дуже велика база даних.

На прикладі видно, наскільки було незначно все те, що було до неї. Одночасно з базою ImageNet з'явилося змагання ImageNet, міжнародний challenge, в якому всі команди, які бажають позмагатися, можуть взяти участь.

Цього року перемогла мережа, створена в Китаї, в ній було 269 шарів. Не знаю, скільки параметрів, підозрюю, теж багато.

Архітектура глибинної нейронної мережі

Умовно її можна розділити на 2 частини: ті, які навчаються, і ті, які не навчаються.

Чорним позначені ті частини, які не навчаються, всі інші шари здатні навчатися. Існує безліч визначень того, що знаходиться всередині кожного сверточного шару. Одне з прийнятих позначень - один шар з трьома компонентами поділяють на convolution stage, detector stage і pooling stage.

Не буду вдаватися в деталі, ще буде багато доповідей, в яких докладно розглянуто, як це працює. Розповім на прикладі.

Оскільки організатори просили мене не згадувати багато формул, я їх викинула зовсім.

Отже, вхідне зображення потрапляє в мережу шарів, які можна назвати фільтрами різного розміру і різної складності елементів, які вони розпізнають. Ці фільтри складають якийсь свій індекс або набір ознак, який потім потрапляє в класифікатор. Зазвичай це або SVM, або MLP - багатошаровий перцептрон, кому що зручно.

За образом і подобою з біологічної нейронною мережею об'єкти розпізнаються різної складності. У міру збільшення кількості шарів це все втратило зв'язок з cortex'ом, оскільки там обмежена кількість зон в нейронної мережі. 269 \u200b\u200bабо багато-багато зон абстракції, тому зберігається тільки збільшення складності, кількості елементів і рецептивних полів.

Якщо розглянути на прикладі розпізнавання осіб, то у нас рецептивної полі першого шару буде маленьким, потім трохи побільше, побільше, і так до тих пір, поки нарешті ми не зможемо розпізнавати вже обличчя цілком.

З точки зору того, що знаходиться у нас всередині фільтрів, спочатку будуть похилі палички плюс трохи кольору, потім частини осіб, а потім вже цілком особи будуть розпізнаватися кожною клітинкою шару.

Є люди, які стверджують, що людина завжди розпізнає краще, ніж мережу. Чи так це?

У 2014 році вчені вирішили перевірити, наскільки ми добре розпізнаємо в порівнянні з нейронними мережами. Вони взяли 2 найкращі на даний момент мережі - це AlexNet і мережу Меттью Зіллера і Фергюса, і порівняли з відгуком різних зон мозку макаки, \u200b\u200bяка теж була навчена розпізнавати якісь об'єкти. Об'єкти були з тваринного світу, щоб мавпа не заплуталася, і були проведені експерименти, хто ж розпізнає краще.

Так як отримати відгук від мавпи виразно неможливо, їй вживили електроди і міряли безпосередньо відгук кожного нейрона.

Виявилося, що в нормальних умовах клітини мозку реагували так само добре, як і state of the art model на той момент, тобто мережу Меттью Зіллера.

Однак при збільшенні швидкості показу об'єктів, збільшенні кількості шумів і об'єктів на зображенні швидкість розпізнавання і його якість нашого мозку і мозку приматів сильно падають. Навіть найпростіша сверточное нейронна мережа розпізнає об'єкти краще. Тобто офіційно нейронні мережі працюють краще, ніж наш мозок.

Класичні задачі згортальних нейронних мереж

Їх насправді не так багато, вони відносяться до трьом класам. Серед них - такі завдання, як ідентифікація об'єкта, семантична сегментація, розпізнавання осіб, розпізнавання частин тіла людини, семантичне визначення меж, виділення об'єктів уваги на зображенні і виділення нормалей до поверхні. Їх умовно можна розділити на 3 рівні: від самих низькорівневих завдань до самих високорівневих задач.

На прикладі цього зображення розглянемо, що робить кожна із завдань.

• визначення меж - це сама низкоуровневая завдання, для якої вже класично застосовуються згорткові нейронні мережі.
• Визначення вектора до нормалі дозволяє нам реконструювати тривимірне зображення з двовимірного.
• Saliency, визначення об'єктів уваги - це те, на що звернув би увагу людина при розгляді цієї картинки.
• семантична сегментація дозволяє розділити об'єкти на класи по їх структурі, нічого не знаючи про ці об'єкти, тобто ще до їх розпізнавання.
• Семантичне виділення кордонів - це виділення кордонів, розбитих на класи.
• Виділення частин тіла людини.
• І сама Високорівнева завдання - розпізнавання самих об'єктів, Яке ми зараз розглянемо на прикладі розпізнавання осіб.

розпізнавання облич

Перше, що ми робимо - пробігаємо face detector "ом по зображенню для того, щоб знайти особу. Далі ми нормалізуємо, центруємо особа і запускаємо його на обробку в нейронну мережу. Після чого отримуємо набір або вектор ознак однозначно описує фичи цієї особи.

Потім ми можемо цей вектор ознак порівняти з усіма векторами ознак, які зберігаються у нас в базі даних, і отримати відсилання на конкретну людину, на його ім'я, на його профіль - все, що у нас може зберігатися в базі даних.

Саме таким чином працює наш продукт FindFace - це безкоштовний сервіс, який допомагає шукати профілі людей в базі «ВКонтакте».

Крім того, у нас є API для компаній, які хочуть спробувати наші продукти. Ми надаємо сервіс з детектування осіб, по верифікації та по ідентифікації користувачів.

Зараз у нас розроблені 2 сценарії. Перший - це ідентифікація, пошук особи по базі даних. Друге - це верифікація, це порівняння двох зображень з якоїсь ймовірністю, що це один і той же чоловік. Крім того, у нас зараз в розробці розпізнавання емоцій, розпізнавання зображень на відео і liveness detection - це розуміння, чи живий чоловік перед камерою або фотографія.

Трохи статистики. При ідентифікації, при пошуку по 10 тисячам фото у нас точність близько 95% в залежності від якості бази, 99% точність верифікації. І крім цього даний алгоритм дуже стійкий до змін - нам необов'язково дивитися в камеру, у нас можуть бути якісь загороджують предмети: окуляри, сонячні окуляри, борода, медична маска. У деяких випадках ми можемо перемогти навіть такі неймовірні складнощі для комп'ютерного зору, як і окуляри, і маска.

Дуже швидкий пошук, витрачається 0,5 секунд на обробку 1 мільярда фотографій. Нами розроблений унікальний індекс швидкого пошуку. Також ми можемо працювати з зображеннями низької якості, отриманих з CCTV-камер. Ми можемо обробляти це все в режимі реального часу. Можна завантажувати фото через веб-інтерфейс, через Android, iOS і здійснювати пошук по 100 мільйонам користувачів і їх 250 мільйонів фотографій.

Як я вже говорила ми зайняли перше місце на MegaFace competition - аналог для ImageNet, але для розпізнавання осіб. Він проводиться вже кілька років, в минулому році ми були кращими серед 100 команд з усього світу, включаючи Google.

Рекурентні нейронні мережі

Recurrent neural networks ми використовуємо тоді, коли нам недостатньо розпізнавати тільки зображення. У тих випадках, коли нам важливо дотримуватися послідовність, нам потрібен порядок того, що у нас відбувається, ми використовуємо звичайні рекурентні нейронні мережі.

Це застосовується для розпізнавання природної мови, для обробки відео, навіть використовується для розпізнавання зображень.

Про розпізнавання природної мови я розповідати не буду - після моєї доповіді ще будуть два, які будуть спрямовані на розпізнавання природної мови. Тому я розповім про роботу рекурентних мереж на прикладі розпізнавання емоцій.

Що таке рекурентні нейронні мережі? Це приблизно те ж саме, що і звичайні нейронні мережі, але зі зворотним зв'язком. Зворотній зв'язок нам потрібна, щоб передавати на вхід нейронної мережі або на якийсь із її шарів попередній стан системи.

Припустимо, ми обробляємо емоції. Навіть в усмішці - однієї з найпростіших емоцій - є кілька моментів: від нейтрального виразу обличчя до того моменту, коли у нас буде повна посмішка. Вони йдуть один за одним послідовно. Щоб це добре розуміти, нам потрібно вміти спостерігати за тим, як це відбувається, передавати те, що було на попередньому кадрі в наступний крок роботи системи.

У 2005 році на змаганні Emotion Recognition in the Wild спеціально для розпізнавання емоцій команда з Монреаля представила рекуррентную систему, яка виглядала дуже просто. У неї було всього кілька свёрточних шарів, і вона працювала виключно з відео. В цьому році вони додали також розпізнавання аудіо і cагрегіровалі покадрові дані, які виходять з convolutional neural networks, дані аудіосигналу з роботою рекуррентной нейронної мережі (з поверненням стану) і здобули перше місце на змаганні.

Навчання з підкріпленням

Наступний тип нейронних мереж, який дуже часто використовується останнім часом, але не отримав такого широкого розголосу, як попередні 2 типу - це deep reinforcement learning, навчання з підкріпленням.

Справа в тому, що в попередніх двох випадках ми використовуємо бази даних. У нас є або дані з осіб, які дані з картинок, які дані з емоціями з відеороликів. Якщо у нас цього немає, якщо ми не можемо це відзняти, як навчити робота брати об'єкти? Це ми робимо автоматично - ми не знаємо, як це працює. Інший приклад: складати великі бази даних в комп'ютерних іграх складно, та й не потрібно, можна зробити набагато простіше.

Все, напевно, чули про успіхи deep reinforcement learning в Atari і в го.

Хто чув про Atari? Ну хтось чув, добре. Про AlphaGo думаю чули всі, тому я навіть не буду розповідати, що саме там відбувається.

Що відбувається в Atari? Зліва якраз зображена архітектура цієї нейронної мережі. Вона навчається, граючи сама з собою для того, щоб отримати максимальну винагороду. Максимальна винагорода - це максимально швидкий результат гри з максимально великим рахунком.

Справа вгорі - останній шар нейронної мережі, який зображує все кількість станів системи, яка грала сама проти себе всього лише протягом двох годин. Червоним зображені бажані результати гри з максимальним винагородою, а блакитним - небажані. Мережа будує якесь поле і рухається за своїми навченим верствам в той стан, якого їй хочеться досягти.

В робототехніці ситуація складається трохи по-іншому. Чому? Тут у нас є кілька складнощів. По-перше, у нас не так багато баз даних. По-друге, нам потрібно координувати відразу три системи: сприйняття робота, його дії за допомогою маніпуляторів і його пам'ять - то, що було зроблено в попередньому кроці і як це було зроблено. Загалом це все дуже складно.

Справа в тому, що жодна нейронна мережа, навіть deep learning на даний момент, не може впорається з цим завданням досить ефективно, тому deep learning тільки виключно шматочки того, що потрібно зробити роботам. Наприклад, недавно Сергій Левін надав систему, яка вчить робота вистачати об'єкти.

Ось тут показані досліди, які він проводив на своїх 14 роботах-маніпуляторів.

Що тут відбувається? У цих тазиках, які ви перед собою бачите, різні об'єкти: ручки, гумки, менші кола і побільше, ганчірочки, різні текстури, різної твердості. Неясно, як навчити робота захоплювати їх. Протягом багатьох годин, а навіть, начебто, тижнів, роботи тренувалися, щоб вміти захоплювати ці предмети, складалися з цього приводу бази даних.

Бази даних - це якийсь відгук середовища, який нам потрібно накопичити для того, щоб мати можливість навчити робота щось робити надалі. Надалі роботи будуть навчатися на цій множині станів системи.

Нестандартні застосування нейронних мереж

Це на жаль, кінець, у мене не багато часу. Я розповім про ті нестандартні рішення, які зараз є і які, за багатьма прогнозами, матимуть якесь додаток в майбутньому.

Отже, вчені Стенфорда недавно придумали дуже незвичайне застосування нейронної мережі CNN для передбачення бідності. Що вони зробили?

Насправді концепція дуже проста. Справа в тому, що в Африці рівень бідності зашкалює за всі мислимі і немислимі межі. У них немає навіть можливості збирати соціальні демографічні дані. Тому з 2005 року у нас взагалі немає ніяких даних про те, що там відбувається.

Вчені збирали денні та нічні карти із супутників і згодовували їх нейронної мережі протягом деякого часу.

Нейронна мережа була преднастроена на ImageNet "е. Тобто перші шари фільтрів були налаштовані так, щоб вона вміла розпізнавати вже якісь зовсім прості речі, наприклад, дахи будинків, для пошуку поселення на денних картах. Потім денні карти були зіставлені з картами нічний освітленості того ж ділянки поверхні для того, щоб сказати, наскільки є гроші у населення, щоб хоча б висвітлювати свої будинки протягом нічного часу.

Тут ви бачите результати прогнозу, побудованого нейронною мережею. Прогноз був зроблений з різним дозволом. І ви бачите - самий останній кадр - реальні дані, зібрані урядом Уганди в 2005 році.

Можна помітити, що нейронна мережа склала досить точний прогноз, навіть з невеликим зрушенням з 2005 року.

Були звичайно і побічні ефекти. Вчені, які займаються deep learning, завжди з подивом виявляють різні побічні ефекти. Наприклад, як ті, що мережа навчилася розпізнавати воду, ліси, великі будівельні об'єкти, дороги - все це без вчителів, без заздалегідь побудованих баз даних. Взагалі повністю самостійно. Були якісь шари, які реагували, наприклад, на дороги.

І останнє застосування про який я хотіла б поговорити - семантична сегментація 3D зображень в медицині. Взагалі medical imaging - це складна область, з якої дуже складно працювати.

Для цього є кілька причин.

• У нас дуже мало баз даних. Не так легко знайти картинку мозку, до того ж пошкодженого, і взяти її теж нізвідки не можна.
• Навіть якщо у нас є така картинка, потрібно взяти медика і змусити його вручну розміщувати все багатошарові зображення, що дуже довго і вкрай неефективно. Не всі медики мають ресурси для того, щоб цим займатися.
• Потрібна дуже висока точність. Медична система не може помилятися. При розпізнаванні, наприклад, котиків, не розпізнали - нічого страшного. А якщо ми не розпізнали пухлина, то це вже не дуже добре. Тут особливо люті вимоги до надійності системи.
• Зображення в тривимірних елементах - воксель, не в пікселях, що доставляє додаткові складності розробникам систем.

Але як обійшли це питання в даному випадку? CNN була двупотоковая. Одна частина обробляла більш нормальне дозвіл, інша - трохи більше погіршене дозвіл для того, щоб зменшити кількість шарів, які нам потрібно навчати. За рахунок цього трохи скоротився час на тренування мережі.

Де це застосовується: визначення пошкоджень після удару, для пошуку пухлини в мозку, в кардіології для визначення того, як працює серце.

Ось приклад для визначення обсягу плаценти.

Автоматично це працює добре, але не настільки, щоб це було випущено в виробництво, тому поки тільки починається. Є кілька стартапів для створення таких систем медичного зору. Взагалі в deep learning дуже багато стартапів найближчим часом. Кажуть, що venture capitalists в останні півроку виділили більше бюджету на стартапи обрости deep learning, ніж за минулі 5 років.

Ця область активно розвивається, багато цікавих напрямків. Ми з вами живемо в цікавий час. Якщо ви займаєтеся deep learning, то вам, напевно, пора відкривати свій стартап.

Ну на цьому я, напевно, закруглений. Спасибі вам велике.

Нейронні мережі (НС) є одним з найостанніших наукових підходів до вивчення поведінки ринку. Ідея нейромереж полягає в моделюванні (повторенні) поведінки різних процесів на основі історичної інформації.

Останнім часом робляться активні спроби об'єднання штучних нейронних мереж і експертних систем. У такій системі штучна нейронна мережа може реагувати на більшість щодо простих випадків, а всі інші передаються для розгляду експертною системі. В результаті складні випадки приймаються на більш високому рівні, при цьому, можливо, зі збором додаткових даних або навіть із залученням експертів.

Вибір структури нейронних мереж здійснюється відповідно до особливостей і складністю завдання. Якщо ж завдання не може бути зведена до жодного з відомих типів, розробнику доводиться вирішувати складну проблему синтезу нової конфігурації.

Сама нейросеть являє собою набір спеціальних математичних функцій з безліччю параметрів, які налаштовуються в процесі навчання на минулих даних. Потім, навчена нейромережа обробляє вихідні реальні дані і видає свій прогноз майбутнього поведінки досліджуваної системи. Основним недоліком програм на основі нейронних мереж є якраз проблема правильного навчання нейромережі і виключення надмірного навчання, що дуже може сильно вплинути на адекватність моделі ринку.

Перевагою нейрокомпьютинга є єдиний принцип навчання нейромереж - мінімізація емпіричної помилки. Функція помилки, оцінює дану конфігурацію мережі, задається ззовні - в залежності від того, яку мету переслідує навчання. Далі мережу починає поступово модифікувати свою конфігурацію - стан всіх своїх синаптичних ваг - таким чином, щоб мінімізувати цю помилку. У підсумку, в процесі навчання мережу все краще справляється з покладеною на неї завданням.

Існує безліч різних алгоритмів навчання, які діляться на два великі класи: детерміновані і стохастичні. У першому з них підстроювання ваг являє собою жорстку послідовність дій, у другому - вона виробляється на основі дій, що підкоряються деякого випадкового процесу.

Багатошарові нейронні мережі (кілька з'єднаних один за одним одношарових нейронних мереж) стали використовуватися набагато пізніше одношарових, тому що раніше не було методики навчання таких мереж. Багатошарові мережі здатні розпізнавати більш складні об'єкти, тобто мають більш оптимальними апроксимується здібностями, ніж одношарові. Вже трьох шарова нейронна мережа може розпізнати будь-який образ! Якщо створити рекурентное (із зворотними зв'язками між шарами) нейронну мережу, то мережу починає працювати самостійно. Для навчання такої мережі досить подати вхідний сигнал і вона сама буде здатна класифікувати об'єкт, заданий цими сигналами.

В економічній сфері нейромережі застосовуються для вирішення за допомогою нейрокомп'ютерів наступних завдань: Прогнозування часових рядів на основі нейромережевих методів обробки (валютний курс, попит і котирування акцій і ін.); Страхова діяльність банків; Прогнозування банкрутств на основі нейромережевої системи; Визначення курсів облігацій і акцій підприємств з метою вкладення коштів в ці підприємства; Застосування нейронних мереж до завдань біржової діяльності; Прогнозування економічної ефективності фінансування економічних і інноваційних проектів.

Всі обчислення в нейросетях проводяться розробленими спеціальними пакетами прикладних програм. Нейропакет зараз стали більш-менш класичним засобом в області нових обчислювальних і інформаційних технологій. Тому, дуже багато фірм, що займаються розробкою нових продуктів, користуються нейротехнологій. Маючи такий продукт, ви його встановлюєте, потім навчаєте і запускаєте. Самі пакети оновлюються по кілька разів на рік, тому всі вони досить сучасні.

Нейромережеві прикладні пакети, що розробляються низкою компаній, дозволяють користувачам працювати з різними видами нейронних мереж і з різними способами їх навчання. Вони можуть бути як спеціалізованими (наприклад, для передбачення курсу акцій), так і досить універсальними.

Зокрема є пакет Statistica Neural Networks. Помітною перевагою даного пакета є те, що він природно вбудований величезний арсенал методів статистичного аналізу та візуалізації даних, який представлений в системі Statistica.

Neuroshell DayTrader - найвідоміша програма для створення нейронних мереж для аналізу ринку. Крім нейронних мереж, містить і класичні інструменти і індикатори технічного аналізу. Розуміє формат Metastock.

Excel Neural Package - російська програма для створення нейромереж і аналізу їх в Microsoft Excel.

Література: Осовский С. Нейронні мережі для обробки інформації. М., Фінанси і статистика, 2002. Назаров А.В., Лоскутов А.І. Нейромережеві алгоритми прогнозування і оптимізації систем. - СПб .: Наука і Техніка, 2003.