Кореляційна матриця. Центр системної оптимізації бізнесу та управління якістю - факторний аналіз Кореляційна матриця для факторного аналізу

Є сукупністю статистичних процедур, спрямованих на виділення із заданої безлічі змінних підмножин змінних, тісно пов'язаних (корелюючих) між собою. Змінні, що входять в одне підмножина і корелює між собою, але значною мірою незалежні від змінних з інших підмножин, утворюють фактори. Мета факторного аналізу - ідентифікувати фактори, що явно не спостерігаються, за допомогою безлічі спостережуваних змінних. Додатковим способом перевірки числа виділених факторів є обчислення кореляційної матриці, яка близька до вихідної, якщо фактори виділені правильно. Ця матриця називається відтвореноїкореляційною матрицею. Щоб побачити, як ця матриця відхиляється від вихідної кореляційної матриці (з якої починався аналіз), можна обчислити різницю між ними. Залишкова матриця може вказати на "незгоду", тобто на те, що коефіцієнти кореляції, що розглядаються, не можуть бути отримані з достатньою точністю на основі наявних факторів. У методах головних компонентів і факторного аналізу немає такого зовнішнього критерію, що дозволяє судити про правильність рішення. Друга проблема полягає в тому, що після виділення факторів виникає безліч варіантів обертання, що базуються на тих же вихідних змінних, але дають різні рішення (факторні структури визначаються дещо іншим чином). Остаточний вибір між можливими альтернативами всередині нескінченної множини математично рівнозначних рішень залежить від змістовного осмислення дослідниками результатів інтерпретації. А оскільки об'єктивного критерію для оцінки різних рішень немає, запропоновані обґрунтування вибору рішення можуть здаватися голослівними та непереконливими.

Слід зазначити, що чітких статистичних критеріїв повноти факторизації немає. Проте, низькі її значення, наприклад, менше 0,7, свідчать про бажаність скорочення кількості ознак або збільшення кількості факторів.

Коефіцієнт взаємозв'язку між деякою ознакою і загальним фактором, що виражає міру впливу фактора на ознаку, називається факторним навантаженням даної ознаки по даному загальному фактору.

Матриця, що складається з факторних навантажень і має число стовпців, що дорівнює кількості загальних факторів, і рядків, що дорівнює кількості вихідних ознак, називається факторною матрицею.

Основою обчислення факторної матриці є матриця парних коефіцієнтів кореляції вихідних ознак.

Кореляційна матриця фіксує рівень взаємозв'язку між кожною парою ознак. Аналогічно факторна матриця фіксує ступінь лінійного зв'язку кожної ознаки з кожним загальним фактором.

Величина факторного навантаження не перевищує за модулем одиниці, а знак її говорить про позитивний або негативний зв'язок ознаки з фактором.

Чим більша абсолютна величина факторного навантаження ознаки за деяким фактором, тим більшою мірою цей фактор визначає цю ознаку.

Значення факторного навантаження за деяким фактором, близьке до нуля, говорить про те, що цей фактор практично на цю ознаку не впливає.

Факторна модель дозволяє обчислювати вклади факторів у загальну дисперсію всіх ознак. Підсумовуючи квадрати факторних навантажень для кожного фактора за всіма ознаками, отримуємо його внесок у загальну дисперсію системи ознак: чим вища частка цього вкладу, тим більш значущим є суттєвим даний фактор.

При цьому можна виявити і оптимальну кількість загальних факторів, які досить добре описують систему вихідних ознак.

Значення (захід прояву) фактора в окремого об'єкта називається факторною вагою об'єкта по даному фактору. Факторні ваги дозволяють ранжувати, впорядкувати об'єкти за кожним фактором.

Чим більший факторний вага деякого об'єкта, то більше в ньому проявляється той бік явища чи та закономірність, яка відбивається даним фактором.

Факторні ваги можуть бути як позитивними, і негативними.

У силу того, що фактори є стандартизованими величинами із середнім значенням, рівним нулю, факторні ваги, близькі до нуля, говорять про середній ступінь прояву фактора, позитивні – про те, що цей ступінь вищий за середній, негативні – про те. що вона нижче середньої.

Практично, якщо кількість вже знайдених головних компонентів (або факторів) не більша, ніж m/2, пояснювана ними дисперсія щонайменше 70%, а наступна компонента дає внесок у сумарну дисперсію трохи більше 5%, факторна модель вважається досить хорошої.

Якщо Ви хочете знайти значення факторів і зберегти їх у вигляді додаткових змінних, задійте вимикач Scores... (Значення) Факторне значення, як правило, лежить в межах -3 до +3.

Факторний аналіз - потужніший і складніший апарат, ніж метод головних

компонент, тому він застосовується у тому випадку, якщо результати

компонентного аналізу недостатньо влаштовують. Але оскільки ці два методи

вирішують однакові завдання, необхідно порівняти результати компонентного та

факторних аналізів, тобто матриці навантажень, а також рівняння регресії на

основні компоненти та загальні фактори, прокоментувати подібність та відмінності

результатів.

Максимально можлива кількість факторів mпри заданій кількості ознак рвизначається нерівністю

(р+m)<(р-m)2,

На завершення всієї процедури факторного аналізу за допомогою математичних перетворень виражають фактори fj через вихідні ознаки, тобто одержують явно параметри лінійної діагностичної моделі.

Методи головних компонентів і факторного аналізу є сукупність статистичних процедур, вкладених у виділення із заданого безлічі змінних підмножин змінних, тісно пов'язаних (корелюючих) між собою. Змінні, що входять в одне підмножина та корелюють між собою, але значною мірою незалежні від змінних з інших підмножин, утворюють фактори 1 . Мета факторного аналізу - ідентифікувати фактори, що явно не спостерігаються, за допомогою безлічі спостережуваних змінних.

Загальний вираз для j-го фактора може бути записано так:

де Fj (jзмінюється від 1 до k) - це загальні фактори, Ui- характерний, Aij- константи, які використовуються в лінійній комбінації kфакторів. Характерні фактори можуть не корелювати один з одним та із загальними факторами.

Процедури факторно-аналітичної обробки, що застосовуються до отриманих даних, різні, але структура (алгоритм) аналізу складається з тих самих основних етапів: 1. Підготовка вихідної матриці даних. 2. Обчислення матриці взаємозв'язків ознак. 3. Факторизація(при цьому необхідно вказати кількість факторів, що виділяються в ході факторного рішення, та метод обчислення). На цьому етапі (як і на наступному) можна оцінити, наскільки добре отримане факторне рішення зближує вихідні дані. 4. Обертання - перетворення факторів, що полегшує їх інтерпретацію. 5. Підрахунок факторних значеньза кожним фактором для кожного спостереження. 6. Інтерпретація даних.

винахід факторного аналізу був пов'язаний саме з необхідністю одночасного аналізу великої кількості коефіцієнтів кореляції різних шкал між собою. Одна з проблем, пов'язаних з методами головних компонентів і факторного аналізу полягає в тому, що критеріїв, які б перевірити правильність знайденого рішення, не існує. Наприклад, при регресійному аналізі можна зіставити показники залежним змінним, отримані емпіричним шляхом, з показниками, обчисленими теоретично на основі запропонованої моделі, і використовувати кореляцію між ними як критерій правильності рішення за схемою кореляційного аналізу для двох наборів змінних. У дискримінантному аналізі правильність рішення базується на тому, наскільки точно передбачена належність до тих чи інших класів (якщо порівнювати з реальною приналежністю, що має місце в житті). На жаль, в методах головних компонентів і факторного аналізу не існує такого зовнішнього критерію, що дозволяє судити про правильність рішення, Друга проблема полягає в тому, що після виділення факторів виникає безліч варіантів обертання, що базуються на тих же вихідних змінних, але дають різні рішення ( факторні структури визначаються дещо іншим чином). Остаточний вибір між можливими альтернативами всередині нескінченної множини математично рівнозначних рішень залежить від змістовного осмислення дослідниками результатів інтерпретації. А оскільки об'єктивного критерію для оцінки різних рішень немає, запропоновані обґрунтування вибору рішення можуть здаватися голослівними та непереконливими.

Третя проблема полягає в тому, що факторний аналіз досить часто застосовують з метою врятувати погано продумане дослідження, коли стає зрозумілим, що жодна статистична процедура не дає бажаного результату. Потужність методів головних компонентів і факторного аналізу дозволяє з хаотичної інформації побудувати впорядковану концепцію (що створює їм сумнівну репутацію).

Друга група термінів відноситься до матриць, які будуються та інтерпретуються як частина рішення. Поворотфакторів - це процес пошуку найлегше інтерпретованого рішення для даної кількості факторів. Існують два основні класи поворотів: ортогональнийі косокутний. У першому випадку всі фактори апріорно вибираються ортогональними (не корелюючими один з одним) і будується матриця факторних навантажень, Що являє собою матрицю взаємозв'язків між змінними, що спостерігаються, і факторами. Величина навантажень відображає ступінь зв'язку кожної змінної, що спостерігається, і кожним фактором і інтерпретується як коефіцієнт кореляції між спостережуваною змінною і фактором (латентною змінною), а тому змінюється в межах від -1 до 1. Рішення, отримане після ортогонального повороту, інтерпретується на основі аналізу матриці факторних навантажень шляхом виявлення того, з яким із факторів максимально пов'язана та чи інша змінна, що спостерігається. Таким чином, кожен фактор виявляється заданим групою первинних змінних, що мають за ним найбільші факторні навантаження.

Якщо виконується косокутне обертання (тобто апріорно допускається можливість кореляції факторів між собою), то будується ще кілька додаткових матриць. Матриця факторної кореляціїмістить кореляцію між факторами. Матриця факторних навантажень, згадана вище, розщеплюється на дві: структурну матрицю взаємозв'язківміж факторами та змінними та матрицю факторного відображення, що виражає лінійні взаємозв'язки між кожною змінною, що спостерігається, і кожним фактором (без урахування впливу накладання одних факторів на інші, що виражається кореляцією факторів між собою). Після косокутного обертання інтерпретація факторів відбувається на основі угруповання первинних змінних (подібно до того, як було описано вище), але вже з використанням в першу чергу матриці факторного відображення.

Нарешті, для обох поворотів обчислюється матриця коефіцієнтів факторних значень, що використовується у спеціальних рівняннях регресійного типу для обчислення факторних значень (факторних балів, показників за факторами) для кожного спостереження на основі значень для них первинних змінних.

Порівнюючи методи основних компонентів і факторного аналізу, відзначимо таке. У ході виконання аналізу за методом основних компонентів будується модель для найкращого пояснення (максимального відтворення) повної дисперсії експериментальних даних, отриманих по всіх змінних. В результаті виділяються "компоненти". При факторном аналізі передбачається, кожна змінна пояснюється (детермінується) деякою кількістю гіпотетичних загальних чинників (що впливають попри всі змінні) і характерними чинниками (кожною змінною своїми). І обчислювальні процедури виконуються таким чином, щоб звільнитися як від дисперсії, отриманої в результаті помилки вимірювання, так і від дисперсії, що пояснюється специфічними факторами, і аналізувати тільки дисперсії, що пояснюються загальними гіпотетично існуючими факторами. В результаті виходять об'єкти, які називають факторами. Однак, як уже згадувалося, з змістовно-психологічної точки зору ця різниця в математичних моделях суттєвого значення не має, тому надалі, якщо не дається особливих пояснень, про який саме випадок йдеться, ми будемо використовувати термін «фактор» як щодо компонентів, і щодо факторам.

Розміри вибірки та пропущені дані. Чим більша вибірка, тим більша достовірність показників взаємозв'язку. Тому дуже важливо мати досить велику вибірку. Необхідний розмір вибірки також залежить від ступеня взаємозв'язку показників у популяції загалом та кількості факторів: при сильній та достовірній взаємозв'язку та невеликій кількості чітко окреслених факторів буде достатньо і невеликої вибірки.

Так, вибірка, розмір якої 50 піддослідних, оцінюється як дуже погана, 100 – погана, 200 – середня, 300 – хороша, 500 – дуже хороша і 1000 – чудова ( Comrey, Lee, 1992). Виходячи з цих міркувань, як загальний принцип можна порекомендувати дослідити вибірки не менше 300 піддослідних. Для рішення, що базується на достатній кількості маркерних змінних з високими факторними навантаженнями (>0.80), достатньо вибірки близько 150 піддослідних ( Guadagnoli, Velicer, 1988). нормальність для кожної змінної окремо перевіряється за асиметрії(наскільки крива розподілу, що досліджується, зсунута вправо або вліво в порівнянні з теоретично нормальною кривою) і ексцесу(Ступінь витягнутості вгору або прогнутості вниз «дзвони» наявного розподілу, візуально представленого в частотній діаграмі, в порівнянні з «дзвоном» графіка щільності, характерним для нормального розподілу). Якщо змінна має суттєві асиметрію та ексцес, то її можна перетворити, ввівши нову змінну (як однозначну функцію від аналізованої) таким чином, щоб ця нова змінна була розподілена нормально (докладніше про це див. Tabachnik, Fidell, 1996, гол. 4).

Власні вектори та відповідні власні числа
для аналізованого навчального прикладу


Власний вектор 1	Власний вектор 2




Власне значення 1	Власне значення 2

Оскільки кореляційна матриця діагоналізується, для отримання результатів факторного аналізу до неї можна застосовувати матричну алгебру власних векторів і власних величин (див. Додаток 1). Якщо матриця діагоналізується, то вся суттєва інформація про факторну структуру міститься у її діагональній формі. У факторному аналізі власні числа відповідають дисперсії, яка пояснюється факторами. Фактор з найбільшою власною величиною пояснює найбільшу дисперсію і т. д., доки не доходить до факторів з невеликими або негативними власними величинами, які зазвичай не враховуються при аналізі. Матриця факторних навантажень є матрицею взаємозв'язків (інтерпретованих як коефіцієнти кореляцій) між факторами та змінними. Перший стовпець - це кореляції між першим фактором та кожною змінною по черзі: вартість путівки (-.400), комфортабельність комплексу (.251), Температура повітря (.932), Температура води(956). Другий стовпець - це кореляції між другим фактором та кожною змінною: вартість путівки (.900), комфортабельність комплексу(-.947), температура повітря (..348), Температура води(286). Фактор інтерпретується на основі сильно пов'язаних з ним (тобто мають за ним високі навантаження) змінних. Так, перший фактор головним чином «кліматичний» ( температура повітря та води), тоді як другий «економічний» ( вартість путівки та комфортабельність комплексу).

Інтерпретуючи ці фактори, слід звернути увагу на те, що змінні, що мають високі навантаження за першим фактором ( Температура повітряі Температура води), взаємопов'язані позитивно, тоді як змінні, що мають високі навантаження по другому фактору ( вартість путівкиі комфортабельність комплексу), взаємопов'язані негативно (від дешевого курорту не можна очікувати великої комфортабельності). Перший фактор називається уніполярним (усі змінні згруповані на одному полюсі), а другий - біполярним(Змінні розпалися на дві протилежні за змістом групи - два полюси). Змінні, мають факторні навантаження зі знаком «плюс», утворюють позитивний полюс, а зі знаком «мінус» - негативний. У цьому назви полюсів «позитивний» і «негативний» при інтерпретації чинника немає оцінного сенсу «поганий» і «хороший». Вибір знака відбувається під час обчислень випадково. Ортогональне обертання

Обертання зазвичай застосовується після виділення факторів для максимізації високих кореляцій та мінімізації низьких. Існують численні методи обертання, але найчастіше використовується поворот варімакс, Що являє собою процедуру максимізації дисперсій Цей поворот максимізує дисперсії факторних навантажень, роблячи високі навантаження вищими, а нижчими нижче для кожного з факторів. Ця мета досягається за допомогою матриці перетворення Λ:

Матриця перетворення- це матриця синусів та косінусів кута Ψ, на який виконується поворот. (Звідси і назва перетворення - поворотВиконавши поворот і отримавши матрицю факторних навантажень після повороту, можна проаналізувати серію інших показників (див. табл. 4). Спільність змінної– це дисперсія, розрахована за допомогою факторних навантажень. Це квадратична множинна кореляція змінної, передбачена факторною моделлю. Спільність обчислюється як сума квадратів факторних навантажень (СКН) для змінної за всіма чинниками. У табл. 4 спільність для вартості путівкидорівнює (-.086)2+(.981)2 = .970, тобто 97% дисперсії вартості путівкипояснюється факторами 1 та 2.

Частка дисперсії фактора за всіма змінними - це СКН за фактором, поділена на кількість змінних (у разі ортогонального обертання) 7 . Для першого фактора частка дисперсії дорівнює:

[(-.086)2+(-.071)2+(.994)2+(.997)2]/4 = 1.994/4 = .50,

т. е. перший чинник пояснює 50% дисперсії змінних. Другий фактор пояснює 48% дисперсії змінних і (через ортогональність обертання) два фактори в сумі пояснюють 98% дисперсії змінних.

Зв'язок між факторними навантаженнями, спільностями, СКН,
дисперсією та підступом ортогональних факторів після повороту

			Товариства ( h2)
Вартість путівки			∑a2=.970
Рівень комфорту			∑a2=.960
Температура повітря			∑a2=.989
Температура води			∑a2=.996
	∑a2=1.994	∑a2=1.919
Частка дисперсії
Частка коваріації

Частка дисперсії рішення, яка пояснюється фактором, - частка підступи- це СКН для фактора, поділена на суму спільностей (суму СКН за змінними). Перший фактор пояснює 51% дисперсії рішення (1994/3915); другий – 49% (1.919/3.915); два чинники разом пояснюють усю коваріацію.

Eigenval – відбивають величину дисперсії відповідної кількості чинників. Як вправу рекомендуємо виписати всі ці формули для отримання розрахункових значень змінних. Наприклад, для першого респондента:

1.23 = -.086(1.12) + .981(-1.16)

1.05 = -.072(1.12) - .978(-1.16)

1.08 = .994(1.12) + .027(-1.16)

1.16 = .997(1.12) - .040(-1.16)

Або в формі алгебри:

Z вартості путівки = a 11F 1 + a 12F 2

Z комфортабельності комплексу = a 2l F 1 + a 22F 2

Z температури повітря = a 31F 1 + a 32F 2

Z температури води = a 41F 1 + a 42F 2

Що більше навантаження, то з більшою впевненістю вважатимуться, що змінна визначає чинник. Комрі та Лі ( Comrey, Lee, 1992) припускають, що навантаження, що перевищують 0.71 (пояснює 50% дисперсії), - чудові, 0% дисперсії) - дуже хороші, 0%) - хороші, 0%) - задовільні та 0.32 (пояснює 10% дисперсії) - слабкі.

Припустимо, що ви проводите (до певної міри "дурне") дослідження, в якому вимірюєте зростання ста людей у дюймах та сантиметрах. Таким чином, у вас є дві змінні. Якщо далі ви захочете дослідити, наприклад, вплив різних харчових добавок на ріст, чи продовжуватимете ви використовувати обидвізмінні? Ймовірно, ні, тому що зростання є однією характеристикою людини, незалежно від того, в яких одиницях він вимірюється.

Залежність між змінними можна знайти за допомогою діаграми розсіювання. Отримана шляхом припасування лінія регресії дає графічне уявлення залежності. Якщо визначити нову змінну на основі лінії регресії, зображеної на цій діаграмі, то така змінна буде включати найбільш суттєві риси обох змінних. Отже, фактично, ви скоротили кількість змінних та замінили дві однієї. Відзначимо, що новий фактор (змінна) насправді є лінійною комбінацією двох вихідних змінних.

Факторний аналіз – це галузь математичної статистики. Його цілі, як і мету інших розділів математичної статистики, полягає у розробці моделей, понять та методів, що дозволяють аналізувати та інтерпретувати масиви експериментальних чи спостережуваних даних незалежно від їх фізичної форми.

Однією з найбільш типових форм подання експериментальних даних є матриця, стовпці якої відповідають різним параметрам, властивостям, тестам тощо, а рядки - окремим об'єктам, явищам, режимам, що описуються набором конкретних значень параметрів. Насправді розміри матриці виявляються досить великими: так, число рядків цієї матриці може коливатися від кількох десятків до кількох сотень тисяч (наприклад, при соціологічних обстеженнях), а кількість стовпців - від однієї - двох сотень. Безпосередній, "візуальний", аналіз матриць такого розміру неможливий, тому в математичній статистиці виникло багато підходів і методів, призначених для того, щоб "стиснути" вихідну інформацію, укладену в матриці, до доступних для огляду розмірів, витягти з вихідної інформації найбільш "істотне", відкинувши "другорядне", "випадкове".

При аналізі даних, представлених у формі матриці, з'являються два типи завдань. Завдання першого типу мають на меті отримати "короткий опис" розподілу об'єктів, а завдання другого - виявити взаємини між параметрами.

Слід мати на увазі, що основний стимул для появи зазначених завдань полягає не тільки і не стільки в бажанні коротко закодувати великий масив чисел, а в значно більш принциповій обставині, що має методологічний характер: якщо вдалося коротко описати великий масив чисел, то можна вірити, що розкрито певну об'єктивну закономірність, що зумовила можливість короткого опису; адже саме пошук об'єктивних закономірностей і є основною метою, заради якої, як правило, і збираються дані.

Згадані підходи та методи обробки матриці даних відрізняються тим, якого типу завдання обробки даних вони призначені вирішувати, і тим, до матриць якого розміру вони застосовні.

Що ж до проблеми короткого опису зв'язків між параметрами при середній кількості цих параметрів, то в даному випадку відповідна кореляційна матриця містить кілька десятків або сотень чисел і сама по собі вона ще не може служити "коротким описом" існуючих зв'язків між параметрами, а повинна з цією метою піддатися подальшій обробці.

Факторний аналіз якраз і є набором моделей і методів, призначених для “стиснення” інформації, що міститься в кореляційній матриці. В основі різних моделей факторного аналізу лежить наступна гіпотеза: спостережувані або вимірювані параметри є лише непрямими характеристиками об'єкта, що вивчається, або явища, насправді ж існують внутрішні (приховані, не спостерігаються безпосередньо) параметри або властивості, число яких мало і які визначають значення спостережуваних параметрів. Ці внутрішні параметри прийнято називати факторами. Завдання факторного аналізу - уявити спостерігаються параметри як лінійних комбінацій чинників і, можливо, деяких додаткових, “не істотних” величин - “перешкод”. Чудовим є той факт, що, хоча самі фактори не відомі, таке розкладання може бути отримане і, більше, такі чинники можна визначити, тобто. для кожного об'єкта може бути вказано значення кожного фактора.

Факторний аналіз, незалежно від методів, починається з обробки таблиці інтеркореляцій, отриманих на безлічі тестів, відомої як кореляційна матриця, а закінчується отриманням факторної матриці, тобто. таблиці, що показує вагу або навантаження кожного з факторів кожного тесту. Таблиця 1 являє собою гіпотетичну факторну матрицю, що включає лише два фактори.

Фактори перераховуються у верхньому рядку таблиці від більш значущого до менш значущого, а їх ваги у кожному з 10 тестів дано у відповідних стовпцях.

Таблиця 1

Гіпотетична факторна матриця

Осі координат.Прийнято представляти фактори геометрично як осей координат, щодо яких кожен тест може бути зображений як точки. Мал. 1 пояснює цю процедуру. На цьому графіку кожен із 10 тестів, наведених у табл.1, відображений у вигляді точки щодо двох факторів, які відповідають осям I та II. Так, тест 1 представлений точкою з координатами 0,74 осі I і 0,54 осі II. Точки, що представляють решту 9 тестів, побудовані аналогічним способом, з використанням значень ваги з табл. 1.

Слід зауважити, що положення осей координат не фіксується даними. Вихідна таблиця кореляцій визначає лише положення тестів (тобто точок на рис. 1) щодо один одного.Ті ж точки можна завдати на площину з будь-яким положенням координатних осей. З цієї причини при проведенні факторного аналізу зазвичай обертають осі до тих пір, поки не отримують найбільш прийнятного і інтерпретованого відображення.

Мал. 1. Гіпотетичне факторне відображення, що показує ваги двох групових факторів кожного з 10 тестів.

На рис. 1 отримані після обертання осі I" та II" показані пунктирними лініями. Це обертання виконано відповідно до запропонованих Терстоуном критеріїв. позитивного різноманіття та простої структури.Перший передбачає обертання осей до становища, у якому виключаються все значні негативні ваги. Більшість психологів вважають негативні факторні навантаження логічно невідповідними тестам здібностей, тому що таке навантаження означає, що чим вище оцінка індивідуума за специфічним фактором, тим нижчим буде його результат за відповідним тестом. Критерій простої структури, по суті, означає, що кожен тест повинен мати навантаження якнайменше факторів.

Виконання обох критеріїв дає чинники, які можна легко і однозначно інтерпретувати. Якщо тест має високе навантаження по одному фактору і не має значних навантажень по інших факторах, ми можемо дізнатися про природу цього фактора, вивчивши зміст даного тесту. Навпаки, якщо тест має середні чи низькі навантаження за шістьма факторами, то він мало що скаже нам про природу будь-якого з них.

На рис. 1 добре видно, що після обертання осей координат всі вербальні тести (1-5) розташовуються вздовж або дуже близько до осі "І", а числові тести (6-10) тісно групуються навколо осі II". Нові факторні навантаження, виміряні щодо повернутих осей, наведено у табл. 2. Факторні навантаження у табл. 2 не мають негативних значень, за винятком зневажливо малих величин, що явно відносяться до помилок вибірки. Всі вербальні тести мають високі навантаження за фактором I" і практично нульові - за фактором II". Числові тести, навпаки, мають високі навантаження за фактором ІІ "і зневажливо низькі - за фактором І". Таким чином, обертання координатних осей суттєво спростило ідентифікацію та назву обох факторів, а також опис факторного складу кожного тесту. На практиці число факторів часто виявляється більше двох, що, зрозуміло, ускладнює їхнє геометричне уявлення та статистичний аналіз, але не змінює істоти розглянутої процедури.

Таблиця 2

Факторна матриця після обертання

Деякі дослідники керуються теоретичною моделлю як принцип обертання осей. Крім того, береться до уваги незмінність, або підтвердження одних і тих же факторів у незалежно виконаних, але порівнянних дослідженнях.

Інтерпретація чинників.Отримавши після процедури обертання факторне рішення (чи, простіше кажучи, факторну матрицю), ми можемо переходити до інтерпретації та найменування факторів. Цей етап роботи швидше потребує психологічної інтуїції, ніж статистичної підготовки. Щоб зрозуміти природу конкретного фактора, нам нічого не залишається, як вивчити тести, що мають високі навантаження щодо цього фактора, і спробувати виявити загальні для них психологічні процеси. Чим більше виявляється тестів з високими навантаженнями за цим фактором, тим легше розкрити його природу. З табл. 2, наприклад, відразу видно, що фактор I "вербальний, а фактор II" числовий. Наведені у табл. 2 факторні навантаження відображають кореляцію кожного тесту з фактором.

Основні положення

Факторний аналіз – це один із нових розділів багатовимірного статистичного аналізу. Спочатку цей метод розроблявся пояснення кореляції між вихідними параметрами. Результатом кореляційного аналізу є матриця коефіцієнтів кореляції. При малій кількості ознак (змінних) можна провести візуальний аналіз цієї матриці. Зі зростанням числа ознак (10 і більше) візуальний аналіз не дасть позитивних результатів. Виявляється, що все різноманіття кореляційних зв'язків можна пояснити дією кількох узагальнених факторів, які є функціями досліджуваних параметрів, при цьому самі фактори можуть бути невідомі, але можна виразити їх через досліджувані ознаки. Основоположником факторного аналізу є американський вчений Л. Терстоун.

Сучасні статистики під факторним аналізом розуміють сукупність методів, які на основі реально існуючого зв'язку між ознаками дозволяє виявити латентні (приховані) узагальнюючі характеристики організаційної структури та механізми розвитку явищ і процесів, що вивчаються.

Приклад: припустимо, що n автомобілів оцінюється за двома ознаками:

x 1 – вартість автомобіля,

x 2 – тривалість робочого ресурсу двигуна.

За умови корелювання x 1 і x 2 в системі координат з'являється спрямоване і досить щільне скупчення точок, формально відображається новими осями (Рис.5).

Рис.6

Характерна риса F 1 та F 2 полягає в тому, що вони проходять через щільні скупчення точок і в свою чергу корелюють з x 1 x 2. Максимальне

число нових осей дорівнюватиме числу елементарних ознак. Подальші розробки факторного аналізу показали, що цей метод може бути успішно застосований у завданнях угруповання та класифікації об'єктів.

Подання інформації у факторному аналізі.

Для проведення факторного аналізу інформація має бути подана у вигляді матриці розміром m x n:

Рядки матриці відповідають об'єктам спостережень (i=), а стовпці – ознакам (j=).

Ознаки, що характеризують об'єкт, мають різну розмірність. Для того, щоб їх привести до однієї розмірності та забезпечити сумісність ознак, матрицю вихідних даних зазвичай нормують, вводячи єдиний масштаб. Найпоширенішим способом нормування є стандартизація. Від змінних переходять до змінних

Середнє значення jознаки,

Середньоквадратичне відхилення.

Таке перетворення називається стандартизацією.

Основна модель факторного аналізу

Основна модель факторного аналізу має вигляд:

z j – j-й ознака (величина випадкова);

F 1 , F 2 , …, F p- Загальні фактори (величини випадкові, нормально розподілені);

u j- Характерний фактор;

 j1 ,  j2 , …,  jp – фактори навантаження, що характеризують суттєвість впливу кожного фактора (параметри моделі, що підлягають визначенню);

Загальні чинники мають значення для аналізу всіх ознак. Характерні фактори показують, що він відноситься тільки до даної ознаки, це специфіка ознаки, яка не може бути виражена через фактори. Факторні навантаження  j1 ,  j2 , …,  jp характеризують величину впливу того чи іншого загального фактора у варіації даної ознаки. Основне завдання факторного аналізу – визначити факторні навантаження. Дисперсію S j 2 кожної ознаки, можна розділити на 2 складові:

перша частина зумовлює дію загальних факторів - спільність h j 2;

друга частина зумовлює дію характерного фактора -характерність - d j 2 .

Усі змінні представлені у стандартизованому вигляді, тому дисперсія - держпризнака S j 2 = 1.

Якщо загальні та характерні фактори не корелюють між собою, то дисперсію j-ї ознаки можна представити у вигляді:

де - частка дисперсії ознаки, що припадає на k-ий фактор.

Повний внесок будь-якого фактора в сумарну дисперсію дорівнює:

Внесок усіх загальних факторів у сумарну дисперсію:

Результати факторного аналізу зручно подати у вигляді таблиці.

	Факторні навантаження	Товариства
	a 11 a 21 … a p1 a 12 a 22 … a p2 … … … … a 1m a 2m … a pm

факторів	V 1 V 2 … V p

А- матриця факторних навантажень. Її можна отримати різними способами, в даний час найбільше поширення отримав метод головних компонент або головних факторів.

Обчислювальна процедура способу основних чинників.

Розв'язання задачі за допомогою головних компонентів зводиться до поетапного перетворення матриці вихідних даних X :

Х- матриця вихідних даних;

Z- матриця стандартизованих значень ознак,

R- матриця парних кореляцій:

Діагональна матриця власних (характеристичних) чисел,

 j знаходять рішення характеристичного рівняння

Е-одинична матриця,

 j – показник дисперсії кожної головної компоненти ,

за умови стандартизації вихідних даних, тоді = m

U– матриця власних векторів, які знаходять із рівняння:

Реально це означає рішення mсистем лінійних рівнянь для кожного

Тобто. кожному власному числу відповідає система рівнянь.

Потім знаходять V- матрицю нормованих власних векторів.

Матрицю факторного відображення А обчислюють за такою формулою:

Потім знаходимо значення головних компонент за однією з еквівалентних формул:

Сукупність із чотирьох промислових підприємств оцінена за трьома характерними ознаками:

середньорічне вироблення однієї працівника х 1 ;

рівень рентабельності х 2;

Рівень фондовіддачі х 3.

Результат представлений у стандартизованій матриці Z:

По матриці Zотримано матрицю парних кореляцій R:

Знайдемо визначник матриці парних кореляцій (наприклад методом Фаддєєва):

Побудуємо характеристичне рівняння:

Вирішуючи це рівняння знайдемо:

Таким чином, вихідні елементарні ознаки х 1 , х 2 , х 3 можуть бути узагальнені значеннями трьох головних компонент, причому:

F 1 пояснює приблизно всій варіації,

F 2 - , а F 3 -

Усі три основні компоненти пояснюють варіації повністю на 100%.

Вирішуючи цю систему знаходимо:

Аналогічно будуються системи для  2 та  3 . Для  2 рішення системи:

Матриця власних векторів Uнабуває вигляду:

Кожен елемент матриці розділимо на суму квадратів елементів j-го

стовпця, отримаємо нормовану матрицю V.

Зазначимо, що має виконуватись рівність = E.

Матрицю факторного відображення отримаємо з матричного співвідношення

За змістом кожен елемент матриці Апредставляє окремі коефіцієнти матриці кореляції між вихідною ознакою x j та головними компонентами F r. Тому всі елементи.

З рівності випливає умова r- Число компонент.

Повний внесок кожного фактора в сумарну дисперсію ознак дорівнює:

Модель факторного аналізу набуде вигляду:

Знайдемо значення основних компонентів (матрицю F) за формулою

Центр розподілу значень основних компонент перебуває у точці (0,0,0).

Далі аналітичні висновки за результатами розрахунків йдуть вже після ухвалення рішення про кількість значущих ознак і основних компонентів визначення назв головним компонентам. Завдання розпізнавання головних компонентів, визначення для них назв вирішують суб'єктивно на основі вагових коефіцієнтів з матриці відображення. А.

Розглянемо питання формулювання назв основних компонент.

Позначимо w 1 – безліч незначних вагових коефіцієнтів, в яке включаються близькі до нуля елементи,

w 2 - безліч значущих вагових коефіцієнтів,

w 3 – підмножина значних вагових коефіцієнтів, які у формуванні назви головної компоненти.

w 2 - w 3 – підмножина вагових коефіцієнтів, що у формуванні назви.

Обчислюємо коефіцієнт інформативності кожного головного чинника

Набір зрозумілих ознак вважаємо задовільним, якщо значення коефіцієнтів інформативності лежать у межах 0,75-0,95.

a 11 =0,776 a 12 =-0,130 a 13 =0,308

a 12 =0,904 a 22 =-0,210 a 23 =-0,420

а 31 =0,616 а 32 =0,902 а 33 =0,236

Для j=1 w 1 = ,w 2 ={a 11 ,a 21 ,a 31 },

Для j=2 w 1 ={a 12 ,a 22 }, w 2 ={ а 32 },

Для j=3 w 1 ={а 33 }, w 2 ={a 13 ,a 33 },

Значеннями ознак x 1 , x 2 , x 3 визначається склад головного компонента на 100%. при цьому найбільший внесок ознаки x 2, сенс якого-рентабельність. коректною для назви ознаки F 1 буде ефективність виробництва.

F 2 визначається компонентом x 3 (фондовіддача), назвемо її ефективність використання основних виробничих засобів.

F 3 визначається компонентами x 1 ,x 2 –в аналізі може розглядатися т.к. вона пояснює лише 10% загальної варіації.

Література

Попов А.А.

Excel: Практичний посібник, ДЕС КОМ.-М.-2000.

Дияконів В.П., Абраменкова І.В. Mathcad7 в математиці, фізиці та в Internet. Вид-во «Номідж», М.-1998, розділ 2.13. Виконання регресії.

Л.А. Сошникова, В.М. Томашевич та інших. Багатомірний статистичний аналіз економіки під ред. В.М. Томашевича.- М. -Наука, 1980.

Колемаєв В.А., О.В. Староверів, В.Б. Турундаєвський Теорія ймовірностей та математична статистика. -М. - Вища школа-1991.

До Іберла. Факторний аналіз.-М. Статистика.-1980.

Порівняння двох середніх нормальних генеральних сукупностей, дисперсії яких відомі

Нехай генеральні сукупності X і Y розподілені нормально, причому їх дисперсії відомі (наприклад, з попереднього досвіду або знайдені теоретично). За незалежними вибірками обсягів n і m, витягнутими з цих сукупностей, знайдено середні вибіркові x в і y в.

Потрібно по вибірковим середнім при заданому рівні значущості перевірити нульову гіпотезу, яка полягає в тому, що генеральні середні (математичні очікування) сукупностей, що розглядаються, рівні між собою, тобто Н 0: М(X) = М(Y).

Враховуючи, що середні вибіркові є незміщеними оцінками генеральних середніх, тобто М(x в) = М(X) і М(y в) = М(Y), нульову гіпотезу можна записати так: Н 0: М(x в ) = М(y в).

Таким чином, потрібно перевірити, що математичні очікування середніх вибіркових рівні між собою. Таке завдання ставиться, тому що, як правило, середні вибіркові є різними. Виникає питання: значимо чи незначно розрізняються середні вибіркові?

Якщо виявиться, що нульова гіпотеза справедлива, тобто генеральні середні однакові, то відмінність вибіркових середніх є незначною і пояснюється випадковими причинами і, зокрема, випадковим відбором об'єктів вибірки.

Якщо нульова гіпотеза буде відкинута, т. е. генеральні середні неоднакові, то відмінність вибіркових середніх значимо і може бути пояснено випадковими причинами. А пояснюється лише тим, що самі генеральні середні (математичні очікування) різні.

Як перевірку нульової гіпотези приймемо випадкову величину.

Критерій Z – нормована нормальна випадкова величина. Дійсно, величина Z розподілена нормально, оскільки є лінійною комбінацією нормально розподілених величин X та Y; самі ці величини розподілені нормально як середні вибіркові, знайдені за вибірками, витягнутим з генеральних сукупностей; Z – нормована величина, тому що М(Z) = 0, за справедливості нульової гіпотези D(Z) = 1, оскільки вибірки незалежні.

Критична область будується залежно від виду конкуруючої гіпотези.

Перший випадок. Нульова гіпотеза Н 0: М (X) = М (Y). Конкуруюча гіпотеза Н1: М(X) ¹М(Y).

У цьому випадку будують двосторонню критичну область виходячи з вимоги, щоб ймовірність попадання критерію в цю область, припущення справедливості нульової гіпотези, дорівнювала прийнятому рівню значимості .

Найбільша потужність критерію (імовірність попадання критерію в критичну область при справедливості конкуруючої гіпотези) досягається тоді, коли «ліва» та «права» критичні точки обрані так, що ймовірність попадання критерію в кожний інтервал критичної області дорівнює:

P(Z< zлев.кр)=a¤2,

P(Z > zправ.кр)=a2. (1)

Оскільки Z – нормована нормальна величина, а розподіл такої величини симетрично щодо нуля, критичні точки симетричні щодо нуля.

Отже, якщо позначити праву межу двосторонньої критичної області через zкр, то ліва межа -zкр.

Отже, достатньо знайти правий кордон, щоб знайти саму двосторонню критичну область Z< -zкр, Z >zкр та область прийняття нульової гіпотези (-zкр, zкр).

Покажемо, як знайти zкр – правий кордон двосторонньої критичної області, використовуючи функцію Лапласа Ф(Z). Відомо, що функція Лапласа визначає ймовірність попадання нормованої нормальної випадкової величини, наприклад, Z, в інтервалі (0; z):

Р(0< Z

Так як розподіл Z симетрично щодо нуля, то ймовірність потрапляння Z в інтервал (0; ¥) дорівнює 1/2. Отже, якщо розбити цей інтервал точкою zкр на інтервал (0, zкр) і (zкр, ¥), то теорема складання Р(0< Z < zкр)+Р(Z >zкр) = 1/2.

З огляду на (1) і (2) отримаємо Ф(zкр)+a/2=1/2. Отже, Ф(zкр) = (1-a)/2.

Звідси укладаємо: щоб знайти правий кордон двосторонньої критичної області (zкр), досить знайти значення аргументу функції Лапласа, якому відповідає значення функції, рівне (1-a)/2.

Тоді двостороння критична область визначається нерівностями Z< – zкр, Z >zкр, або рівносильною нерівністю ½Z½ > zкр, а область прийняття нульової гіпотези нерівністю – zкр< Z < zкр или равносильным неравенством çZ ç< zкр.

Позначимо значення критерію, обчислене за даними спостережень через zнабл і сформулюємо правило перевірки нульової гіпотези.

Правило.

1. Обчислити значення критерію, що спостерігається

2. За таблицею функції Лапласа визначити критичну точку рівності Ф(zкр)=(1-a)/2.

3. Якщо ç zнабл ç< zкр – нет оснований отвергнуть нулевую гипотезу.

Якщо ç zнабл ç> zкр – нульову гіпотезу відкидають.

Другий випадок. Нульова гіпотеза Н0: M(X) = M(Y). Конкуруюча гіпотеза Н1: M(X)>M(Y).

Насправді такий випадок має місце, якщо професійні міркування дозволяють припустити, що генеральна середня однієї сукупності більше генеральної середньої інший. Наприклад, якщо запроваджено удосконалення технологічного процесу, то природно припустити, що його призведе до збільшення випуску продукції.

У цьому випадку будують правосторонню критичну область виходячи з вимоги, щоб ймовірність попадання критерію в цю область, припущення справедливості нульової гіпотези, дорівнювала прийнятому рівню значимості:

P(Z> zкр)=a. (3)

Покажемо, як знайти критичну точку за допомогою функції Лапласа. Скористаємося співвідношенням

P(0 zкр) = 1/2.

З огляду на (2) і (3) маємо Ф(zкр)+a=1/2. Отже, Ф(zкр)=(1-2a)/2.

Звідси укладаємо, щоб знайти межу правосторонньої критичної області (zкр), досить визначити значення функції Лапласа, рівне (1-2a)/2. Тоді правостороння критична область визначається нерівністю Z > zкр, а сфера прийняття нульової гіпотези – нерівністю Z< zкр.

Правило.

1. Обчислити значення критерію zнабл.

2. По таблиці функції Лапласа визначити критичну точку з рівності Ф(zкр)=(1-2a)/2.

3. Якщо Z набл< z кр – нет оснований отвергнуть нулевую гипотезу. Если Z набл >z кр - нульову гіпотезу відкидаємо.

Третій випадок.Нульова гіпотеза Н0: M(X) = M(Y). Конкуруюча гіпотеза Н1: M(X)

У цьому випадку будують лівосторонню критичну область виходячи з вимоги, ймовірність попадання критерію в цю область, в перед-

положенні справедливості нульової гіпотези, дорівнювала прийнятому рівню значимості P(Z< z’кр)=a, т.е. z’кр= – zкр. Таким образом, для того чтобы найти точку z’кр, достаточно сначала найти “вспомогательную точку” zкр а затем взять найденное значение со знаком минус. Тогда левосторонняя критическая область определяется неравенством Z < -zкр, а область принятия нулевой гипотезы – неравенством Z >-zкр.

Правило.

1. Обчислити Zнабл.

2. За таблицею функції Лапласа знайти “допоміжну точку” zкр за рівністю Ф(zкр)=(1-2a)/2, а потім покласти z'кр = -zкр.

3. Якщо Zнабл > -zкр, - немає підстав відкидати нульову гіпотезу.

Якщо Zнабл< -zкр, – нулевую гипотезу отвергают.

Основні рівняння

Раніше практично у всіх підручниках та монографіях з факторного аналізу передбачалося пояснення того, як проводити основні обчислення «вручну» або за допомогою найпростішого рахункового пристрою (арифмометра чи калькулятора). Сьогодні у зв'язку зі складністю та великим обсягом обчислень, необхідних для побудови матриці взаємозв'язків, виділення факторів та їх обертання, напевно, не залишилося жодної людини, яка при проведенні факторного аналізу не використала б потужних комп'ютерів та відповідних програм.

Тому ми зосередимо увагу на тому, які найбільш суттєві матриці (масиви даних) можна отримати в ході факторного аналізу, як вони пов'язані один з одним та як їх можна використовувати для інтерпретації даних. Усі необхідні обчислення можна зробити за допомогою будь-якої комп'ютерної програми (наприклад, SPSS чи STADIA).

У табл. 1наведено список найбільш важливих матриць для методів основних компонентів та факторного аналізу. Цей список містить в основному матриці взаємозв'язків (між змінними, між факторами, між змінними та факторами), стандартизованих значень (за змінними та факторами), регресійних ваг (для розрахунку факторних значень за допомогою значень за змінними), а також матриці факторних відображень взаємозв'язків між факторами та змінними після косокутного обертання. У табл. 1наводяться також матриці власних чисел та відповідних їм власних векторів. Власні числа (власні значення) і власні вектори описуються через їх значущість виділення чинників, вживання у зв'язку великої кількості спеціальних термінів, і навіть тісного зв'язку власних чисел і дисперсії у статистичних дослідженнях.

Таблиця 1

Матриці, що найчастіше використовуються в факторному аналізі

Позначення	Назва	Розмір	Опис
R	Матриця взаємозв'язків	p x p	Взаємозв'язки між змінними
D	Матриця нестандартизованих даних	N x p	Первинні дані - нестандартизовані значення спостережень щодо первинних змінних
Z	Матриця стандартизованих даних	N x p	Стандартизовані значення спостережень щодо первинних змінних
F	Матриця значень факторів	N x f	Стандартизовані значення спостережень за факторами
А	Матриця факторних навантажень Матриця факторного відображення	p x f	Коефіцієнти регресії для загальних факторів за умови, що змінні, що спостерігаються, є лінійною комбінацією факторів. У разі ортогонального обертання – взаємозв'язки між змінними та факторами
У	Матриця коефіцієнтів значень факторів	p x f	Коефіцієнти регресії для обчислення значень факторів за допомогою значень змінних
S	Структурна матриця	p x f	Взаємозв'язки між змінними та факторами
Ф	Матриця кореляцій факторів	f x f	Кореляції між факторами
L	Матриця власних значень (діагональна)	f x f	Власні значення (характеристичне, латентне коріння); кожному фактору відповідає одне власне число
V	Матриця власних векторів	f x f	Власні (характеристичні) вектор; кожному власному числу відповідає один власний вектор

Примітка.При вказівці розміру дається кількість рядів х кількість стовпців: р- кількість змінних, N- кількість спостережень, f- кількість факторів чи компонент. Якщо матриця взаємозв'язків Rне вироджена і має рівний ранг р,то тоді фактично виділяється рвласних чисел та власних векторів, а не f. Однак інтерес становлять лише fз них. Тому ті, що залишилися p - fне показуються.

До матриць Sі Фзастосовується лише косокутне обертання, до решти - ортогональне та косокутне.

Набір даних, підготовлених для факторного аналізу, складається з результатів вимірів (опитування) великої кількості випробуваних (респондентів) за певними шкалами (змінними). У табл. 2наводиться масив даних, який умовно вважатимуться задовольняючим вимогам факторного аналізу.

П'яти респондентам, які звернулися до туристичного агентства з метою придбати путівку на морський курорт, було поставлено питання про значущість для них чотирьох умов (змінних) вибору місця літнього відпочинку. Цими умовами-змінними були вартість путівки, комфортабельність комплексу, температура повітря, температура води. Чим більшою, з погляду респондента, значимістю мало йому те чи інше умова, тим більше значення він йому приписував. Дослідницьке завдання полягало у вивченні моделі взаємозв'язку між змінними та виявленні глибинних причин, що зумовлюють вибір курорту. (Приклад, звичайно ж, гранично спрощений з ілюстративно-навчальною метою, і його не слід розглядати всерйоз у змістовному аспекті.)

Матриця взаємозв'язків ( табл. 2) була обчислена як кореляційна. Зверніть увагу на структуру взаємозв'язків у ній, виділену вертикальними та горизонтальними лініями. Високі кореляції у верхньому лівому та нижньому правому квадрантах показують, що оцінки вартості путівки та комфортабельності комплексу взаємопов'язані, також як і оцінки за температурою повітря і температурою води. Два інших квадранти показують, що температура повітря та комфортабельність комплексу пов'язані між собою, так само як і комфортабельність комплексу та температура води.

Спробуємо тепер за допомогою факторного аналізу виявити цю структуру кореляцій, що легко помічається неозброєним оком у маленькій кореляційній матриці (у великій матриці це дуже непросто зробити).

Таблиця 2

Дані для факторного аналізу (навчальний приклад)

Туристи	Змінні
Вартість путівки	Рівень комфорту	Температура повітря	Температура води
T1
Т2
Т3
Т4
Т5

Кореляційна матриця

	Вартість путівки	Рівень комфорту	Температура повітря	Температура води
Вартість путівки	1,000	-0,953	-0,055	-0,130
Рівень комфорту	-0,953	1,000	-,091	-0,036
Температура повітря	-0,055	-0,091	1,000	0,990
Температура води	-0,130	-0,036	0,990	1,000

Факторизація

Важлива теорема з матричної алгебри свідчить, що матриці, які відповідають певним умовам, може бути діагоналізовані, тобто. перетворені на матрицю, на головній діагоналі якої стоять числа, але в інших позиціях - нулі. Матриці взаємозв'язків відносяться саме до типу матриць, що діагоналізуються. Перетворення проводиться за такою формулою:

тобто. діагоналізація матриці R виконується множенням її спочатку (ліворуч) на транспоновану матрицю V, що позначається V', а потім (праворуч) на саму матрицю V.

Стовпці в матриці V називаються власними векторами, а величини на головній діагоналі матриці L - власними числами. Перший власний вектор відповідає першому власному числу і т.д. (Докладніше про це див. Додаток 1).

У зв'язку з тим, що в наведеному прикладі розглядаються чотири змінні, ми отримуємо чотири власні величини з відповідними власними векторами. Але оскільки метою факторного аналізу є узагальнення матриці взаємозв'язків за допомогою якнайменшої кількості факторів і кожна власна величина відповідає різним потенційно можливим факторам, зазвичай враховуються лише фактори з великими власними величинами. При «хорошому» факторному рішенні матриця обчислених взаємозв'язків, отримана з цього обмеженого набору чинників, практично дублює матрицю взаємозв'язків.

У прикладі, коли кількість чинників не накладаються жодні обмеження, власні величини 2.02, 1.94, .04 и.00 обчислюються кожному з чотирьох можливих чинників. Тільки перших двох чинників власні значення досить великі, щоб стати предметом подальшого розгляду. Тому виконується повторне виділення перших двох чинників. Вони мають власні величини 2.00 та 1.91 відповідно, як це зазначено у табл. 3. Використовуючи рівняння (6) та вставивши значення з наведеного прикладу, отримуємо:

(Всі величини, обчислені на комп'ютері, збігаються; розрахунки, виконані «вручну», можуть відрізнятися у зв'язку з неточностями округлення.)

Примноження зліва матриці власних векторів на транспоновану їй дає одиничну матрицю Е (з одиницями на головній діагоналі та іншими нулями). Тому можна сказати, що перетворення матриці взаємозв'язків за формулою (6) не змінює її саму, а лише перетворює до зручнішого для аналізу виду:

Наприклад:

Таблиця 3

Власні вектори і відповідні власні числа для навчального прикладу.

Власний вектор 1	Власний вектор 2
-.283	.651
.177	-.685
.658	.252
.675	.207
Власне значення 1	Власне значення 2
2.00	1.91

Для знаходження власних величин квадратної матриці р х р необхідно знайти коріння многочлена ступеня р, а знаходження власних векторів - вирішити р рівнянь з р невідомими з додатковими побічними обмеженнями, що з р>3 рідко виконується вручну. Як тільки знайдені власні вектори і власні величини, частина факторного аналізу (або методу головних компонентів), що залишилася, стає більш менш ясною (див. рівняння 8-11).

Рівняння (6) може бути подане у вигляді: R=V'LV, (8)

тобто. матрицю взаємозв'язків можна як твір трьох матриць - матриці власних величин, матриці відповідних власних векторів і транспонованої до неї.

Після перетворення матрицю власних величин L можна наступним чином:

і отже: R=VÖLÖL V’ (10)

або (що те саме): R=(VÖL)(ÖL V’)

Позначимо: A=(VÖL), а А'=(ÖL V'), тоді R=AA' (11)

тобто. матриця взаємозв'язків також може бути представлена як добуток двох матриць, кожна з яких є комбінація власних векторів і квадратних коренів із власних величин.

Рівняння (11) часто називають фундаментальним рівнянням факторного аналізу. Воно висловлює твердження у тому, що матриця взаємозв'язків - це твір матриці факторних навантажень (А) і транспонованої до неї.

Рівняння (10) і (11) також показують, що значна частка обчислень у методах факторного аналізу та основних компонентів полягає у визначенні власних величин та власних векторів. Як тільки вони стають відомими, факторна матриця до повороту виходить шляхом прямого матричного множення:

У нашому прикладі:

Матриця факторних навантажень є матрицею взаємозв'язків (інтерпретованих як коефіцієнти кореляцій) між факторами та змінними. Перший стовпець - це кореляції між першим фактором і кожною змінною по черзі: вартість путівки (-400), комфортабельність комплексу (251), температура повітря (932), температура води (956). Другий стовпець - це кореляції між другим фактором та кожною змінною: вартість путівки (.900), комфортабельність комплексу (-.947), температура повітря (.348), температура води (.286). Фактор інтерпретується на основі сильно пов'язаних з ним (тобто мають за ним високі навантаження) змінних. Так, перший фактор головним чином «кліматичний» (температура повітря та води), тоді як другий «економічний» (вартість путівки та комфортабельність комплексу).

Інтерпретуючи ці фактори, слід звернути увагу на те, що змінні, що мають високі навантаження за першим фактором (температура повітря і температура води), взаємопов'язані позитивно, тоді як змінні, що мають високі навантаження за другим фактором (вартість путівки та комфортабельність комплексу), взаємопов'язані негативно (Від дешевого курорту не можна очікувати великої комфортабельності). Перший фактор називається уніполярним (усі змінні згруповані на одному полюсі), а другий – біполярним (змінні розпалися на дві протилежні за змістом групи – два полюси). Змінні, мають факторні навантаження зі знаком «плюс», утворюють позитивний полюс, а зі знаком «мінус» - негативний. У цьому назви полюсів «позитивний» і «негативний» при інтерпретації чинника немає оцінного сенсу «поганий» і «хороший». Вибір знака відбувається під час обчислень випадково. Заміна всіх знаків на протилежні (всіх плюсів на мінуси, а всіх мінусів на плюси) рішення не змінює. Аналіз знаків необхідний лише для ідентифікації груп (що протиставлено). З таким самим успіхом один полюс можна називати правим, інший лівим. У прикладі змінна вартість путівки виявилася на позитивному (правому) полюсі, їй протиставлена змінна комфортабельність комплексу на негативному (лівому) полюсі. І цей фактор можна проінтерпретувати (назвати) як «Економічність про Комфортність». Респонденти, для яких проблема економії суттєва, виявилися праворуч – набули факторних значень зі знаком «плюс». При виборі курорту вони найбільше орієнтуються з його дешевизну і менше - на комфортабельність. Респонденти, які не економлять на відпочинку (ціна путівки їх мало хвилює) і охочі відпочити насамперед у комфортних умовах, виявилися ліворуч – набули факторних значень зі знаком «мінус».

Проте слід пам'ятати, що це змінні значною мірою корелюють з обома чинниками. В рамках цього простого прикладу інтерпретація очевидна, але у разі реальних даних не все так просто. Зазвичай фактор легше інтерпретується, якщо з ним сильно взаємопов'язана лише невелика частина змінних, а решта – ні.

Ортогональне обертання

Обертання зазвичай застосовується після виділення факторів для максимізації високих кореляцій та мінімізації низьких. Існують численні методи обертання, але найчастіше використовується поворот варимакс, що є процедурою максимізації дисперсії. Цей поворот максимізує дисперсії факторних навантажень, роблячи високі навантаження вищі, а нижчі нижче за день кожного з факторів. Ця мета досягається за допомогою матриці перетворення Л:

А до повороту Л = А після повороту,

тобто. матриця факторних навантажень до повороту множиться на матрицю перетворення та в результаті виходить матриця факторних навантажень після повороту. У нашому прикладі:

Порівняйте матриці до та після повороту. Зверніть увагу, що у матриці після повороту низькі факторні вантажі нижчі, а високі вище, ніж у матриці до повороту. Підкреслена різниця навантажень полегшує інтерпретацію фактора, що дозволяє однозначно вибрати сильно взаємопов'язані з ним змінні.

Елементи матриці перетворення мають спеціальну геометричну інтерпретацію:

Матриця перетворення - це матриця синусів і косинусів кута ψ, який виконується поворот. (Звідси і назва перетворення - поворот, тому що з геометричного погляду відбувається поворот осей навколо початку координат факторного простору.) У нашому прикладі цей кут становить приблизно 19 градусів: cos19 ° = .946 і sin19 ° =. 325. Геометрично це відповідає повороту факторних осей на 19 градусів навколо початку координат. (Докладніше про геометричні аспекти обертання див. далі.)

Національний дослідницький ядерний університет "МІФІ"
Факультет бізнес-інформатики та управління
комплексними системами
Кафедра економіки та менеджменту
у промисловості (№ 71)
Математичні та інструментальні методи обробки
статистичної інформації
Кірєєв В.С.,
к.т.н., доцент
Email:
Москва, 2017
1

Нормалізація

Десятичне масштабування
Мінімаксна нормалізація
Нормалізація за допомогою стандартного перетворення
Нормалізація за допомогою поелементних перетворень
2

Десятичне масштабування

Vi
"
Vi k , max (Vi) 1
10
"
3

Мінімаксна нормалізація

Vi
Vi min (Vi)
"
i
max (Vi) min (Vi)
i
i
4

Нормалізація за допомогою стандартного відхилення

Vi
"
V
V
Vi V
V
- вибіркове
середня
- вибіркове середнє квадратичне
відхилення
5

Нормалізація за допомогою поелементних перетворень

Vi f Vi
"
Vi 1
"
log Vi
, Vi log Vi
"
Vi exp Vi
"
Vi Vi , Vi 1 y
Vi
"
y
"
6

Факторний аналіз

(ФА) являє собою сукупність методів, які на
основі реально існуючих зв'язків аналізованих ознак, зв'язків самих
спостережуваних об'єктів, дозволяють виявляти приховані (неявні, латентні)
узагальнюючі характеристики організаційної структури та механізму розвитку
досліджуваних явищ, процесів.
Методи факторного аналізу у дослідницькій практиці застосовуються головним
чином з метою стиснення інформації, отримання невеликої кількості узагальнюючих
ознак, що пояснюють варіативність (дисперсію) елементарних ознак (R техніка факторного аналізу) або варіативність об'єктів, що спостерігаються (Q-техніка
факторного аналізу).
Алгоритми факторного аналізу ґрунтуються на використанні редукованої
матриці парних кореляцій (ковариацій) Редукована матриця - це матриця, на
головної діагоналі якої розташовані не одиниці (оцінки) повної кореляції або
оцінки повної дисперсії, а їх редуковані, дещо зменшені величини. При
цьому постулюється, що в результаті аналізу буде пояснена не вся дисперсія
досліджуваних ознак (об'єктів), та її деяка частина, зазвичай велика. Залишилася
непояснена частина дисперсії - це характерність, що виникає через специфічність
спостережуваних об'єктів, або помилок, що допускаються при реєстрації явищ, процесів,
тобто. ненадійності вступних даних.
7

Класифікація методів ФА

Метод основних компонент

(МГК) застосовується для зниження розмірності
простору спостережуваних векторів, не призводячи до суттєвої втрати
інформативність. Причиною МГК є нормальний закон розподілу
багатовимірні вектори. У МГК лінійні комбінації випадкових величин визначаються
характеристичними
векторами
коварійної
матриці.
Головні
компоненти є ортогональною системою координат, в якій дисперсії
компоненти характеризують їх статистичні властивості. МГК не відносять до ФА, хоча він має
Такий алгоритм і вирішує подібні аналітичні завдання. Його головна відмінність
полягає в тому, що обробці підлягає не редукована, а звичайна матриця
парних кореляцій, підступів, на головній діагоналі якої розташовані одиниці.
Нехай дано вихідний набір векторів X лінійного простору Lk. Застосування
методу головних компонент дозволяє перейти до базису простору Lm (m≤k), такого
що: перша компонента (перший вектор базису) відповідає напрямку, вздовж
якого дисперсія векторів вихідного набору максимальна. Напрямок другий
компоненти (другий вектор базису) вибрано таким чином, щоб дисперсія вихідних
векторів уздовж нього була максимальною за умови ортогональності першого вектора
базису. Аналогічно визначаються решта векторів базису. В результаті, напрямки
векторів базису обрані так, щоб максимізувати дисперсію вихідного набору
вздовж перших компонентів, які називаються головними компонентами (або головними
осями). Виходить, що основна мінливість векторів вихідного набору векторів
представлена кількома першими компонентами, і з'являється можливість, відкинувши
менш істотні компоненти, що переходять до простору меншої розмірності.
9

10. Метод основних компонент. Схема

11. Метод основних компонент. Матриця рахунків

Матриця рахунків T дає нам проекції вихідних зразків (J – мірних
векторів
x1, ..., xI)
на
підпростір
головних
компонент
(A-мірне).
Рядки t1, ..., tI матриці T - це координати зразків в новій системі координат.
Стовпці t1,…,tA матриці T – ортогональні і представляють проекції всіх зразків на
одну нову координатну вісь.
При дослідженні даних методом PCA, особлива увага приділяється графікам
рахунків. Вони несуть у собі інформацію, корисну розуміння того, як влаштовані
дані. На графіку рахунків кожен зразок зображується в координатах (ti, tj), найчастіше
– (t1, t2), що позначаються PC1 та PC2. Близькість двох точок означає їх схожість, тобто.
позитивну кореляцію. Точки, розташовані під прямим кутом, є
некорельованими, а розташовані діаметрально протилежно – мають
негативну кореляцію.
11

12. Метод основних компонент. Матриця навантажень

Матриця навантажень P – це матриця переходу з вихідного простору
змінних x1, …xJ (J-вимірного) в простір основних компонентів (A-вимірний). Кожна
Рядок матриці P складається з коефіцієнтів, що зв'язують змінні t та x.
Наприклад, a-й рядок – це проекція всіх змінних x1, …xJ на a-ю вісь головних
компонент. Кожен стовпець P – це проекція відповідної змінної xj на нову
систему координат.
Графік навантажень застосовується вивчення ролі змінних. На цьому
графіці кожна змінна xj відображається точкою в координатах (pi, pj), наприклад
(p1, p2). Аналізуючи його аналогічно графіку рахунків, можна зрозуміти, які змінні
пов'язані, а які незалежні. Спільне дослідження парних графіків рахунків та
навантажень також може дати багато корисної інформації про дані.
12

13. Особливості способу основних компонент

У основі методу основних компонентів лежать такі припущення:
припущення про те, що розмірність даних може бути ефективно знижена
шляхом лінійного перетворення;
припущення про те, що найбільше інформації несуть ті напрямки, у яких
дисперсія вхідних даних є максимальною.
Можна легко бачити, що ці умови далеко не завжди виконуються. Наприклад,
якщо точки вхідної множини розташовуються на поверхні гіперсфери, то ніяка
лінійне перетворення не зможе знизити розмірність (але з цим легко впорається
нелінійне перетворення, що спирається на відстань від точки до центру сфери).
Це недолік однаковою мірою властивий усім лінійним алгоритмам і можливо
подолано за рахунок використання додаткових фіктивних змінних, що є
нелінійними функціями елементів набору вхідних даних (т.зв. kernel trick).
Другий недолік методу основних компонентів полягає в тому, що напрямки,
максимізують дисперсію, які завжди максимізують інформативність.
Наприклад, змінна з максимальною дисперсією може не нести майже жодної
інформації, в той час як змінна з мінімальною дисперсією дозволяє
повністю поділити класи. Метод головних компонент у разі віддасть
перевага першої (менш інформативної) змінної. Вся додаткова
інформація, пов'язана з вектором (наприклад, приналежність образу до одного з
класів), ігнорується.
13

14. Приклад даних для МГК

К. Есбенсен. Аналіз багатовимірних даних, скор. пров. з англ. під
ред. О. Родіонова, З-во ІПХФ РАН, 2005
14

15. Приклад даних МГК. Позначення

Height
Зростання: у сантиметрах
Weight
Вага: у кілограмах
Hair
Волосся: коротке: –1, або довге:
+1
Shoes
Взуття: розмір по європейському
стандарту
Age
Вік: у роках
Income
Дохід: у тисячах євро на рік
Beer
Пиво: споживання у літрах на рік
Wine
Вино: споживання у літрах на рік
Sex
Стать: чоловіча: -1, або жіноча: +1
Strength
Сила: індекс, заснований на
перевірці фізичних здібностей
регіон
Регіон: північ: –1, або південь: +1
IQ
Коефіцієнт інтелекту,
вимірюваний за стандартним тестом
15

16. Матриця рахунків

17. Матриця навантажень

18. Об'єкти вибірки у просторі нових компонентів

Жінки (F) позначені кружками ● та ●, а
чоловіки (M) – квадратами ■ та ■. Північ (N)
представлений блакитним ■, а південь (S) – червоним
кольором ●.
Розмір та колір символів відображає дохід – чим
більший і світліший, тим він більший. Числа
представляють вік
18

19. Вихідні змінні у просторі нових компонентів

20. Графік «кам'янистого осипу» (scree plot)

21. Метод основних чинників

У парадигмі методу головних факторів завдання зниження розмірності ознакового
простору виглядає так, що n ознак можна пояснити за допомогою меншого
кількості m-латентних ознак - загальних факторів, де m<вихідними ознаками та введеними загальними факторами (лінійними комбінаціями)
враховують з допомогою про характерних чинників.
Кінцева мета статистичного дослідження, що проводиться із залученням
апарату факторного аналізу, як правило, полягає у виявленні та інтерпретації
латентних загальних факторів з одночасним прагненням мінімізувати як їх
число, і ступінь залежності від своїх специфічних залишкових випадкових
компонент.
Кожна ознака
є результатом
впливу m гіпотетичних загальних та
одного характерного фактора:
X 1 a11 f1 a12 f 2 a1m f m d1V1
X a f a f a f d V
2
21 1
22 2
2m m
2
X n a n1 f1 a n 2 f 2 a nm f m d nVn
21

22. Повертання факторів

Обертання - це спосіб перетворення факторів, отриманих на попередньому етапі,
більш осмислені. Обертання ділиться на:
графічне (проведення осей, не застосовується при більш ніж двовимірному
аналізі),
аналітичне (вибирається певний критерій обертання, розрізняють ортогональне та
косокутне) та
матрично-наближене (обертання полягає в наближенні до якоїсь заданої
цільової матриці).
Результатом обертання є вторинна структура факторів. Первинна
факторна структура (що складається з первинних навантажень (отриманих на попередньому
етапі) - це, фактично, проекції точок на ортогональні осі координат. Очевидно, що
якщо проекції будуть нульовими, то структура буде простішою. А проекції будуть нульовими,
якщо точка лежить на якійсь осі. Таким чином, можна вважати обертання переходом від
однієї системи координат до іншої при відомих координатах в одній системі(
первинні фактори) та ітеративно підбираються координатах в іншій системі
(Вторинні фактори). При отриманні вторинної структури прагнуть перейти до такої
системі координат, щоб провести через точки (об'єкти) якнайбільше осей, щоб
якнайбільше проекції (і відповідно навантажень) були нульовими. При цьому можуть
зніматися обмеження ортогональності та зменшення значущості від першого до останнього
фактори, характерні для первинної структури.
22

23. Ортогональне обертання

має на увазі, що ми будемо крутити фактори, але не
порушуватимемо їх ортогональності один одному. Ортогональне обертання
передбачає збільшення вихідної матриці первинних навантажень на ортогональну
матрицю R(таку матрицю, що
V=BR
Алгоритм ортогонального обертання у випадку такий:
0. B – матриця первинних факторів.
1.
Шукаємо
ортогональна
матрицю
RT
розміру
2*2
для
двох
стовпців(факторів) bi та bj матриці B таку, що критерій для матриці
R максимальний.
2.
Замінюємо стовпці bi та bj на стовпці
3.
Перевіряємо, чи стовпці перебрали. Якщо ні, перехід на 1.
4.
Перевіряємо, що критерій для всієї матриці зріс. Якщо так, то перехід на 1. Якщо
ні, то кінець алгоритму.
.
23

24. Варимаксне обертання

Цей критерій використовує формалізацію
дисперсію квадратів навантажень змінної:
складності
фактор А
через
Тоді критерій у загальному вигляді можна записати як:
При цьому факторні навантаження можуть нормуватися для позбавлення від
впливу окремих змінних.
24

25. Квартимаксне обертання

Формалізуємо поняття факторної складності q i-ої змінної через
дисперсію квадратів факторних навантажень факторів:
де r – число стовпців факторної матриці, bij – факторне навантаження j-го
фактора на i-ю змінну - середнє значення. Критерій квартімакс намагається
максимізувати складність усієї сукупності змінних, щоб досягти
легкості інтерпретації факторів (прагне полегшити опис стовпців):
Враховуючи що
- Константа (сума власних чисел матриці
коваріації) і розкривши середнє значення (а також врахувавши, що статечна функція
зростає пропорційно до аргументу), отримаємо остаточний вигляд критерію для
максимізації:
25

26. Критерії визначення числа факторів

Головною проблемою факторного аналізу є виділення та інтерпретація
основних чинників. При відборі компонентів дослідник зазвичай стикається з
суттєвими труднощами, тому що не існує однозначного критерію виділення
факторів і тому тут неминучий суб'єктивізм інтерпретацій результатів.
Існує кілька часто вживаних критеріїв визначення числа факторів.
Деякі з них є альтернативними по відношенню до інших, а частина цих
критеріїв можна використовувати разом, щоб один доповнював інший:
Критерій Кайзера чи критерій власних чисел. Цей критерій запропоновано
Кайзером і є, ймовірно, найбільш широко використовуваним. Відбираються тільки
фактори з власними значеннями рівними або великими 1. Це означає, що якщо
фактор не виділяє дисперсію, еквівалентну, принаймні, дисперсії однієї
змінної, він опускається.
Критерій кам'янистого осипу (англ. scree) або критерій відсіювання. Він є
графічним методом, вперше запропонованим психологом Кеттел. Власні
значення можна зобразити як простого графіка. Кеттел запропонував знайти таке
місце на графіку, де спадання власних значень зліва направо максимально
сповільнюється. Передбачається, що праворуч від цієї точки знаходиться лише
«факторіальний осип» - «осип» є геологічним терміном, що означає
уламки гірських порід, що накопичуються в нижній частині скелястого схилу.
26

27. Критерії визначення числа чинників. Продовження

Критерій важливості. Він особливо ефективний, коли модель генеральної
сукупності відома та відсутні другорядні фактори. Але критерій непридатний
для пошуку змін у моделі та реалізуємо тільки у факторному аналізі за методом
найменших квадратів чи максимальної правдоподібності.
Критерій частки відтворюваної дисперсії. Чинники ранжуються за часткою
детермінованої дисперсії, коли відсоток дисперсії виявляється несуттєвим,
виділення слід зупинити. Бажано, щоб виділені фактори пояснювали
понад 80% розкиду. Недоліки критерію: по-перше, суб'єктивність виділення, по-друге, специфіка даних може бути такою, що всі головні фактори не зможуть
сукупно пояснити бажаного відсотка розкиду. Тому головні чинники
повинні разом пояснювати щонайменше 50,1 % дисперсії.
Критерій інтерпретованості та інваріантності. Цей критерій поєднує
статистичну точність із суб'єктивними інтересами. Згідно з ним, головні фактори
можна виділяти доти, доки буде можлива їх ясна інтерпретація. Вона, у свою
черга, залежить від величини факторних навантажень, тобто якщо у факторі є хоча б
одне сильне навантаження, може бути інтерпретований. Можливий і зворотний варіант
якщо сильні навантаження є, проте інтерпретація скрутна, від цієї
компоненти переважно відмовитись.
27

28. Приклад використання МГК

Нехай
є
наступні
показники
економічною
діяльності
підприємства: трудомісткість (x1), питома вага покупних виробів у продукції (x2),
коефіцієнт змінності обладнання (x3), питома вага робітників у складі підприємства
(x4), премії та винагороди на одного працівника (x5), рентабельність (y). Лінійна
регресійна модель має вигляд:
y = b0 + b1 * x1 + b2 * x2 + b3 * x3 + b4 * x4 + b5 * x5
x1
x2
x3
x4
x5
y
0,51
0,2
1,47
0,72
0,67
9,8
0,36
0,64
1,27
0,7
0,98
13,2
0,23
0,42
1,51
0,66
1,16
17,3
0,26
0,27
1,46
0,69
0,54
7,1
0,27
0,37
1,27
0,71
1,23
11,5
0,29
0,38
1,43
0,73
0,78
12,1
0,01
0,35
1,5
0,65
1,16
15,2
0,02
0,42
1,35
0,82
2,44
31,3
0,18
0,32
1,41
0,8
1,06
11,6
0,25
0,33
1,47
0,83
2,13
30,1
28

29. Приклад використання МГК

Побудова регресійної моделі у статистичному пакеті показує,
коефіцієнт X4 не значимий (p-Value > α = 5%) і його можна виключити з моделі.
що
Після виключення X4 знову запускається процес побудови моделі.
29

30. Приклад використання МГК

Критерій Кайзера для МГК показує, що можна залишити 2 компоненти, які пояснюють
близько 80% вихідної дисперсії.
Для виділених компонентів можна побудувати рівняння у вихідній системі координат:
U1 = 0,41 * x1 - 0,57 * x2 + 0,49 * x3 - 0,52 * x5
U2 = 0,61 * x1 + 0,38 * x2 - 0,53 * x3 - 0,44 * x5
30

31. Приклад використання МГК

Тепер можна побудувати в нових компонентах нову регресійну модель:
y = 15,92 - 3,74 * U1 - 3,87 * U2
31

32. Метод сингулярного розкладання (SVD)

Beltrami та Jordan вважаються засновниками теорії сингулярного
розкладання. Beltrami – за те, що він першим опублікував роботу про
сингулярному розкладанні, а Jordan – за елегантність та повноту своєї
роботи. Робота Beltrami з'явилася в журналі “Journal of Mathematics for
the Use of the Students of the Italian Universities” у 1873 році, основна
мета якої полягала в тому, щоб ознайомити студентів з
билинейными формами.Суть методу розкладанні матриці A розміру n
x m з рангом d = rank(M)<= min(n,m) в произведение матриц меньшего
рангу:
A = UDVT,
де матриці U розміру n x d і V розміру m x d складаються з
ортонормальних стовпців, які є власними векторами при
ненульових власних значеннях матриць AAT та ATA відповідно та
UTU = V TV = I , а D розміру d x d - діагональна матриця з
позитивними діагональними елементами, відсортованими в
порядок зменшення. Стовпці матриці U є,
ортонормальний базис простору стовпців матриці A, а стовпці
матриці V – ортонормальний базис простору рядків матриці A.
32

33. Метод сингулярного розкладання (SVD)

Важливою властивістю SVD-розкладання є той факт, що якщо
для k тільки з k найбільших діагональних елементів, а також
залишити в матрицях U і V тільки до перших стовпців, то матриця
Ak=UkDkVkT
буде кращою апроксимацією матриці A щодо
норми Фробеніуса серед усіх матриць з рангом k.
Це усічення по-перше зменшує розмірність векторного
простору, знижує вимоги зберігання та обчислювальні
вимоги до моделі
По-друге, відкидаючи малі сингулярні числа, малі
спотворення в результаті шуму даних видаляються, залишаючи
тільки найсильніші ефекти та тенденції в цій моделі.