Поліноміальна регресія — Вікіпедія

У статистиці, поліноміальна регресія є однією з форм регресійного аналізу, в якому залежність між незалежною змінною x і залежною змінною y моделюється як поліном від x ступеню n. Поліноміальна регресія відповідає нелінійній залежності між значенням x та відповідним умовним математичним сподіванням y, що позначається E(y |x). Хоча поліноміальна регресія налаштовує нелінійній моделі даних, з боку теорії оцінювання ця задача є лінійною, в тому сенсі, що функція регресії E(y | x) є лінійною за невідомих параметрів які оцінюються за даними. З цього приводу поліноміальна регресія вважається приватним випадком множинної лінійної регресії.

Пояснювальні (незалежні) змінні, що є результатом поліноміального розширення «базових» змінних, відомі як терміни вищого ступеня. Такі змінні також використовуються в налаштуваннях класифікації.[1]

Історія[ред. | ред. код]

Поліноміальні регресійні моделі, як правило, налаштовують за допомогою методу найменших квадратів. Метод найменших квадратів мінімізує дисперсію незміщених оцінок коефіцієнтів за умов теореми Гаусса-Маркова. Метод найменших квадратів був опублікований в 1805 році Лежандром і в 1809 році Гауссом. Перший опис експерименту для поліноміальної регресії з'явився в 1815 році у статті Жергонна.[2][3] У ХХ столітті поліноміальна регресія відіграла важливу роль у розвитку регресійного аналізу, з більшим акцентом на питаннях Планування експерименту та статистичному висновуванні.[4] Зовсім недавно використання поліноміальних моделей було доповнено іншими методами, причому неполіноміальні моделі мають переваги для деяких класів задач.[джерело?]

Визначення та приклад[ред. | ред. код]

Кубічна поліноміальна регресія, допасована до зімітованого набору даних. Довірча смуга є одночасно 95 %-вою довірчою смугою, побудованою з використанням підходу Шеффе[en].

Метою регресійного аналізу є моделювання очікуваного значення залежної змінної y через значення незалежної змінної (або вектора незалежних змінних) x. У простій лінійній регресії використовується модель

де ε невизначена випадкова помилка із середнім нулем, обумовленим скалярною змінною x. У цій моделі для кожної одиниці збільшення значення x, умовне сподівання y збільшується на β1 одиниць.

У багатьох умовах такий лінійний зв'язок може не мати місце. Наприклад, якщо ми моделюємо вихід хімічного синтезу з точки зору температури, при якій відбувається синтез, ми можемо виявити, що вихід поліпшується за рахунок збільшення кількості для кожної одиниці підвищення температури. У цьому випадку ми можемо запропонувати квадратичну модель форми

У цій моделі при підвищенні температури від x до x + 1 одиниць очікуваний вихід змінюється на (Це можна побачити, замінивши x у цьому рівнянні на x+1 і віднявши рівняння з x з рівняння з x+1.) Для нескінченно малих змін x, вплив на y дається повною похідною по x: . Той факт, що зміна результату залежить від x є тим, що робить зв'язок між x та y нелінійним, навіть незважаючи на те, що модель є лінійною за параметрами, що підлягають оцінці.

Загалом, ми можемо змоделювати очікуване значення y як поліном ступеню n, отримуючи загальну модель поліноміальної регресії

Зручно, всі ці моделі є лінійними з точки зору оцінки, оскільки функція регресії є лінійною з точки зору невідомих параметрів β0, β1, …. Таким чином, для аналізу методом найменших квадратів, обчислювальні та виведені задачі поліноміальної регресії можут бути повністю вирішені за допомогою методів лінійної регресії. Це робиться шляхом обробки xx2, … як окремих незалежних змінних у моделі множинної регресії.

Матрична форма та розрахунок оцінок[ред. | ред. код]

Модель поліноміальної регресії

може бути виражена у матричній формі через матрицю проектування , вектор відповіді , вектор параметрів та вектор випадкових помилок. I-тий рядок and міститиме значення x та y для i-го рядка вибірки даних. Тоді модель можна записати як систему лінійних рівнянь:

що при використанні чисто матричної нотації записується як

Вектор розрахункових коефіцієнтів поліноміальної регресії (за допомогою оцінки звичайних найменших квадратів) становить

припускаючи m < n щоб матриця була оборотною, оскільки є визначником Вандермонда, умова оберненості гарантовано буде виконуватися, якщо всі значення різні. Це унікальне рішення методом найменших квадратів.

Інтерпретація[ред. | ред. код]

Хоча поліноміальна регресія технічно є частковим випадком багаторазової лінійної регресії, інтерпретація побудованої моделі поліноміальної регресії вимагає дещо іншої перспективи. Часто буває важко інтерпретувати окремі коефіцієнти в поліноміальній регресії, оскільки основні одночлени можуть бути високо корельованими. Наприклад, x та x2 мають кореляцію близько 0.97 коли x рівномірно розподіляється на інтервалі (0, 1). Хоча кореляцію можна зменшити за допомогою ортогональних поліномів, загалом більш інформативно розглядати побудовану функцію регресії в цілому. Поточкові або одночасні довірчі смуги потім можуть бути використані для забезпечення відчуття невизначеності в оцінці функції регресії.

Альтернативні підходи[ред. | ред. код]

Поліноміальна регресія є одним із прикладів регресійного аналізу з використанням базисних функцій для моделювання функціональної залежності між двома величинами. Більш конкретно, вона замінює в лінійній регресії з поліноміальною основою , наприклад, . Недоліком поліноміальних основ є те, що базисні функції є «нелокальними», тобто налаштоване значення y при заданому значенні x = x0 сильно залежить від значень даних з x далеких від x0.[5] У сучасній статистиці поліноміальні базисні функції використовуються поряд з новими базисними функціями, такими як сплайни, радіальна базисні функції та вейвлети. Ці сімейства базисних функцій пропонують більш ощадливу налаштованість багатьом типам даних.

Метою поліноміальної регресії є моделювання нелінійної залежності між незалежними та залежними змінними (технічно, між незалежною змінною та умовним середнім значенням залежної змінної). Це схоже на мету непараметричної регресії, яка спрямована на охоплення нелінійних відношень регресії. Тому непараметричні підходи до регресії, такі як згладжування можуть бути корисними альтернативами поліноміальної регресії. Деякі з цих методів використовують локалізовану форму класичної поліноміальної регресі.[6] Перевага традиційної поліноміальної регресії полягає в тому, що можна використовувати вивідну структуру множинної регресії (це також має місце при використанні інших сімейств базисних функцій, таких як сплайни).

Кінцевою альтернативою є використання ядрових моделей таких як метод опорних векторів з поліноміальним ядром.

Якщо залишки мають неоднакову дисперсію, тоді для оцінки може бути використаний метод зважених найменших квадратів.[7]

Див. також[ред. | ред. код]

Примітки[ред. | ред. код]

  • Microsoft Excel використовує поліноміальну регресію при підборі лінії тренду до точок даних на графіку розсіювання XY.[8]

Посилання[ред. | ред. код]

  1. Yin-Wen Chang; Cho-Jui Hsieh; Kai-Wei Chang; Michael Ringgaard; Chih-Jen Lin (2010). Training and testing low-degree polynomial data mappings via linear SVM. Journal of Machine Learning Research. 11: 1471–1490. Архів оригіналу за 21 листопада 2020. Процитовано 15 листопада 2020. 
  2. Gergonne, J. D. (November 1974) [1815]. The application of the method of least squares to the interpolation of sequences. Historia Mathematica (вид. Translated by Ralph St. John and S. M. Stigler from the 1815 French). 1 (4): 439–447. doi:10.1016/0315-0860(74)90034-2. 
  3. Stigler, Stephen M. (November 1974). Gergonne's 1815 paper on the design and analysis of polynomial regression experiments. Historia Mathematica. 1 (4): 431–439. doi:10.1016/0315-0860(74)90033-0. 
  4. Smith, Kirstine (1918). On the Standard Deviations of Adjusted and Interpolated Values of an Observed Polynomial Function and its Constants and the Guidance They Give Towards a Proper Choice of the Distribution of the Observations. Biometrika. 12 (1/2): 1–85. doi:10.2307/2331929. JSTOR 2331929. Архів оригіналу за 31 жовтня 2020. Процитовано 15 листопада 2020. 
  5. Така «нелокальна» поведінка є властивістю аналітичних функцій, які не є постійними (всюди). Така «нелокальна» поведінка широко обговорюється в статистиці: * Magee, Lonnie (1998). Nonlocal Behavior in Polynomial Regressions. The American Statistician. 52 (1): 20–22. doi:10.2307/2685560. JSTOR 2685560. 
  6. Fan, Jianqing (1996). Local Polynomial Modelling and Its Applications: From linear regression to nonlinear regression. Monographs on Statistics and Applied Probability. Chapman & Hall/CRC. ISBN 978-0-412-98321-4. 
  7. Conte, S.D.; De Boor, C. (2018). Elementary Numerical Analysis: An Algorithmic Approach. Classics in Applied Mathematics. Society for Industrial and Applied Mathematics (SIAM, 3600 Market Street, Floor 6, Philadelphia, PA 19104). с. 259. ISBN 978-1-61197-520-8. Процитовано 28 серпня 2020. 
  8. Stevenson, Christopher. Tutorial: Polynomial Regression in Excel. facultystaff.richmond.edu. Архів оригіналу за 2 червня 2013. Процитовано 22 січня 2017.