رگرسیون خطی بیز در آمار ، رگرسیون خطی بیز [الف] رگرسیون خطی است که در آن تجزیه و تحلیل آماری در چارچوب استنباط بیزی انجام می‌شود. هنگامی که خطاهای مدل رگرسیون خطی از یک توزیع طبیعی پیروی کند، با در نظر گرفتن یک توزیع پیشین بر روی پارامترهای مدل، پیش‌بینی مدل از یک توزیع پسین که از قانون بیز به‌دست آمده، استفاده می‌کند.
تعریف ریاضی [ ویرایش ] اگر داده‌ها را با D = [ ( x 1 , y 1 ) , ⋯ , ( x n , y n ) ] {\displaystyle \mathbf {D} =[(\mathbf {x_{1}} ,y_{1}),\cdots ,(\mathbf {x_{n}} ,y_{n})]} y {\displaystyle y} x {\displaystyle \mathbf {x} } رگرسیون خطی استاندارد متغیرِ میانگینِ مشروط y i {\displaystyle y_{i}} x i {\displaystyle \mathbf {x} _{i}} i = 1 , … , n {\displaystyle i=1,\ldots ,n}
y i = x i T β + ε i , {\displaystyle y_{i}=\mathbf {x} _{i}^{\rm {T}}{\boldsymbol {\beta }}+\varepsilon _{i},}
در اینجا β {\displaystyle {\boldsymbol {\beta }}} x i {\displaystyle \mathbf {x} _{i}} m × 1 {\displaystyle m\times 1} ε i {\displaystyle \varepsilon _{i}} مستقل و به‌طور یکسان توزیع شده‌ای هستند که از توزیع پایین پیروی می‌کنند:
ε i ∼ N ( 0 , γ 2 ) . {\displaystyle \varepsilon _{i}\sim {\mathcal {N}}(0,\gamma ^{2}).}
با این حساب، احتمال مشروط y i {\displaystyle y_{i}} تابع درست نمایی پایین پیروی می‌کند:
ρ ( y ∣ X , β , γ − 1 I ) = N ( y ∣ β t x , γ − 1 I ) . {\displaystyle \rho ({y}\mid \mathbf {X} ,\beta ,\gamma ^{-1}\mathbf {I} )={\mathcal {N}}(y\mid \beta ^{t}\mathbf {x} ,\gamma ^{-1}\mathbf {I} ).} یکی از راه‌های به دست آوردن پارامتر بهینه روش کمترین مربعات است که مجموع مربعات تفاضل خطاها، یعنی Σ i ( y i − β t x i ) 2 {\displaystyle \Sigma _{i}\left(y_{i}-\beta ^{t}\mathbf {x_{i}} \right)^{2}} [۱]
β ^ = ( X T X ) − 1 X T y {\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\rm {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\rm {T}}\mathbf {y} }
در اینجا X n × k {\displaystyle \mathbf {X} _{n\times k}} ماتریس x i {\displaystyle \mathbf {x} _{i}} i {\displaystyle i} x i {\displaystyle \mathbf {x} _{i}} y i {\displaystyle y_{i}} y n × 1 {\displaystyle \mathbf {y} _{n\times 1}}
راه حل کمترین مربعات از یک رویکرد فروانی‌گرا استفاده می‌کند که در آن مقادیر β {\displaystyle {\boldsymbol {\beta }}} روش استنباط بیزی اما، داده‌ها با اطلاعات اضافی در قالب یک توزیع احتمال پیشین مورد بررسی می‌گیرند و توزیع پسین که با استفاده از قانون بیز ، توزیع پیشین و تابع درست نمایی به دست می‌آید برای پیش‌بینی مدل مورد استفاده قرار می‌گیرد.
در روش رگرسیون خطی بیز فرض می‌کنیم پارامتر β {\displaystyle {\boldsymbol {\beta }}} ρ ( β ) = N ( 0 , α I − 1 ) {\displaystyle \rho (\beta )={\mathcal {N}}(\mathbf {0} ,\alpha \mathbf {I} ^{-1})} [۲]
ρ ( β ∣ D ) = ρ ( D ∣ β ) × ρ ( β ) ρ ( D ) = N ( β ∣ μ n , Σ n ) {\displaystyle \rho (\mathbf {\beta } \mid \mathbf {D} )={\frac {\rho (\mathbf {D} \mid \mathbf {\beta } )\times \rho (\mathbf {\beta } )}{\rho (\mathbf {D} )}}={\mathcal {N}}(\beta \mid \mathbf {\mu _{n}} ,\mathbf {\Sigma _{n}} )}
در اینجا μ n = β Σ n X t y {\displaystyle \mathbf {\mu _{n}} =\mathbf {\beta } \mathbf {\Sigma _{n}} \mathbf {X} ^{t}\mathbf {y} } Σ n − 1 = α I + β X t X {\displaystyle \mathbf {\Sigma _{n}} ^{-1}=\alpha \mathbf {I} +\beta \mathbf {X} ^{t}\mathbf {X} }
برای پیش‌بینی یک بردار جدید x {\displaystyle \mathbf {x} } [۳]
ρ ( y ∣ x , D , α , γ ) = ∫ ρ ( y ∣ β , γ ) × p ( β ∣ D , α , γ ) = N ( y ∣ m n t x , 1 γ + x t Σ n x ) {\displaystyle \rho (y\mid \mathbf {x} ,\mathbf {D} ,\alpha ,\gamma )=\int \rho (y\mid \beta ,\gamma )\times p(\beta \mid \mathbf {D} ,\alpha ,\gamma )={\mathcal {N}}(y\mid \mathbf {m_{n}^{t}} \mathbf {x} ,{\frac {1}{\gamma }}+\mathbf {x} ^{t}\mathbf {\Sigma _{n}} \mathbf {x} )}
در اینجا m n = γ Σ n X t y {\displaystyle \mathbf {m_{n}} =\gamma \mathbf {\Sigma _{n}} \mathbf {X} ^{t}\mathbf {y} }
با استفاده از این تابع پیش‌بینی اگر میانگین یا میانه توزیع را به عنوان پیش‌بینی نهایی در نظر بگیریم جواب ( γ Σ n X t y ) t x {\displaystyle \left(\gamma \mathbf {\Sigma _{n}} \mathbf {X} ^{t}\mathbf {y} \right)^{t}\mathbf {x} } [۴]
جستارهای وابسته [ ویرایش ] ↑ Bayesian linear regression ↑ Rencher, Alvin C.; Christensen, William F. (2012-08-15). Methods of Multivariate Analysis ↑ Bishop, C. M. (2006), Pattern Recognition and Machine Learning , Springer, pp. 152–156, ISBN 978-0-387-31073-2 ↑ Bishop, C. M. (2006), Pattern Recognition and Machine Learning , Springer, p. 157, ISBN 978-0-387-31073-2 ↑ Bishop, C. M. (2006), Pattern Recognition and Machine Learning , Springer, p. 157, ISBN 978-0-387-31073-2
مفاهیم پایه ویژگی‌های سامانه‌ها کنترل دیجیتالی فناوری‌های پیشرفته افزاره های کنترل کننده کنترل گسترده
French
Deutsch
![{\displaystyle \mathbf {D} =[(\mathbf {x_{1}} ,y_{1}),\cdots ,(\mathbf {x_{n}} ,y_{n})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d8bc519b821070f0a6a1310a9a7fa7da38525384)
