در باب گرادیان کاهشی تصادفی در سال ۱۹۵۱ نسبت داده‌است. تفاوت گرادیان کاهشی تصادفی با گرادیان کاهشی استاندارد در این است که برخلاف گرادیان کاهشی استاندارد...

روش‌های گرادیان کاهشی سعی می‌کنند به صورت متناوب در خلاف جهت گرادیان حرکت کنند و با این کار تابع هزینه را به حداقل برسانند. پیدا کردن گرادیانِ لایه آخر...

یکی از این روش‌ها روش گرادیان کاهشی تصادفی است. در این روش هر بار یک مثال را به‌صورت اتفاقی از نمونه‌های داده انتخاب کرده، گرادیان تابع هزینه را حساب می‌کنیم...

گرادیان هر لایه از مشتقات لایه‌های جلوتر استفاده می‌شود و زمان اجرا تا حد زیادی کاهش پیدا می‌کند. استفاده از روش پس‌انتشار در کنار روش گرادیان کاهشی تصادفی،...

شبکه عصبی هر بار به صورت تصادفی از روند یادگیری حذف می‌شود. برای یادگیری وزن‌های شبکه عصبی از الگوریتم گرادیان کاهشی تصادفی استفاده می‌شود، و هر بار وزن‌های...

می‌دهد می‌توان گرادیان کاهشی را پیاده‌سازی کرد. البته برای جلوگیری از پیچیدگی محاسبات، روش‌هایی همچون گرادیان کاهشی تصادفی یا گرادیان کاهشی دسته‌ای نیز مورد...

یکی از این روش‌ها روش گرادیان کاهشی تصادفی است. در این روش هر بار یک مثال را به صورت اتفاقی از نمونه‌های داده انتخاب کرده، گرادیان تابع هزینه را حساب می‌کنیم...

روش‌های گرادیان کاهشی سعی می‌کنند به صورت متناوب در خلاف جهت گرادیان حرکت کنند و با این کار تابع هزینه را به حداقل برسانند. پیدا کردن گرادیانِ لایه آخر...

با توجه به ویژگی‌های مسئله، اضافه می‌کند. گرادیان کاهشی تصادفی که تعداد زیادی جستجوی حریصانه را از نقاط تصادفی مختلف شروع میکند. الگوریتم‌های ژنتیک دسته‌ای...

روش‌های گرادیان کاهشی سعی می‌کنند به صورت متناوب در خلاف جهت گرادیان حرکت کنند و با این کار تابع هزینه را به حداقل برسانند. پیدا کردن گرادیانِ لایه آخر...

دربر نمی‌گیرد. ادراک ماشین جعل عمیق بازگشت به عقب شبکه عصبی مصنوعی گرادیان کاهشی تصادفی یادگیری ماشین رگرسیون خطی Bengio, Y. (2009). Learning Deep Architectures...

در یادگیری ماشین، قانون دلتا یک قانون یادگیری گرادیان کاهشی برای به روز رسانی وزن ورودی ها به سلول عصبی مصنوعی در یک شبکه عصبی تک لایه است. می توان آن...

این کار با استفاده از الگوریتم های استاندارد آموزش عصبی عصبی مانند گرادیان کاهشی تصادفی همراه با پس‌انتشار انجام می‌شود. متن ممکن است یک پنجره با اندازه...

بسته به وزن‌های انتخابی داشته و از طریق آموزش داده‌ها و مدل با روش گرادیان کاهشی می‌توان به این خواسته رسید. این تکنیک در طیف گسترده‌ای از مدل‌های یادگیری...

یادگیری، بین پرت شدن و نرخ همگرایی یک موازنه هست. درحالیکه جهت کاهشی معمولا از گرادیان تابع زیان تعیین می‌شود، نرخ یادگیری تعیین می‌کند که یک گام در آن...

نیست. ما می توانیم این مشکل را با استفاده از رویکردی الهام گرفته از گرادیان کاهشی تصادفی حل کنیم. به جای در نظر گرفتن کی-نزدیکترین همسایه در هر نقطه تبدیل...

فقط برای x ≠ 0 {\displaystyle x\neq \mathbf {0} } صدق میکند. در گرادیان کاهشی تصادفی (Stochastic gradient descent) ، مقیاس بندی ویژگی گاهی اوقات می تواند...

یا "soft prompting", بردارهای دارای مقادیر ممیز شناور مستقیماً توسط گرادیان کاهشی جستجو می‌شوند تا حداکثر تابع درستنمایی خروجی‌ها را به دست آورند. به‌طور...

اساس اندازهٔ مقادیر ویژه متناظر با آن‌ها صورت می‌گیرد؛ یعنی بر اساس ترتیب کاهشی مقادیر ویژه، بردارهای ویژه بازچینی می‌شوند؛ یعنی p ≤ q ⇒ λ p ≤ λ q {\displaystyle...

بهینه‌سازی محدب است. الگوریتم‌های متنوعی هم برای حل آن وجود دارد که شامل روش گرادیان کاهشی یا Limited-memory BFGS است. از سوی دیگر، اگر برخی از متغیرها مشاهده...

«زمان فراز پالس» d v / d t {\displaystyle dv/dt} ، نشان دهنده تندترین گرادیان ولتاژ پالس (زمان فراز یا فرود) است و برحسب ولت بر میکروثانیه (V/μs) بیان...

ماشین مدرن، از جمله نزول تصادفی گرادیان برای آموزش شبکه‌های عصبی عمیق و روش‌های مجموعه (مانند جنگل‌های تصادفی و درختان گرادیان افزایشی)، به طور کلی وجود...

ماشین‌های بولتزمن) می‌شود؛ این امر به ویژه برای الگوریتم واگرایی متضاد گرادیان کاهشی، صادق است. ماشین‌های محدود بولتزمن را می‌توان در شبکه‌های یادگیری عمیق...

حداقل رساندن تابع هزینه، هم متخصصان و هم تابع وزن‌دهی با استفاده از روش گرادیان کاهشی، آموزش داده می‌شوند. در انتخاب تابع وزن‌دهی و تابع هزینه که شکل‌بندی...

\ell (\theta \mid X,Y)} را بیشینه کند با روشهای بهینه‌سازی محّدب مانند گرادیان کاهشی رسید. برای جلوگیری از بیش‌برازش در رگرسیون پواسون، جریمه‌ای برای پارامترهای...

{\displaystyle b} در این مدل با استفاده از روش گرادیان کاهشی به‌دست می‌آید. به این ترتیب که، در زمان اجرای روش گرادیان کاهشی در هر پیمایش، بهترین تابع کرنل برای...

خطای نمایش پوشش می‌دهند. گام انطباق شبکه گاز عصبی می‌تواند به عنوان گرادیان کاهشی بر روی تابع هزینه تفسیر شود. به کمک انطباق نه فقط نزدیکترین بردار ویژگی،...