دانلود مقاله ISI انگلیسی شماره 52835 + ترجمه فارسی
عنوان فارسی مقاله

تابع هدف محدب جدید برای یادگیری با نظارت شبکه‌های عصبی تک لایه‌‌‌

کد مقاله سال انتشار مقاله انگلیسی ترجمه فارسی
52835 2009 9 صفحه PDF 32 صفحه WORD
خرید مقاله
پس از پرداخت، فوراً می توانید مقاله را دانلود فرمایید.
عنوان انگلیسی
A new convex objective function for the supervised learning of single-layer neural networks
منبع

Publisher : Elsevier - Science Direct (الزویر - ساینس دایرکت)

Journal : Pattern Recognition, Volume 43, Issue 5, May 2010, Pages 1984–1992

فهرست مطالب ترجمه فارسی
چکیده
مقدمه
تعریف روش پیشنهادی

تصویر شماره 1
تنظیم تابع هدف: تعیین میزان خطا (‌MSE) پس از غیرخطی‌شدن
تابع هدف جدید: تعیین میزان خطا‌( MSE)پیش از غیرخطی شدن‌
یک مثال همراه توضیح
شبیه سازیها
آنالیز مقایسه‌ای با روش‌های پیشین
تحقیقات تطبیقی (مقایسه‌ای) با دیگر الگوریتم‌های استاندارد
نتیجه‌گیری‌ها
جدول شماره یک
جدول شماره دو
جدول شماره سه
جدول شماره چهار
جدول شماره پنج
جدول شماره شش
جدول شماره هفت
جدول شماره هشت
ترجمه چکیده
چکیده: در این مقاله روش نوین یادگیری با نظارت برای ارزیابی شبکه‌های تغذیه رو به جلو عصبی تک‌لایه ارائه می‌شود. این روش از تابع‌هدفی بر مبنایMSE استفاده می‌کند، که خطاها را به جای این‌که پس از تابع فعالسازی غیرخطی نرون‌ها ارزیابی کند قبل از آن‌ها بررسی می‌کند. در این گونه موارد، راه‌حل را می‌توان به سهولت از طریق حل معادلات در سیستم‌های خطی به‌دست آورد یعنی در این روش نسبت به روش‌های معین و مرسوم پیشین به محاسبات کمتری نیاز است. تحقیقات تئوری شامل اثبات موازنه‌های تقریبی بین بهینۀ جهانی تابع هدف بر مبنای معیار MSE و یک تابع پیشنهادی دیگر می‌باشد. بعلاوه مشخص شده است که این روش قابلیت توسعه و توزیع آموزش را دارا می‌باشد. طی تحقیقات تجربی جامع نیز تنوع صحت در انرمان این روش مشخص شده است. این تحقیق شامل 10 دسته‌بندی ((Classification و 16 مسئله‌ی بازگشتی می‌باشد. بعلاوه، مقایسه‌این روش با دیگر الگوریتم‌های آموزشی با عملکرد بالا نشان می‌دهد که روش مذکور بطور متوسط بیشترین قابلیت اجرایی را داشته و به حداقل محاسبات در این روش نیاز می‌باشد.
ترجمه مقدمه
برای بررسی شبکه‌ عصبی تغذیه رو به جلو تک‌لایه با تابع فعالسازی خطی، مقادیر وزن برای تابع بهMSE حداقل رسیده و می‌توان این مقادیر را به وسیله‌ یک ماتریس شبه‌معکوس بدست آورد[1,2] . بعلاوه، می‌توان اثبات کرد که سطح MSE این شبکه خطی تابعی درجه دوم می‌باشد [3] . بنابراین این سطحConvex هایپر پارابولیک‌‌( فراسهمی‌وار‌) را می‌توان به سادگی با روش گرادیان نزولی (Gradient descent) طی کرد. با این حال، اگر ازتابع فعالسازی غیر خطی استفاده شود، مینیمم‌های محلی می‌توانند بر مبنای معیارMSE در تابع هدف دیده شوند[4-6]. طی تحقیقات مختلف می‌توان مشاهده نمود که تعداد چنین مینیمم‌هایی می‌توانند با ابعاد ورودی به صورت نمایی توسعه پیدا کند. تنها در برخی موارد خاص می‌توان تضمین کرد که شرایط حاکم، فاقدMin های محلی هستند. در مورد الگوهای تفکیک‌پذیرخطی و معیار آستانه MSE ، وجود حداقل یک مقدارMin در تابع هدف به اثبات رسیده است[8,9]. با این حال، این امر یک موقعیت عمومی نمی‌باشد. کارهای مشابه این تحقیق نیز بیانگر تابع هدفConvex جدید و معادل باMSE هستندکه شاملMin های محلی نبوده و راه حل کلی آن‌ها با استفاده از سیستم‌های معادلات خطی بدست‌می‌آید. این سیستم را می‌توان برای هر خروجی با پیچیدگی( N ) O حل کرد؛ در جایی که N تعداد پارامترهای شبکه را نشان می‌دهد: موضوعMin های محلی برای شبکه‌های تک لایه در مآخذ‌ (5) به اثبات رسیده‌اند، در جایی که مثال ارائه شده با یک تابع انتقال Sigmoid باشد، برای مجموع خطاهایSquared یکMin محلی ارائه می‌شوند. طی این تحقیقات اذعان‌شده است که حضورMin های محلی بعلت این حقیقت است که تابع خطا منطبق با توابعی‌کهMin های آن‌ها درنقاط مختلف است. تحت این شرایط، امکان ارائه‌ی راه‌حل به‌شکل بسته چندان امکان‌پذیر نمی‌باشد. روش‌های پیشین، طی چند دهد‌ی اخیر بیانگر غلبه‌ی مشکلات حاضر با وجود این‌گونه نقاط ساکن در شبکه‌های عصبی تک‌لایه می‌باشند. در مآخذ شماره[10]، همگراییGlobal Homotopy Mapping طبیعی برای پرسپترون‌ تک‌لایه با تغییر ساختار نقاط (Node) غیرخطی تعریف شده‌است. این اثرهای هوموتوپی امکان تعداد نامتناهی از وزن‌ها را با تغییر شکل مختصات و مشخصات همه راه‌حل‌ها، به‌وسیله تعداد متناهی از راه‌حل‌های منحصربه‌فرد فراهم می‌آورند . اگرچه این روش به راه‌حل‌های محاسباتی اطمینان می‌دهد اما Global Optimization را نمی‌توان فراهم‌آورد[1]. همزمان محققین روشی را برای2 ارزیابی‌های پیشین ارائه کرده‌اند[11] خواه راه‌حل منحصر به‌فرد بوده یا به لحاظ کلی بهینه باشد و برای بررسی Scaling اولیه بردارهای مطلوب و اطمینان از یگانگی آن‌ها داده‌های ورودی آنالیز می‌شوند. اگرچه این روش‌ها برای ارزیابی مقادیر واحد و بهینه بصورت بالقوه (Potentially) مفید واقع می‌شوند،Min ها تنها پس از پایان آموزش مشخص می‌شوند، بعلاوه محققین دیگر روش‌های دیگری را برای شرایط مختلف ارائه کرده‌اند که در آن‌ها از مسئله مربوط به‌Min های محلی در توابع هدف با به حداقل رساندن میزانMSE اجتناب شده است. در بخش‌[12‌]، روش آموزش Online دیگری برای تطابقCost Function بر مبنای واگرایی(Divergence) . Bergman ارائه‌شده است.Pao [2] روش تابع خطی را پیشنهادکرده است که راه‌حل‌های تحلیلی در آن از طریق سیستم معادلات خطی بدست می‌آیند، در جایی کهX ماتریس تشکیل‌شده توسط الگوهای‌ورودی بود،wبردار وزن وz نوع دیگری از بردارهای تشکیل شده توسطتابع فعالسازی به کاررفته در محل خروجی باشد. ابعاد ماتریس X عبارت ازS×N هستند، در جایی کهS تعدادPattern (دادگان) وN تعداد پارامتر‌ها ( وزن‌ها ) می‌باشد همانگونه که Pao در کارهایش اشاره داشته است، اگرS=N باشد و دترمینانX صفر نباشد در نتیجه راه‌حل را می‌توان از طریق فرمول بدست‌آورد. با این وجود، این یک موقعیت عمومی نیست، زیرا در واقع مجموعه‌های داده‌ها معمولا به صورتSN هستند. برای این موارد اخیر،Pao به‌طور جداگانه موقعیت‌ها را آنالیز کرده است. در مواردی کهSN باشد، تعداد نامتناهی توابع ارتونرمال را می‌توان ایجاد کرد، و سپس روشی بر مبنای حالت شبه‌ معکوس به صورت ارائه می‌شود. با یان حال، همانگونه که قبلا نیز اشاره شد، این فرمول اغلب می‌تواند غیر قابل قبول باشد چرا که در خاتمه فرآیند آموزشی می‌توانند میزان خطای فراوانی را به همراه داشته باشد. برخی تحقیقات برای بررسی شبکه‌های عصبی تغذیه رو به جلو چندلایه از نتایج مشابهی استفاده کرده‌اند که یکی از آن‌ها در مآخذ شمار[2] برایBack Propagation خروجی مطلوب یا برای آموزش پارامترهای لایه خروجی ارائه شده است. مخصوصا، در این زمینه، پرپوزال‌های ذهنی مربوط به روش‌های آموزشی و حداقل مربعات آغازین( Least Squares) وجود دارد. جالب‌تر از همه‌ی موارد[15] این است که در جایی که حداقل سه طرح با حداقل مربعات آغازین وجود داشته باشد، سرعت وعملکرد آن‌ها با یکدیگر مورد مقایسه قرار داده می‌شوند. با این حال، این روش‌ها نمی‌توانند به شدت تغییرات مطلوبی را در موارد خروجی از طریق تابع فعالسازی غیرخطی بوجود بیاورند تا جایی که نمی‌توان اثرات مسائل مربوط به حداقل مربعات در شیب‌های غیرخطی را نادیده انگاشت. این قضیه از جمله مباحث مهم ومطرح در این زمینه است که در ادامه بیشتر راجع‌به آن صحبت خواهد شد. در نهایت، طبق مقالات پیشین، یک روش آموزشی جدید برای شبکه‌های عصبی تک‌لایه بر مبنای سیستم معدلات خطی ارائه می‌شود. این روش امکان‌پذیر می‌باشد. زیرا از تابع هدف جدیدی استفاده می‌کند که مجموع خطاهای مجذور(Squared Errors) را به جای این‌که پس از تابع فعالسازی غیرخطی بررسی کند قبل از انجام این کار، ارزیابی‌هایش را انجام می‌دهد. با این حال نتایج تجربی ارائه شده در کارهای پیشین صحت و دقت روش مفروض را تأیید می‌کنند، انجام یک سری تحقیقات تئوری هنوز هم برای اثبات برابری بین تابع هدف بهینه بر مبنایMSE پس از غیرخطی شدن و تابع هدف مفروض ضروری احساس می‌شوند‌(‌به حداقل رساندنMSE قبل از توابع غیرخطی‌). این مقاله موارد مذکور در آنالیزهای تئوریکی‌ تحقیقات اخیر را تکمیل نموده و اثراتScaling تابع هدف را با تعیین شیب تابع انتقالی(transfer ) غیرخطی مورد بررسی قرار می‌دهد از طرف دیگر، مجموعه جدیدی از معادلات خطی نیزکه برای دستیابی به وزن‌ها‌(‌پارامتر‌) بهینه در مسائل مختلف بدست می‌آیند، ارائه می‌شوند.
پیش نمایش مقاله
پیش نمایش مقاله تابع هدف محدب جدید برای یادگیری با نظارت شبکه‌های عصبی تک لایه‌‌‌

چکیده انگلیسی

This paper proposes a novel supervised learning method for single-layer feedforward neural networks. This approach uses an alternative objective function to that based on the MSE, which measures the errors before the neuron's nonlinear activation functions instead of after them. In this case, the solution can be easily obtained solving systems of linear equations, i.e., requiring much less computational power than the one associated with the regular methods. A theoretical study is included to proof the approximated equivalence between the global optimum of the objective function based on the regular MSE criterion and the one of the proposed alternative MSE function. Furthermore, it is shown that the presented method has the capability of allowing incremental and distributed learning. An exhaustive experimental study is also presented to verify the soundness and efficiency of the method. This study contains 10 classification and 16 regression problems. In addition, a comparison with other high performance learning algorithms shows that the proposed method exhibits, in average, the highest performance and low-demanding computational requirements.

خرید مقاله
پس از پرداخت، فوراً می توانید مقاله را دانلود فرمایید.