We present a new supervised learning procedure for systems composed of many separate networks, each of which learns to handle a subset of the complete set of training cases. The new procedure can be viewed either as a modular version of a multilayer supervised network, or as an associative version of competitive learning. It therefore provides a new link between these two apparently different approaches. We demonstrate that the learning procedure divides up a vowel discrimination task into appropriate subtasks, each of which can be solved by a very simple expert network

چکیده

ما یک فرایند یادگیری باناظر برای سیستم‌های تشکیل شده از بسیاری از شبکه‌های جداگانه ارائه کرده‌ایم که در آن هر کدام  یاد می‌گیرند که یک زیرمجموعه از مجموعه‌ی کامل آموزشی را کنترل کنند. فرایند جدید می‌تواند به عنوان یک ورژن ماژولار از یک شبکه‌ی چندلایه‌ی باناظر یا به عنوان یک ورژن انجمنی از آموزش رقابتی در نظر گرفته شود. بنابراین یک ارتباط جدید بین این دو روش ظاهراً متفاوت، ایجاد می‌کند. ما نشان می‌دهیم که فرایند یادگیری،  جداسازی صوتی به زیروظایف مناسب را انجام می‌دهد که هر یک از آن‌ها می‌تواند با یک شبکه‌ی خبره‌ی ساده حل شود.

1-مقدمه

رقابتی کردن آموزش انجمنی :اگر پس‌انتشار برای آموزش یک شبکه‌ی چندلایه برای انجام زیروظایف متفاوت در موقعیت‌های مختلف استفاده شود، عموماً تاثیرات واسط قدرتمندی وجود خواهد داشت که منجر به آموزش کند و تعمیم ضعیف می‌شود. اگر از قبل بدانیم که یک مجموعه از نمونه‌های آموزشی ممکن است به طور طبیعی به زیرمجموعه‌هایی که متناظر با زیروظایف  متمایز هستند، تقسیم شده، واسط می‌تواند با استفاده از یک سیستم تشکیل شده از چندین شبکه‌ی خبره‌ی مختلف با یک شبکه‌ی دروازه کاهش یابد که تصمیم می‌گیرد کدام یک از خبره‌ها باید برای هر نمونه‌ی آموزشی استفاده شوند. Hampshire و Waibel(1989)  سیستمی از این نوع توصیف کرده اند که می‌تواند  در زمان تقسیم به زیروظایف استفاده شود و با عنوان پیش آموزش شناخته می‌شود و Jacobs ، Jordan و Barto(1990) یک سیستم مرتبط را توصیف کرده‌اند که یاد می‌گیرد که چگونه این نمونه‌ها را به خبره‌ها تخصیص دهد. ایده‌ی پشت چنین سیستمی این است که شبکه‌ی دروازه یک نمونه‌ی جدید را به یک یا تعدادی خبره تخصیص می‌دهد و اگر خروجی نادرست باشد، تغییرات وزن مربوط به مکان این خبره‌ها(و شبکه‌ی دروازه) می‌باشد. بنابراین هیچ واسطی با وزن‌های دیگر خبره‌هایی که در نمونه‌های کاملاً متفاوت خاص وجود ندارد. بنابراین خبره‌ها از نظر این که وزن‌ها در یک خبره از وزن‌های دیگر خبره‌ها جدا شده‌اند، محلی هستند...