In this paper, we provide a comprehensive survey of the mixture of experts (ME). We discuss the fundamental models for regression and classification and also their training with the expectation-maximization algorithm. We follow the discussion with improvements to the ME model and focus particularly on the mixtures of Gaussian process experts. We provide a review of the literature for other training methods, such as the alternative localized ME training, and cover the variational learning of ME in detail. In addition, we describe the model selection literature which encompasses finding the optimum number of experts, as well as the depth of the tree. We present the advances in ME in the classification area and present some issues concerning the classification model. We list the statistical properties of ME, discuss how the model has been modified over the years, compare ME to some popular algorithms, and list several applications. We conclude our survey with future directions and provide a list of publicly available datasets and a list of publicly available software that implement ME. Finally, we provide examples for regression and classification. We believe that the study described in this paper will provide quick access to the relevant literature for researchers and practitioners who would like to improve or use ME, and that it will stimulate further studies in ME

چکیده

در این مقاله مروری جامع بر مدل تجمیع نخبگان (ME) فراهم آورده ­ایم. همچنین مدل­ های پایه ­ای را جهت رگرسیون و طبقه­ بندی و نیز تعلیم آن ­ها با الگوریتم امید ریاضی-بیشینه‌سازی (expectation-maximization) مورد بحث قرار داده ­ایم. بحث را با ارتقا و بهبود مدل ME دنبال نموده و به طور ویژه روی تجمیع نخبگان فرآیند گاوسی متمرکز می­ شویم. ما همچنین گزارشی از روش­ های دیگر تعلیم، مانند تعلیم  Me متمرکز متناوب آورده و تعلیم متغیر ME را با جزئیات پوشش داده ­ایم. به علاوه، پیشینه ­ی انتخاب مدل را که شامل پیدا کردن تعداد بهینه ­ی نخبگان، همانند عمق درخت، است را تشریح می ­کنیم. ما مباحث پیشرفته­ تری را درحوزه ­ی ناحیه­ی طبقه ­بندی ME  ارائه داده و برخی نکات و دغدغه­ها را در مدل طبقه­ بندی بیان می­ کنیم. ما ویژگی­ های آماری ME را فهرست نموده و چگونگی تغییر مدل در طول سالیان را مورد بحث قرار داده و ME را با برخی الگوریتم ­های معروف مقایسه نموده و برخی از کاربرد های آن را فهرست می ­کنیم. بررسی­ هایمان را با جهت ­گیری­ های آتی در این زمینه جمع ­بندی نموده و فهرستی از مجموعه داده­ های موجود برای عموم و نیز فهرستی از نرم ­افزار های موجود برای عموم که ME را پیاده سازی می ­کنند ارائه می­ کنیم. در انتها مثال ­هایی را برای رگرسیون و طبقه­ بندی آورده ­ایم. بر این باوریم که مطالب موجود در این مقاله دسترسی سریعی را به حوزه­ ی مربوطه برای پژوهشگران و شاغلینی که مایل به بهبود و یا استفاده از ME هستند فراهم نموده و مطالعات بیشتری را در حوزه­ی ME طلب کرده و سبب می­ شود.

1-مقدمه