Abstract

The data storage system is central in determining the performance and cost in data mining or ITS. As the computing power of servers has increased so have the problems caused by the bottlenecks from slower storage protocol interfaces, which restrict data throughput and the accessing raw data from the physical storage systems. This paper presented new big data storage architecture to optimize the efficiency of data mining or mass surveillance by integrating a distributed and embedded searching engine inside each storage drive. By integrating the intrinsic search engine (iSearch) into the core controller chip some of the work of searching for patterns and keywords takes place inside the drive freeing up resources of a higher level host and ultimately the server. Only those drives, in which the expected pattern or keywords were detected, are analyzed by the higher level host. Not only does iSearch free up the server for other high level computing tasks it also helps preserve as the bandwidth of the big data storage interface

چکیده

سیستم های ذخیره سازی داده در تعیین عملکرد و هزینه در داده کاوی و یا ITS نقش اصلی را ایفا می‌کنند. از آنجاییکه توان محاسباتی سرورها افزایش یافته است، مسائلی از تنگناهای واسط‌های پروتکل ذخیره سازی آهسته‌تر ناشی می‌شوند که توان عملیاتی داده‌ها و دسترسی داده‌های خام از سیستم‌های ذخیره سازی فیزیکی را محدود کرده‌اند. این مقاله معماری ذخیره سازی داده‌های بزرگ جدید را ارائه می‌کند تا بهره وری داده کاوی و یا نظارت جمعی را بهینه سازی کند و برای این منظور موتورهای جستجوی توکار و توزیع شده را در هر درایو ذخیره سازی یکپارچه سازی می‌کند. با یکپارچه سازی موتورهای جستجوی درونی (Isearch) به تراشه‌ی کنترلر مرکزی، کارهای جستجو برای الگوها و کلمات کلیدی داخل درایو با آزاد کردن منابع هاست سطح بالاتر و در نهایت سرور انجام می‌شود. تنها درایوهایی که در آن‌ها الگوی مورد انتظار و یا کلمات کلیدی شناسایی شده‌اند توسط هاست سطح بالاتر تحلیل شده‌اند. نه تنها iSearch سرور را برای تسک‌های محاسباتی سطح بالاتر آزاد می‌کند همچنین به حفظ پهنای باند واسط‌های ذخیره سازی داده‌های بزرگ کمک می‌کند.

1-مقدمه

یک آرایه‌ی دیسک برای سرورهای کامپیوتری و یا مراکز داده استفاده می‌شود. برنامه‌های کاربردی مبتنی بر ابر و وب‌سایت‌ها به طور فزاینده ای درخواست‌های زیادی از سیستم‌های ذخیره سازی بزرگ دارند. سیستم‌های حمل و نقل هوشمند (ITS) یکی از بهترین برنامه‌های کاربردی برای نظارت است و به طور گسترده ای در بازارهای با رشد عمودی سریع استقرار داده شده‌اند [1.2]. بانک‌های اطلاعاتی امروزه با نرخ نمایی رشد می‌کنند و سیستم‌های ذخیره سازی فردا نیز باید به طور نمایی رشد کنند تا جایگزین آنها شوند. در همین حال، محاسبات ابری به دنبال قابلیت‌های پردازش داده‌ی بالاتری است. اطلاعات با کیفیت بالا از الگوها و روندهایی مشتق شده‌اند و از ابزارهایی مانند یادگیری الگوی آماری بهره می‌گیرند [3,4]. ITS یا نظارت بر جرم روندی است که سعی می‌کند فایل‌های بزرگ متشکل از اطلاعات مبتنی بر ویدیو را به جای متن، فایل و یا سند پردازش کند. برای مثال فناوری تشخیص چهره سعی می‌کند جنایتکار تحت تعقیب را در میان هزارا نفر از مردمی که در حال قدم زدن در یک ایستگاه راه‌آهن و یا فرودگاه هستند را پیدا کند [5-9]. همه‌ی این سیستم ها به آرایه‌های دیسک تکیه می‌کنند تا داده‌های خام را ذخیره کنند و از سرورها حمایت می‌کنند تا این داده‌های خام را در سطوح بالاتری از عملکرد تحلیل و جستجو کنند. شکل 1 یک معماری ساده شده است که سیستم ذخیره سازی داده بزرگ را نشان می‌دهد. آرایه‌های افزونه از دیسک‌های ارزان (RAID) یک فناوری اساسی است که قابلیت اطمینان داده‌ها را تأمین می‌کند و داده‌ها را در برابر هر گونه خطای دیسک بازیابی می‌کند [10]. در اینجا RAID-5 یک مثال است. Disk 5 یک دیسک افزونه برای parity است. هر آرایه‌ی دیسک پایه (BDA) از پنج درایو تشکیل شده‌اند. آرایه‌های دیسک برای ساختن فضای ذخیره سازی بزرگتر با RAID سطح بالاتر استفاده می شوند و در نهایت توسط سوئیچ کننده‌های داده به سرورها متصل می‌شوند [11]. هر سرور برای دسترسی به سیستم ذخیره سازی کلی، بافر خود را دارد. کار سرورها این است که این اطلاعات بافر شده را بارگذاری و پردازش کنند…