Abstract
Mesa is a highly scalable analytic data warehousing system that stores critical measurement data related to Google's Internet advertising business. Mesa is designed to satisfy a complex and challenging set of user and systems requirements, including near real-time data ingestion and queryability, as well as high availability, reliability, fault tolerance, and scalability for large data and query volumes. Specifically, Mesa handles petabytes of data, processes millions of row updates per second, and serves billions of queries that fetch trillions of rows per day. Mesa is geo-replicated across multiple datacenters and provides consistent and repeatable query answers at low latency, even when an entire datacenter fails. This paper presents the Mesa system and reports the performance and scale that it achieves
چکیده
Mesa را میتوان یک سیستم انبار داده ای تحلیلی مقیاس پذیری دانست که داده های محسوس مرتبط با مشاغل تبلیغاتی در گوگل را ذخیره سازی میکند. Mesa به منظور پاسخ به مجموعه ی پیچیده و چالش برانگیز نیازمندی های کاربر و سیستم طراحی شده است و دارای مشخصه هایی مانند مصرف بلادرنگ داده ها، قابلیت پیاده سازی پرس و جو بر روی آن، موجودیت در سطح بالا، قابلیت اطمینان، تحمل پذیری در برابر خطا و مقیاس پذیری برای حجم زیادی از داده ها و پرس و جو ها میباشد. به طور خاص، این سیستم میتواند داده هایی در مقیاس پتابایت را ذخیره کرده، میلیون ها ردیف را در واحد ثانیه بروز رسانی و پردازش کرده و میلیارد ها پرس و جو را که میلیارد ها ردیف را به صورت روزانه درخواست میکنند مورد واکشی قرار داد. Mesa بر روی چندین دیتا سنتر توزیع شده است و میتواند پاسخ هایی سازگار و قابل تکراری را با کمترین تأخیر حتی در زمانی که کل دیتا سنتر با خطا روبرو میشود در اختیار کاربر قرار دهد. در این مقاله قصد داریم این سیستم را ارائه داده و کارائی و مقیاسی که میتوان به وسیله ی آن بدست آورد را نیز ارائه دهیم.
1-مقدمه
کمپانی گوگل از یک پلت فرم تبلیغاتی وسیعی بر روی چندین کانال استفاده کرده که میتواند میلیارد ها تبلیغ (یا به اصطلاح Ad) را به صورت روزانه در سرتاسر جهان مورد سرویس دهی قرار دهد. اطلاعات کامل مربوط به هر تبلیغی که سرویس دهی میشود-مانند معیار هدف، تعداد تأثیرات به ازای هر کلیک و غیره- در این پلت فرم ثبت شده و به صورت بلادرنگ مورد پردازش قرار میگیرد. این داده ها در سطح زیادی توسط گوگل در سناریوهای موردی بکار گرفته میشود، که شامل گزارش گیری، حسابرسی داخلی صدور صورتحساب و پیش بینی میباشد...