Person re-identification has been usually solved as either the matching of single-image representation (SIR) or the classification of cross-image representation (CIR). In this work, we exploit the connection between these two categories of methods, and propose a joint learning framework to unify SIR and CIR using convolutional neural network (CNN). Specifically, our deep architecture contains one shared sub-network together with two sub-networks that extract the SIRs of given images and the CIRs of given image pairs, respectively. The SIR sub-network is required to be computed once for each image (in both the probe and gallery sets), and the depth of the CIR sub-network is required to be minimal to reduce computational burden. Therefore, the two types of representation can be jointly optimized for pursuing better matching accuracy with moderate computational cost. Furthermore, the representations learned with pairwise comparison and triplet comparison objectives can be combined to improve matching performance. Experiments on the CUHK03, CUHK01 and VIPeR datasets show that the proposed method can achieve favorable accuracy while compared with state-of-the-arts

چکیده

شناسایی افراد معمولاً یا به صورت انطباق الگوی تک تصویری (SIR) و یا دسته بندی الگوی تصویر روبرو (CIR) صورت می گیرد. در این تحقیق، ما به دنبال ایجاد ارتباط بین این دو دسته از روش ها می باشیم و یک چارچوب آموزش مشترک را برای یکپارچه سازی SIR و CIR با استفاده از شبکه های عصبی پیچیده (CNN) پیشنهاد می کنیم. در حالت خاص، ساختار عمیق مورد نظر شامل یک زیر شبکه مشترک با دو زیر شبکه دیگر است که SIR ها را از یک سری تصاویر مشخص و CIR ها را از جفت تصاویر داده شده استخراج می کند. زیر شبکه SIR می بایست هر بار برای هر یک از تصاویر (هم در مجموعه‌های پروب و هم گالری) محاسبه شود و عمق زیر شبکه CIR نیز می بایست به حداقل برسد تا حجم بار محاسباتی کاهش پیدا کند. بنابراین، دو نوع الگوی نمایشی را می توان به صورت مشترک به منظور کسب بهترین دقت انطباق با صرف کمترین بار محاسباتی، بهینه سازی نمود. علاوه بر این، الگوهای نمایشی که با استفاده از اهداف مقایسه دوتایی سه تایی آموزش دیده اند (منظور در شبکه عصبی آموزش داده شده اند) را می توان برای بهبود عملکرد انطباق با هم ترکیب نمود. آزمایش های صورت گرفته روی مجموعه داده های CUHK03 ، CUHK01 و VIPeR نشان می دهد که روش پیشنهادی قادر است دقت بالایی را در مقایسه با سایر الگوهای جدید ارائه شده از خود به نمایش بگذارد.

1-مقدمه

شناسایی افراد در واقع انطباق دو تصویر از اشخاص در حال پیاده روی از دو منظر متفاوت است. این مفهوم در سال های اخیر به خاطر کاربردهای گسترده ای که در تجسس های ویدئویی دارد، توجه بسیاری را به خود جلب کرده و تحقیقات قابل توجهی در مورد آن صورت گرفته است. اما این مسئله، همچنان به عنوان یک چالش شناخته شده و مطالعات بیشتری را می طلبد، که دلیل آن تغییرات زیاد شدت نور، ژست ها، منظرها و پیش زمینه تصاویر افراد پیاده می باشد.

شناسایی افراد را می توان بر اساس دو دسته از روش ها انجام داد: 1) روش های سنجش فاصله و یا شباهت بر اساس الگوی تک تصویری که در واقع الگویی را از یک تصویر مشخص نتیجه می دهد [13, 14, 16, 28, 20, 17, 26, 7] و (2) دسته بندی مربوط به الگوهای تصویر روبرو که الگویی بر اساس یک جفت تصویر است [19, 1, 24]. در دسته اول، الگوی نمایش تک تصویری (SIR) ابتدا با استفاده از روش های دستی و یا با کمک روش های شبکه عصبی پیچیده (CNN) به دست می آید و سپس سنجش فاصله به همراه یک مقدار آستانه برای پیش‌بینی اینکه آیا دو تصویر فرد پیاده با هم انطباق دارند یا خیر، به کار می رود. در دسته روش های دوم، پس از تهیه الگوی نمایشی تصویر روبرو (CIR)، شناسایی فرد مورد نظر را می توان به عنوان یک الگوی دسته بندی باینری ترتیبی در نظر گرفت...