Tracking objects across cameras by incrementally learning inter-camera colour ca

מעקב אחר אובייקטים על פני מצלמות באמצעות למידה הדרגתית של כיול צבעים ודפוסי פעילות בין-מצלמות

1. מבוא

המאמר עוסק במעקב אוטומטי אחר אובייקטים בין מצלמות. מצב זה מכונה לעתים קרובות “מסירה” של אובייקט או אדם ממצלמה אחת לאחרת. לשם כך עלינו ללמוד על היחסים בין המצלמות, ללא צבע, או קדם-כיול מרחבי. מערכת מעקב אידיאלית היא כזו המסוגלת לפעול מיד לאחר האתחול, לשפר ביצועים יחד עם זרם הנתונים, ובעלת יכולת הסתגלות לשינויים סביבתיים.

לשם כך, המערכת צריכה ללמוד את יחסי המרחב ויחסי הצבע בין מצלמות לא-חופפות. כך המערכת יכולה לקבוע האם אובייקט מסוים כבר נמצא  במעקב על ידי מצלמה אחרת, או שמדובר באובייקט חדש. בניגוד לגישות קודמות, גישה זו אינה דורשת כיול מוקדם או תקופות אימון. למידה הדרגתית של וריאציות הצבע והתנועות של האובייקט מאפשרת למעקב להפוך מדויק יותר עם הזמן, ללא צורך בקלט מפוקח.

2. רקע

אלגוריתמי מעקב מוקדמים דרשו כיול של המצלמה ושדות ראייה חופפים (FOV) על מנת לחשב את המסירה של האובייקטים במעקב בין המצלמות. צ’אנג, בנוסף, דרש מודל תלת-ממדי של הסביבה תוך שימוש בגיאומטריה אפיפולרית, בכדי לאפשר רישום אובייקטים על פני המצלמות החופפות. הצורך ב- FOV הוא בלתי פרקטי עקב מספר המצלמות הדרושות והאילוצים הפיזיים של מיקומן.

קטנאקר וזביה הציגו פתרון בייסיאני למעקב על פני מצלמות ללא צורך ב- FOV. אך מערכת זו דרשה כיול מצד המשתמש, שנדרש לספק מראש סט של הסתברויות טרנזיציה ומשך הזמן הצפוי שלהן. כלומר, הסביבה ותנועת האנשים בתוכה נדרשים להיות ידועים מראש. זו דרישה בלתי סבירה עבור מעקבי אבטחה.

שיטות הסתברותיות או סטטיסטיות זכו למרבית תשומת הלב בפתרון של מעקב בין-מצלמות. שיטות אלו מיישמות את העיקרון לפיו באמצעות ראיות מצטברות של דפוסי תנועה ניתן לזהות פעילויות נפוצות במשך הזמן. הואנג וראסל הציגו גישה הסתברותית למעקב אחר מכוניות, תוך בניית מודלים של מופעי צבע וזמני טרנזיציה בתור התפלגויות גאוסיאניות. גישה זו היא מאוד ספציפית-ליישום, ומשתמשת רק בשתי מצלמות מכוילות העוקבות אחר כלי רכב הנעים בכיוון אחד, במסלול אחד. ג’אבד הציג מערכת כללית יותר, המיישמת חלונות פרזן כדי ללמוד את טופולוגיית המצלמות והסתברויות המסלולים. זוהי שיטת למידה מפוקחת שבה הסתברויות טרנזיציה נלמדות במהלך האימון באמצעות מספר נתיבים מתויגים ידנית. דיק וברוקס יישמו מטריצת טרנזיציה סטוכסטית כדי לתאר דפוסי תנועה, בין-מצלמות ותוך-מצלמות. שתי המערכות דורשות נתוני אימון א-פריוריים על מנת לאפשר תיאום בין המצלמות. המערכת דורשת תקופת אימון הכוללת תנועה של מארקר ברחבי הסביבה. מצב זה אינו סביר עבור מערכות גדולות ואינו מאפשר החלפה או הסרה של מצלמות ללא כיול.

קיאוטרקולפונג ובאודן, או אליס, אינם דורשים תיאום מראש, ובמקום זאת משתמשים בתנועות הנצפות במשך הזמן בכדי לבסס תקופות של הופעה-מחדש. אליס לומד את הקשרים בין המצלמות, תוך שימוש במספר גדול של אובייקטים כדי ליצור היסטוגרמות הופעה-מחדש בין המצלמות. באודן מיישם תיאום הופעות בכדי ליצור היסטוגרמות עמומות של תקופת ההופעה-מחדש, ומאפשר בניית מודל מרחב-זמן של תקופת ההופעה-מחדש. שני המקרים דורשים עיבוד אצווה של הנתונים, המגביל את היישומיות שלהם.

לעתים קרובות צבע מיושם בתהליך ההתאמה. בלאק משתמש בקוואנטיזציה לא-אחידה של חלל הצבע HSI בכדי לשפר את השתמרות האור תוך אחזור פרטי צבע. קיאוטרקולפונג ובאודן משתמשים ב- CCCM כפי שהוצע על ידי סטורג’ס. זוהי קוואנטיזציה גסה המבוססת על התפיסה האנושית ומאפשרת ייצוג צבע עקבי בין-מצלמות. מרבית מערכות האבטחה המיישמות מספר רב של מצלמות מתבססות על ההנחה של תגובת צבע משותפת. אך אפילו מצלמות מאותו סוג יכולות להציג הבדלים העלולים לגרום לטעויות צבע. כיול מוקדם של המצלמות מתבצע בעזרת אובייקט ידוע אחד, כמו טבלת 24 הצבעים ColorCheckerTM של GretagMacbeth, בה משתמשים אילי ו-וולש. פוריקלי מציע מדד מרחק ופונקציית מודל בכדי לאמוד את תגובת הצבע בין המצלמות. רעיון זה מבוסס על מטריצת קורלציה המחושבת משלושת היסטוגרמות הצבע RGB החד-ממדיות ופונקציית מודל שהושגה ממסלול העלות המינימאלית של מטריצת הקורלציה. בדומה, ג’ושי מציע טרנספורמציית RGB to RGB בין תמונות. באמצעות מטריצת 3X3, ניתן ליצור מודל של האפקטים בין-הערוצים בין הרכיב האדום, הירוק והכחול.

3. מעקב אובייקטים ותיאור

סביבת המבחן כוללת 4 מצלמות צבע לא-חופפות בבניין משרדים (איור 1). האזור בין המצלמות כולל דלתות ופינות המסירות תנועות חלקות בין-מצלמות. הפידים מוצגים יחד במולטיפלקס על מנת ליצור וידאו בודד עם סינכרון זמן, המוזן ל- PC בזמן-אמת. כדי לזהות אובייקטים, התפלגות הצבע של הרקע הסטטי ממודלת באופן דומה לזה שהוצג על ידי סטאופר וגרימסון. מודל תערובת גאוסיאנית על בסיס פר-פיקסל משמש כדי ליצור את סגמנטציית הפיקסלים של הרקע מול החזית, הנלמדת בעזרת מיקסום מקוון של קירוב מול ציפייה. הצללים מזוהים ומוסרים באמצעות רלקסציה של אילוצים על האינטנסיביות, אך לא על הכרומטיות, והאובייקט בחזית מתהווה באמצעות ניתוח רכיבים קשורים על הסגמנטציה הבינארית. האובייקטים מקושרים טמפוראלית באמצעות מסנן קלמן כדי לספק נתיבי תנועה בתוך כל מצלמה (איור 1).

איור 1: משמאל, מערך המצלמות; מימין, סביבת המעקב.

3.1. דמיון בצבעים

לאחר זיהוי האובייקטים בחזית, נוצר דסקריפטור אובייקטים עבור הקורלציה בין המצלמות. היסטוגרמת הצבע מתארת את מופע האובייקטים מכיוון שהיא משומרת מבחינה מרחבית, ובאמצעות קוואנטיזציה, ניתן להשיג שימור של האילומינציה. נבדקו מספר מרחבי צבע ורמות קוואנטיזציה, כולל גישת HSI (8X8X4), גישת CCCM, ורמות שונות של קוואנטיזציית RGB קונבנציונלית. ללא כיול תגובות צבע, ה- CCCM הפיקה תוצאות טובות במקצת ונבחרה עבור קורלציית האובייקטים הראשונית. ה- CCCM פועלת על ידי שבירת צבע RGB ל- 11 צבעים בסיסיים. כל צבע בסיסי מייצג קטגוריית תפיסת צבע המבוססת על סיווג הצבע האנושי. קוואנטיזציה גסה זו מספקת ייצוג צבע עקבי בין-מצלמות הקודם לקוואנטיזציה. לאחר הכיול, RGB לאחר קוואנטיזציה מציג את הביצועים הטובים ביותר.

4. בניית הקשרים הטמפוראליים בין המצלמות

כדי ללמוד את הקשרים המרחביים בין המצלמות, אנו מניחים כי במשך הזמן, אובייקטים (ואנשים) ינועו לפי נתיבים דומים וכי החזרה על הנתיבים תיצור טרנדים עקביים בנתונים. ניתן להשתמש בקשרים אלו בכדי לקשר בין אזורי מצלמות שונים, וליצור התפלגות הסתברותית של תנועת האובייקטים.

הקישור בין כל האזורים השונים הוא אפשרי במערכות ניסיוניות קטנות. אך ככל שמספר המצלמות גדל, מספר הקשרים האפשריים הנדרשים בכדי ליצור מודל של ה- posterior גדל אקספוננציאלית. במערכת של 20 מצלמות, כשכל מצלמה צופה על 3 אזורי כניסה או יציאה, נדרשים 3540 קשרים בכדי לכסות את כל האפשרויות. כאשר מספר הקשרים גדל, כמות הנתונים הנדרשת בכדי ללמוד יחסים אלו עולה גם היא והגישה הופכת לבלתי ישימה. עם זאת, מרבית הקשרים בין האזורים הם בלתי-תקפים מכיוון שהם מגיבים למסלולים בלתי קיימים. לפיכך, נדרשת גישה המבדילה בין קשרים תקפים ובלתי-תקפים. רוב הפתרונות לכך דורשים עיבוד אצווה כדי לזהות נקודות כניסה/יציאה או תיוג ידני של הקשרים (בלתי פרקטי במערכות גדולות). שתי גישות אלו מציגות יכולת הסתגלות מוגבלת ביותר בכל הנוגע לשינויים בסביבה או במצלמות.

4.1. קשרים אזוריים

המערכת מתחילה בזיהוי קשרים ברמת המצלמה-למצלמה הבסיסית, תוך התעלמות מקשרים לא רלוונטיים. ניתן לאחר מכן לחלק את הקשרים התקפים על מנת לאפשר רמת פירוט גבוהה יותר. האלגוריתם עוקב באופן אוטומטי אחר אובייקטים ב- FOV של המצלמה ויוצר מודל מופע צבע (CAM) עבור האובייקט או האדם. היסטוגרמת הצבע B = (b1, b2, … bn) היא ההיסטוגרמה החציונית שתועדה עבור האובייקט על פני הנתיב המלא שלו בתוך מצלמה בודדת. כל האובייקטים המזוהים החדשים מושווים לאובייקטים קודמים בתוך חלון זמן מוגדר, T. הדמיון בצבע מחושב ומשולב יחדיו, כדי ליצור התפלגות הסתברות דיסקרטית על פני זמן, בהתבסס על תקופת ההופעה-מחדש T. לפיכך, התדירות f של bin φ מחושבת בתור:

כאשר tistart ו- tiend הם זמני הכניסה והיציאה של אובייקט i, בהתאמה, ו- T הוא תקופת ההופעה-מחדש המקסימאלית המורשית. Hij הוא חיתוך ההיסטוגרמה של אובייקטים i ו- j הנתון על ידי

. התדירויות מחושבות רק עבור אובייקט t הנעלם מאזור y ואחריו מופיע מחדש באזור x (fx/y). דרך נורמליזציה של האזור הכולל באמצעות , ניתן להשיג אומדן של הסתברות הטרנזיציה המותנית P(Ox,t|Oy). איור 2 מציג דוגמא של הסתברות זו כאשר Ox,t הוא אובייקט x בזמן t. השיא ב- 6 שניות מצביע על קשר בין שני האזורים.

איור 2: התפלגות הסתברותית המציגה קשר ברור בין שני אזורים.

5. חלוקת בלוקים הדרגתית ושילובם מחדש

חלק זה מתאר כיצד המערכת מזהה קשרים תקפים ויוצרת תת-חלוקות של הבלוקים המקושרים. לאחר מכן ניתן לשלב מחדש בלוקים סמוכים וליצור בלוקים גדולים אף יותר, בהינתן התפלגות דומה.

המערכת מבוססת על תת-חלוקה מלבנית. ברמה העליונה, המערכת מתחילה עם בלוק אחד עבור כל אחת מארבעת המצלמות. כך מתאפשר מעקב מיידי, כשהקשרים בתחילה מתפלגים באופן אחיד. 12 הקשרים בין הבלוקים נלמדים במשך הזמן באמצעות השיטה שתוארה בחלק הקודם. לאחר ראיות מספקות, הנקבעות על ידי אוכלוסיית ההיסטוגרמה, רמת רצפת הרעש נמדדת עבור כל קשר. ניתן לקבוע זאת באמצעות שיטות סטטיסטיות שונות, אך ניסויים הראו כי החציון של כל הערכים של ההתפלגות ההסתברותית מספק את התוצאות העקביות ביותר. אם השיא המקסימאלי של ההתפלגות עולה על רמת רצפת הרעש, פירוש הדבר קורלציה אפשרית בין שני הבלוקים (איור 2).

כאשר נמצא קשר בין שני בלוקים, כל אחד מהם עובר תת-חלוקה כדי ליצור 4 בלוקים חדשים זהים בגודלם. הנתונים הקודמים מיושמים שוב ומשולבים עם ראיות עתידיות כדי ליצור קשרים בבלוקים החדשים לאחר תת-חלוקה. קרוב לודאי כי רבים מהבלוקים החדשים לא ייצרו קשרים ברורים, וקשרים ללא נתונים מוסרים מהחישוב. איור 3 מראה כיצד הבלוקים מוסרים ומתחלקים במשך הזמן. טבלה 1 מציגה את מספר הקשרים שנשמרו והוסרו בכל איטרציה, יחד עם כמות הנתונים שיושמה. ניתן לראות כי בכל איטרציה מספר הקשרים האפשריים עולה דרמטית, בעוד שמספר הקשרים התקפים הנשמרים על ידי המערכת הוא קטן משמעותית. הסרת אזורים בלתי-שמישים ובלתי-תקפים משפרת את מדרגיות המערכת.

איור 3: תהליך האיטרציה של חלוקת הבלוקים על רצף הוידיאו.

בהמשך, הבלוקים יוצרים את נקודות הכניסה והיציאה של המצלמות, ואיטרציה 4 באיור 3 מראה את התוצאה לאחר 4 תת-חלוקות. הבלוקים הבהירים הם בעלי חשיבות גבוהה יותר, הנקבעת על ידי מספר הדגימות הנכללות בכל קשר. כאשר מספר האיטרציות גדל, גודל הבלוקים המקושרים פוחת וכך מקטין את מספר הדגימות המזוהות בכל בלוק. מספר דגימות קטן מוביל להתפלגות לא מהימנה. בכדי למנוע זאת, בלוקים סמוכים עם התפלגות זהה משולבים יחד כדי להגדיל את מספר הדגימות הכולל בתוך בלוק זה (איור 3, מימין). כך ניתן להפחית את מספר הבלוקים ואת מספר הקשרים השמורים, ולשפר את דיוק קשרים אלו. אם מתגלות ראיות חדשות בבלוקים שהוסרו, כמו פתיחת דלת פתאומית, ניתן לשלב את הבלוקים הרלוונטיים לרמה הקודמת של התת-חלוקה.

טבלה 1: מספר הקשרים שנשמרו והוסרו בכל חלוקה.

6. חישוב ההתפלגות של הופעות posterior

חלק זה מתאר כיצד ניתן להשתמש בקשרים המשוקללים בין הבלוקים כדי לשקלל את סבירות התצפית של אנשים במעקב. במשך הזמן, ה- posterior הופך מדויק יותר, במקביל לתהליך חלוקת הבלוקים. בהינתן אובייקט הנעלם באזור y, אנו יכולים ליצור מודל של סבירות הופעתו מחדש במשך הזמן בתור:

כאשר המשקל wx בזמן t נתון בתור:

הסתברות זו משמשת לאחר מכן כדי לשקול את סבירות התצפית שהושגה באמצעות דמיון צבע בכדי לבסס הסתברות posterior של התאמה, על פני מצלמות מופרדות במרחב. מעקב האובייקטים מושג על ידי מיקסום הסתברות ה- posterior בתוך חלון זמן מוגדר.

7. יצירת מודלים של וריאציות צבע

הדסקריפטור בו השתמשנו בפרק הקודם פועל על הנחה של תגובת צבע דומה בין המצלמות. אך מצב זה מתקיים רק לעתים רחוקות. המצלמות באיור 1 מציגות הבדלים בולטים בתגובות הצבע, אפילו לעין בלתי מזוינת. לפיכך, מוצע כיול צבע הנלמד הדרגתית, בדומה להתפלגות שתוארה קודם.

המערכת משתמשת בדסקריפטור הראשוני כדי ליצור התפלגויות posterior, במקביל לביסוס מטריצות טרנספורמציות הצבע בין המצלמות. האנשים במעקב משמשים בתור אובייקטי הכיול, ומטריצת טרנספורמציה נוצרת באופן הדרגתי בכדי לבנות מודל של שינויי הצבע בין המצלמות. עם זאת, האנשים אינם בגודל זהה, ולכן טרנספורמציה מדויקת לחלוטין אינה אפשרית. לפיכך, אנו מיישמים את דסקריפטור הצבע שהותאם בין אזורים של מצלמות שונות על מנת לאפשר את הכיול. משוואה 4 מציגה את מטריצת הטרנספורמציה בין תמונה I  והתמונה לאחר טרנספורמציה T תוך שימוש בקוואנטיזציית 2 bin RBG בדוגמא פשוטה זו:

txy מציין עד כמה הקלט מערוץ הצבע x תורם לפלט של ערוץ הצבע y. מטריצות טרנספורמציה מתהוות בין ארבע המצלמות. 6 טרנספורמציות וההפכים שלהן מספקות את 12 הטרנספורמציות הנדרשות בכדי לגרום לטרנספורמציה של אובייקטים בין ארבעת המצלמות. ככל שהכיול משתפר, שינויי האילומינציה שהשפיעו על ההצלחה של שיטות הקורלציה המקוריות (חלק 3 והערה [18]) פוחתים. כך מתאפשר שימוש בקוואנטיזציה פחות גסה (כמו RBG) עם ביצועים משופרים.

שש מטריצות הטרנספורמציה עבור ארבעת המצלמות מאותחלות בתור מטריצות יחידה המניחות וריאציות צבע אחידות בין המצלמות. כאשר אדם מסוים עובר מעקב בין-מצלמות ומזוהה בתור אותו אובייקט, ההבדל בין שני הדסקריפטורים של הצבע ממודל על ידי מטריצת טרנספורמציה t ממשוואה 4. מטריצה t נקבעת באמצעות חישוב הטרנספורמציה הממפה את הדסקריפטור של האדם מהמצלמה הקודמת I לדסקריפטור הנוכחי של האדם, T. טרנספורמציה זו מחושבת באמצעות SVD. המטריצה t עוברת לאחר מכן מיצוע באמצעות מטריצת טרנספורמציית המצלמה המתאימה, וחוזרת על עצמה עם אנשים אחרים במעקב על מנת לבסס טרנספורמציית צבע הדרגתית בין המצלמות. שיטה זו אמנם מובילה לשגיאות קלות, אך תואמת את הרעיון ההדרגתי של המאמר, העוסק בעדכון רציף והסתגלות של המערכת לשינויי צבע בין מצלמות כאשר כמות הנתונים הזמינים הולכת וגדלה.

נבחנו מספר קוואנטיזציות על מנת ליצור את מטריצות הטרנספורמציה. מטריצת 3X3 של הצבע החציוני של האדם נמצאה כגסה מדי, ומובילה לאובדן גדול מדי של מידע. קוואנטיזציית ה- 11 bin CCCM ששימשה ליצירת התפלגויות ה- posterior הינה תיוג שרירותי, לא מטרי, ולכן לא ניתן לייצגה באמצעות טרנספורמציה ליניארית. עם זאת, היא עדיין מדויקת יותר מאשר RBG ללא כיול. בהינתן כיול, ה- RBG מציג ביצועים טובים יותר.

מספר קוואנטיזציות RBG שנבחנו הציגו דיוקים שונים, אך חלון פרזן מאפשר דיוק יציב של 77% על פני טווח של רמות קוואנטיזציה.

8. תוצאות

המערכת הסופית מתחילה כשהיא בלתי מכוילת עם פריורים אחידים עבור כל ההתפלגויות ומטריצות יחידה עבור טרנספורמציות הצבע. המערכת אינה משתמשת בלמידה מפוקחת, ומוסיפה מידע באופן אוטומטי כאשר הוא הופך זמין. חלק זה מציג את הביצועים של משקלי המרחב-זמן ההדרגתיים, כיול הצבע בין-מצלמות, ותוצאות השילוב בין הגישות. הנתונים כוללים 10,000 אובייקטים שעברו מעקב במשך 72 שעות של תפעול רצוף. האומדן נערך באמצעות רצף ground-truthed של 20 דקות עם 300 תקריות של מעקב אחר אנשים שנמשכו מעל שנייה אחת.

בתחילה, הניסוי אינו כולל כל מידע א-פריורי לגבי הסביבה, ומשתמש רק בדמיון בצבע בין אובייקטים של CCCM כדי לאפשר קורלציה בין מצלמות. הסתברות ה- posterior של התאמת האובייקטים מושגת על ידי הכפלת הדמיון בצבע בסבירות ההופעה-מחדש. כל שיפור מביא לעלייה בדיוק (טבלה 2). לאחר 5 ימים ו- 10,000 אובייקטים כל מצלמה התחלקה 4 פעמים, כלומר 64 אזורים אפשריים לכל מצלמה. בשלב זה הדיוק עלה מ- 55% הבסיס של הדמיון בצבעים ל- 73%. בדומה, ניתן ליישם את סכמת הלמידה ההדרגתית שלנו לכיול הצבעים. שוב, כאשר נוספים אובייקטים למטריצות הטרנספורמציה הדיוק של הדמיון בצבעים עבור ה- RBG עולה מ- 42% ל- 67%.

טבלה 2: תוצאות שימוש בדמיון צבע CCCM בלבד, כיול צבע בלבד, משקל התפלגות posterior של דמיון CCCM ושילוב של כל השלושה.

ברור מאליו כי שילוב שתי שיטות אלו יועיל לשיפור הביצועים. הרמה הראשונה של עידון הבלוקים ואומדן תקופת ההופעה-מחדש נוצרים, והופעת ה- posterior של אובייקטים משמשת לכיול הצבע. מהלך זה גורם לשיפור בולט בביצועים, בניגוד לשימוש בדמיון צבעים בלבד. לאחר שטרנספורמציית צבע הופכת זמינה, ניתן להשתמש בדסקריפטור צבע RGB שעבר טרנספורמציה כדי ללמוד את הרמה השנייה של עידון הבלוקים. ניתן לחזור עת תהליך זה, כשכיול הצבעים משפר את הדיוק של עידון הבלוקים ולהפך. טבלה 2 מראה כי סכמה זו משפרת את ביצועי הזיהוי, מ- 55% ל- 78%.

כמובן, ניתן לחזור על תהליך זה עד השגת רמת ביצועים יציבה. טבלה 3 מציגה 3 איטרציות נוספות ללא נתונים נוספים או עידון בלוקים, עם דיוק סופי של 81%, כלומר שיפור משמעותי לעומת דמיון צבעים בלבד. זו הנקודה היציבה של המערכת ללא הזנת נתונים נוספת.

טבלה 3: שיפור נוסף של הדיוק באמצעות איטרציות של כיול הצבעים.

הגרף באיור 6 מראה כיצד הדיוק משתפר גם על פני חלוקת הבלוקים (טבלה 2) וגם על פני איטרציות (טבלה 3). השיפור הכולל הגדול ביותר נמצא בשילוב של משקלי ההתפלגות וכיול הצבעים של המצלמות. שיפור זה מאפשר למערכת למלא את 3 המטרות שצוינו במבוא: מיידיות, שיפור ביצועים באמצעות הצטברות נתונים, והסתגלות לשינויים סביבתיים.

9. מסקנות

המאמר מתאר גישה להסקה הסתברותית אוטומטית של אזורי הכניסה והיציאה הראשיים של מצלמה מסוימת באמצעות למידה הדרגתית, כשבו-זמנית נלמדות וריאציות הצבעים בין המצלמות. טכניקות אלו מאפשרות מעקב בין מצלמות מופרדות ובלתי-מכוילות עם 81% דיוק, ללא היעזרות במידע א-פריורי, באופן בלתי-מפוקח לחלוטין. זהו שיפור ניכר לעומת 55% של שימוש בדמיון צבעים בלבד. ניתן להשתמש במבנה המרחב-זמן של מערכת המעקב כדי לשקלל את סבירות התצפית שהושגה דרך הכיול ההדרגתי של הדמיון בצבעים. הכיול ההדרגתי ושקלול ההתפלגות הם שניהם אוטומטיים לחלוטין, אינם דורשים פיקוח ומסוגלים להסתגל לשינויים סביבתיים. השיטה ההדרגתית מבטיחה עבודה מיידית של המערכת, ושיפור של הדיוק הנלווה לרכישה מתמשכת של נתונים.

איור 4: השוואת דיוק: דמיון צבע CCCM; כיול צבע בלבד; משקלי התפלגות posterior בלבד; שילוב של כיול צבע מרחב-זמן משוקלל על פני מספר איטרציות מערכת.

איור 5: נקודות הכניסה והיציאה הראשיות, מערך המצלמות עם בלוקים מסומנים.