מיקרו-מעבדים AI‏ בתחום-הביניים עבור ראייה ביישומי קצה

יישומי AI‏ קצה משתמשים באלגוריתמים של ראיית מחשב עבור גילוי אנשים, אובייקטים ואנומליות כגון פגמים, בזמן-אמת. עיבוד תמונות ווידאו בקצה דורש בדרך כלל מיקרו-מעבד (MPU‏) AI‏ ראייה היכול להתממשק עם מצלמות, להריץ מודלים AI, ולעתים קרובות כולל מאיץ AI‏ ייעודי.

שילוב יכולות AI‏ ראייה בתוך התקן יחיד מפחית את העלויות ואת הסרבול של שימוש ברכיבים נפרדים, והופך MPUs של AI‏ ראייה מתקדמים ביותר למתאימים היטב‏ עבור יישומים משובצים קומפקטיים.

ה-RZ/V2N MPU‏ (איור 1) של Renesas Electronics Corporation הוא MPU‏ AI‏ ראייה עם צריכת הספק נמוכה, ביצועי היסקי AI‏ עיליים, ארבע ליבות Arm® Cortex® A55 CPU‏ (GHz‏ 1.8‏}, Arm Cortex-M33‏ (MHz‏ 200‏), ושתי כניסות מצלמה באמצעות חיבור MIPI‏.

איור 1: ה-MPU‏ RZ/V2N של Renesas‏ מספק למתכננים אפשרויות חדשות עבור שילוב AI‏ ראייה ביישומי קצה. (מקור התמונה: Renesas Electronics Corporation)

ה-MPU‏ של Renesas‏ הוא פתרון יעיל וחסכוני עבור יישומי קצה הדורש יכולות AI‏ בינוניות עד גבוהות בנקודת מחיר סבירה. זהו חלק מסדרת RZ/V‏ של החברה, שמטרתה לספק תחום רחב של מדרגיות, החל ממשרדים חכמים ועד לרחפנים (איור 2).

איור 2: ה-RZ/V2N‏, הממוקם כמוצר בתחום-הביניים בסדרת RZ/V, מאפשר יישומים כגון רובוטים ניידים עבור שימושים ביתיים ומערכות ניטור נהגים. (מקור התמונה: Renesas Electronics Corporation)

דרישות מיקרו-מעבד AI‏ ראייה

יישומי AI‏ קצה לעיתים מתבצעים בהתקנים משובצים, שיתכן ויהיו מוזנים על-ידי סוללות או אוגרי אנרגיה קטנים. כתוצאה מכך, MPUs‏ ראייה צריכים לספק יכולות היסק גבוהות ובו-זמנית להשתמש בפחות הספק בהשוואה להתקני מחשוב מסורתיים בעלי ביצועים גבוהים.

MPU‏ AI‏ ראייה אידיאלי יאזן בין ביצועים, נצילות ההספק, אינטגרציה, נוחות הפיתוח ואבטחה. סקירה כללית של כמה מהמאפיינים העיקריים בבחירת MPU הם:

• ביצועי היסק: ה-RZ/V2N מספק עד TOPS‏ 15‏ באמצעות מאיץ DRP-AI3‏ המשולב שלו, ההופך אותו למתאים עבור יישומים בתחום-הביניים כגון מצלמות חכמות, בדיקות איכות תעשייתיות ורובוטיקה בקצה. בעוד שכמה מהמערכות בעלות ביצועים גבוהים, כגון רובוטים שיתופיים ורחפנים אוטונומיים, עשויות לדרוש TOPS‏ 80‏ עד TOPS‏ 100‏, יישומי AI‏ רבים בקצה פועלים היטב עם TOPS‏ 1‏ עד TOPS‏ 15‏, בהתאם למורכבותם. TOPS לוואט (TOPS/W‏) מגדיר את יעילות המוצר, והוא מדד למספר הפעולות שהוא יכול לבצע בשנייה לכל וואט.

למרות ש-TOPS נותן אינדיקציה בסיסית לביצועים, ניתן לשפר משמעותית את מהירות ההיסק בפועל על ידי הכללת מאיץ AI‏ ייעודי, אשר מוריד עומסי עבודת AI‏ ראייה המסתמכים על חישובי מטריצות וטנסורים אינטנסיביים. זה מאפשר למערכות לפעול מהר יותר ויעיל יותר, עם פחות מחזורי שעון וצריכת הספק נמוכה יותר.

• פעולה בהספק נמוך: התקני קצה רבים פועלים על סוללות או בתוך גבולות תרמיים מוגבלים. MPUs‏ ראייה המתוכננים עבור AI‏ קצה כוללים לרוב מידרגיות מתח ותדר דינמית (DVFS‏), המכווננת את צריכת ההספק בהתאם לדרישות עומס העבודה. בשילוב עם טכניקות כמו פרונינג רשת נויראלית - הדוחסות את גודל המודל ומפחיתות חישובים מיותרים - DVFS מסייע בהשגת יחס TOPS/W גבוה יותר, ומשפר הן את זמן הביצוע והן את חיי הסוללה. מאיץ DRP-AI3 מסייע במניעת הצורך במעבדים גרפיים זוללי אנרגיה, ותורם ל-TOPS/W גבוה יותר בקצה.
• עיבוד תמונה על-השבב: מיקרו-מעבדי ראייה עם מעבדי אותות תמונה (ISP) מובנים אופציונליים יכולים לבצע משימות ניקוי תמונה שגרתיות, כגון תיקון רמת שחור, תיקון צבעים, קרופינג, ותיקון הצללה. ביישומי אבטחה או מעקב, ספק האינטרנט יכול גם לסנן-מראש פריימים. לדוגמה, בזרם וידאו רציף, המערכת עשויה לזנוח פריימים סטטיים ולשלוח רק פריימים עם תנועה או פעילות (למשל, גילוי פורץ) למעבד AI, ובכך להפחית היסקים לא-נחוצים ולחסוך בהספק.
• זיכרון על-השבב: גם הזיכרון הוא גורם חשוב עבור הביצועים והנצילות. שמירה על נתונים מקומיים מונעת את השיהוי ועלות ההספק הכרוכים בגישה לזיכרון חיצוני, היכולים להיות משמעותיים במהלך היסקי AI‏ בזמן-אמת. עם MB‏ 1.5‏ של זיכרון SRAM‏ על-השבב ותמיכה בזיכרון LPDDR4X‏, ה-RZ/V2N‏ מאזן מהירות עיבוד פנימי עם אפשרויות הרחבת זיכרון.
• האצת פריסת AI‏ ראייה: ערכות כלים ולוחות הערכת AI‏ הכוללים יישומים וממשקים מתוכנתים-מראש יכולים לסייע למפתחים לבנות אבות-טיפוס ולפרוס במהירות יישומי AI‏ ראייה. בנוסף, ה-MPU אמור להיות מסוגל לתמוך בפורמטים סטנדרטיים של מודלים AI‏. ה-RZ/V2N תואם לפורמטי מודלים סטנדרטיים, כגון ONNX ו-TensorFlow Lite.
• אבטחה: בסביבות קצה, כל חיישן או נקודת קצה יכולים לייצג וקטור תקיפה פוטנציאלי. לכן, חשוב ש-MPUs‏ ראייה יוכלו לתמוך במאפייני אבטחה מובנים כגון אתחול מאובטח ונתיבי נתונים מוצפנים. ה-RZ/V2N כולל מאפייני אתחול מאובטח והצפנה ברמת החומרה, והוא ממנף את ה-Arm TrustZone עבור בידוד פעולות מאובטחות, ומסייע בהגנה על תקינות המודל ועל נתוני כניסה רגישים.

מאפיינים ידידותיים-לתכנון של ה-RZ/V2N MPU‏

מאיץ AI‏ הקנייני של Renesas‏, ה-DRP-AI3‏ (Dynamically Reconfigurable Processor‏), מדורג ל-TOPS/W‏ 10‏ אך ניתן לשיפור ל-TOPS/W‏ 15‏ עם פרונינג מתקדם, הדוחס את גודל המודלים שהמערכת חייבת לעבד. זה יכול לבטל את הצורך ביחידת עיבוד גרפית (GPU) נפרדת או במערך שערים ניתן-לתכנות בשטח (FPGA).

גודל ה-RZ/V2N הוא 15 מ"מ רבוע בלבד, ההופך אותו לאופציה טובה עבור התקנים קומפקטיים. שילוב של CPU‏ ארבע-ליבות, מאיץ AI‏ ייעודי ותמיכה בכניסות מצלמה כפולות בתוך התקן יחיד פותח הזדמנויות חדשות עבור מתכננים לשילוב AI‏ ראייה בתוך יישומים כגון מצלמות חכמות, התקני אבטחה, רובוטים ואפילו מכשירי חשמל לצרכנים.

ה-MPU פועל בהספק נמוך תוך הפחתת כמות החום הנוצרת, ביטול הצורך במערכות קירור ומאווררים נוספים, ובכך מפחית את הגודל והעלות של מערכות משובצות. עם היכולת להכיל שתי מצלמות, הוא מאפשר ליישומים לקלוט תמונות בשתי זוויות ולשפר את הזיהוי המרחבי. מערכת אחת יכולה לבצע מספר פעולות, כגון ספירה בו-זמנית של מכוניות בחניון וזיהוי לוחיות רישוי.

הארכיטקטורה של ה-RZ/V2N MPU‏

ה-MPU‏ RZ/V2N‏ מספק מערך מקיף של מאפיינים ופונקציות שנועדו עבור יצירת יישומי AI‏ בתחום-הביניים הדורשים AI‏ עם ביצועים גבוהים במחיר סביר (איור 3).

איור 3: תרשים של ארכיטקטורת RZ/V2N. (מקור: .Renesas Electronics Corp‏)

כמה מהמאפיינים העיקריים כוללים:

• יחידת עיבוד מרכזית (CPU): הארכיטקטורה ההיברידית כוללת את ה-Cortex-A55 Quad 1.8 GHz, מעבד בעל ביצועים גבוהים, ואת ה-Cortex-M33 200 MHz, ליבה בהספק נמוך המיועדת עבור בקרה בזמן-אמת ומשימות הקשורות לבטיחות.
• זיכרון משותף פנימי: RAM‏ MB‏ 1.5‏ עבור זיכרון על-השבב עם קוד תיקון שגיאות (ECC), המסייע לתקינות הנתונים. אלגוריתמי ECC מזהים ומתקנים שגיאות בנתונים, הן באחסון והן בהעברה. זיכרון מובנה על-השבב של MB‏ 1.5‏ מאפשר לאלגוריתמי AI‏ לפעול במהירות, ול-RZ/V2N יש גם ממשק לזיכרון DDR חיצוני שניתן להוסיף אם נדרש זיכרון נוסף.
• מאיץ AI‏: מנוע AI‏ ייעודי DRP-A13‏ של Renesas‏ מאפשר עיבוד היסקי AI‏ במהירות גבוהה ומשיג את ההספק הנמוך והגמישות הדרושים עבור נקודות-קצה.
• וידאו ועיבוד גרפי: יחידת עיבוד גרפיקה (GPU) ו-ISP אופציונליים מסייעים לעבד תמונות וגרפיקה בצורה יעילה יותר.
• טיימרים: טיימרים תומכים בפעולות בזמן-אמת, החיוניות עבור בקרת מנועים ויישומי אוטומציה אחרים.
• בלוק אודיו: אידיאלי עבור יישומי אודיו רבי-ערוצים, כגון רמקולים חכמים ומערכות מידע ובידור.
• ממשקים: ממשקי זיכרון במהירות גבוהה וציוד היקפי בעל רוחב פס גבוה הם בין הממשקים הרבים שיכולים להתחבר למודול המיקרו-מעבד ראייה.
• בלוק אנלוגי: ממיר אנלוגי-לדיגיטלי (ADC‏) bit‏-12‏ מבטל את הצורך ב-ADCs נפרדים במערכות בקרה או ביישומי ניטור.

Renesas מציעה גם את ערכת לוח ההערכה RTK0EF0186C03000BJ‏ עבור ה-RZ/V2N כדי לאפשר למתכננים לבנות אב-טיפוס ולהעריך יישומי AI‏ ראייה(איור 4). המתכננים יכולים גם לגשת ליישומי AI‏ המכסים יותר מ-50 מקרי שימוש ביישומי AI‏ של החברה וב-AI SDK ב-GitHub.

איור 4: ערכת לוח ההערכה עבור RZ/V2N כוללת לוח CPU, לוח הרחבה ושני תת-לוחות, יחד עם SDK‏ AI‏. (מקור התמונה: .Renesas Electronics Corp‏)

סיכום

ה-RZ/V2N של Renesas מתאים היטב עבור יישומי AI‏ קצה בתחום-הביניים אשר צריכים לספק מידע מונע-נתונים עם שיהוי (Latency‏) מקוצר במהירויות גבוהות. גודלו הקומפקטי ויכולתו לעמוד בדרישות היסקים תוך כדי פעולה בהספק נמוך הופכים אותו למתאים עבור מגוון רחב של התקנים משובצים.