כיצד ומדוע מיקרו-בקרים יכולים לעזור בדמוקרטיזציה של הגישה ל-AI קצה

בשנים האחרונות, AI‏ קצה גדל בפופולריות. השוק הכלל-עולמי הקשור‏ צפוי לגדול בקצב שנתי מצרפי של 27.8% עד 2035‏, לגדול לערך נקי של $356,84 מיליארד.

מגוון גורמים מתדלקים את הביקוש הזה. עיבוד נתונים בקצה נותן מענה לחששות אבטחה שעשויים להיות לחברות אודות ניתוב מידע רגיש או קנייני לענן. עיבוד קצה גם מקטין שיהוי (Latency‏), שעשוי להיות‏ חשוב ביישומי זמן-אמת בהם יש לקבל החלטות בחלקיק שנייה. התקני IoT תעשייתי (IIoT‏) מספקים פעולות מונחות נתונים, שבתורן מגדילות את מקרי השימוש ב-AI‏ קצה. יישומים מתרחבים במהירות, מהתקנים רפואיים ניידים ועד התקנים לבישים ו-IIoT, מגדילים את שוק ה-AI בקצה.

עם הגידול בפופולריות הטכנולוגיה, יש ביקוש הולך וגובר לרכיבים המסוגלים לטפל בצרכי עיבוד נתונים במערכות משובצות.

אפשרויות עיבוד המחשוב: במיקרו-בקרים או מיקרו-מעבדים

מרבית התקני‏ ה-IoT‏ הפרוסים כיום במערכות תעשייתיוות ומשובצות אחרות הם התקני הספק-נמוך עם מעט מאוד זיכרון. כוח העיבוד שלהם בא ממיקרו-בקרים (MCUs) קטנים משובצים. ליחידות MCU אלו יש ארכיטקטורות הספק-נמוך המאפשרות למערכות המשובצות להיות‏ הרבה יותר משתלמות מאלו עם מיקרו-מעבדים.

עד להופעת ה-AI‏ קצה, יחידות MCU שירתו היטב את צרכי העיבוד‏ של התקני IoT‏. אך יחידות MCU מסורתיות בדרך כלל אינן יכולות לספק את כוח המחשוב הדרוש עבור אלגוריתמים מורכבים יותר של לימוד מכונה, שהם סימן ההיכר של יישומי AI קצה. אלגוריתמים כאלה בדרך כלל רצים על יחידות עיבוד גרפיות (GPUs) ומיקרו-מעבדים, שיש להם יותר כוח מחשוב. עם זאת, השימוש ברכיבים אלה מגיע עם חסרונות משלו, כולל כמות ההספק הנצרכת. מיקרו-מעבדים או יחידות GPU אינם הפתרון היעיל ביותר אנרגטית. כתוצאה מכך, מחשוב קצה נדחף מיקרו-מעבד עלול לא להיות המתאים ביותר לכל יישומי AI קצה, ויצרנים בוחרים להסתמך במקום זה על יחידות MCU.

יחידות MCU עצמאיות הן פחות יקרות מיחידות GPU ומיקרו-מעבדים. כדי למדרג AI‏ קצה, יש‏ צורך הולך וגובר למנף את היתרונות של יחידות‏ MCU, עלות נמוכה וצריכת הספק נמוכה, תוך כדי גם הגדלת כוח המחשוב.

אכן, במהלך השנים התכנסו כמה גורמים כדי להגדיל את היכולות של יחידות ‏MCU בקצה.

מה מסייע לשימוש ביחידות MCU בקצה

בעוד ההנחה הכללית הייתה שה-MCU המסורתי הוא קל-משקל מדי עבור עיבוד נתונים הקשורים ל-AI, שינויים בתכנון של‏ ה-MCU כמו גם במערכת האקולוגית הרחבה יותר מדרבנים את אימוצו במקרי שימוש ב-AI‏ קצה.

גורמים אלה כוללים:

• האינטגרציה של מאיצי‏ AI ביחידות MCU: כשה-MCU לבד נאבק לעמוד בדרישות מחשוב קצה, שילובו‏ עם מאיץ AI/ML‏ כמו יחידות עיבוד עצביות (NPUs) או מעבדי אותות דיגיטליים (DSPs) משפר ביצועים.

  לדוגמה, יחידות ה-CPU מסדרת STM32N6 (איור 1‏) מבית STMicroelectronics מבוססות על ה-Arm Cortex-M55 הרצה במהירות ‎800 MHz‏. טכנולוגיית עיבוד וקטור Arm Helium מביאה יכולות עיבוד DSP אל CPU‏ סטנדרטי. ה-STM32N6‏ הוא ה-STM32 MCU‏ הראשון המשבץ את המאיץ ST Neural-ART‏,‏ יחידת NPU מפותחת בתוך-הבית המתוכננת עבור יישומי AI‏ קצה רבי-עוצמה.

איור 1: ה-STM32N6‏ הוא ה-STM32 MCU‏ הראשון המשבץ את מאיץ ה-ST Neural-ART‏,‏ יחידת עיבוד עצבית (NPU) מפותחת בתוך-הבית המתוכננת עבור יישומי AI‏ קצה נצילים. (מקור תמונה: STMicroelectronics)

• מודלים AI ממוטבים עבור הקצה: אלגוריתמים של AI ולמידת מכונה לעבודה מאומצת אינם ניתנים להעברה ליחידות MCU באופן פשוט. הם נדרשים להיות‏ ממוטבים עבור משאבי מחשוב מוגבלים. ארכיטקטורות AI קומפקטיות כמו TinyML‏ ו-MobileNet‏ עושות בדיוק את זה ביחד עם טכניקות מיטוב, מאפשרות אפילו ליחידות MCU לבצע אלגוריתמים של AI. חברת STMicroelectronics השיקה את ה-STM32Cube.AI,‏ פתרון תוכנה הממיר ‏רשת עצבית לקוד C ממוטב עבור יחידות STM32 MCU. שימוש בפתרון ביחד עם ה-STM32N6‏ מסייע להבטיח את הביצועים הדרושים עבור יישומי AI‏ קצה למרות מגבלות עיבוד וזיכרון.

• העלייה של מערכות אקולוגיות AI: פשוט היות ברשותנו‏ רכיב חומרה המסוגל לבצע עיבוד קשור AI בקצה אינו מספיק. ביצוע אלגוריתמים של AI בקצה דורש מערכות אקולוגיות ידידותיות למפתח העוזרות להפוך פריסות AI לקלות יותר. כלים ספציפיים כמו TensorFlow Lite for Microcontrollers‏ עוזרים לספק פתרונות כגון אלה. קבוצות יחידים המשתפים פעולה בפיתוח תוכנה (Open-source communities) כמו Hugging Face ופלטפורמות אחרות מציעות מודלים מאומנים מראש וספריות קוד שמפתחים יכולים לבדוק ולהתאים למקרי השימוש הספציפיים שלהם. מערכות אקולוגיות AI כגון אלו מנמיכות את מחסום האימוץ ומבצעים דמוקרטיזציה של גישה אפילו לעסקים חסרי משאבים שאולי לא יכולים לפתח מודלים קנייניים של AI מאפס.

  ל-STMicroelectronics יש מערכת אקולוגית של חומרה ותוכנה התפורה במיוחד, מערכת ה-ST Edge AI, עבור פתרונות AI‏ קצה ממוטבים. המערכת מאחדת רבות מהספריות AI של ST וכלים כדי להקל על מפתחים למצוא מודלים, מקורות נתונים, כלים וקומפיילרים שיכולים ליצר קוד עבור המיקרו-בקר.

  מודלים מאומנים-מראש ב-Model Zoo לדוגמה מספקים נקודת התחלה למפתחים. מודלים אלה משתמשים בפורמט Open Neural Network Exchange‏ (ONNX),‏ תקן פתוח המייצג מודלים של למידת מכונה בתחומים כגון ראיית מחשב (CV), עיבוד שפה טבעית (NLP), ‏AI גנרטיבי (GenAI) ולמידת מכונה של גרפים (GML).

• קודים עבור סטנדרטיזציה ותפקוד בין מערכתי: בעוד מערכות אקולוגיות AI עזרו לחברות לבדוק מקרי שימוש ב-AI‏ קצה, פורמטים של מודלים פתוחים ומתוקננים סייעו לשילוב חלק לרוחב מערכות חומרה. תאימות לרוחב כלי תוכנה ויחידות MCU סייעה להפחית את המחסומים עבור מימושי AI קצה.
• תשומת לב לאבטחה בקצה: בעוד יחידות MCU מונעות או לפחות מקטינות את הצורך בעיבוד נתונים בענן, רכיבי החומרה מספקים שכבות נוספות של אבטחה. הם כוללים בדרך כלל מאפיינים כמו הצפנת חומרה ואתחול (Boot‏) מאובטח, שמגנים הן על נתונים והן על מודלים של AI מגורמים זדוניים.

מאפיינים ראוים לציון של חומרת ה-STM32N6

סדרת ה-STM32N6‏ כוללת‏ MCU ביצועים-עיליים עם NPU, ‏חבילת מודול מצלמה וערכת גילוי. הסדרה משתמשת‏ בארכיטקטורת ARM Cortex-M אופיינית ויש לה מספר מאפייני מפתח העושים התקנים אלה מתאימים עבור AI בקצה. אלה כוללים:

• מאיץ Neural ART, שיכול להריץ מודלים של רשת עצבית. הוא‏ ממוטב במיוחד עבור אלגוריתמים אינטנסיביים של AI, שעון במהירות 1‎ GHz‏, ומספק 600‎ GOPS‏ ביעילות אנרגטית ממוצעת של‏ ‎3 TOPS/W.
• תמיכה בפקודות Helium” M-profile Vector Extension‏“ (MPVE),‏ סט של פקודות ARM‏ המאפשר רשת עצבית רבת-עוצמה ופונקציות DSP. פקודות אלו מתוכננות, לדוגמה, לעבוד עם מספרי נקודה צפה של ‎16-bit ו-‎32-bit, דבר המאפשר להם לתפעל ביעילות מספרים ברמת דיוק נמוכה. זה חשוב עבור עיבוד מודלים ML‏.
• מאגר ST Edge AI Suite, ‏מאגר של כלי תוכנה חינמיים, מקרי שימוש, ותעוד המסייע למפתחים בכל רמות הנסיון ליצור AI עבור הקצה האינטליגנטי. המערך גם כולל כלים כמו ה-ST Edge AI Developer Cloud, שכולל רשתות עצביות ייעודיות ב-STM32 Model Zoo, ‏חוות לוחות להשוואת ביצועים בעולם האמיתי, ועוד.
• כמעט 300 יחידות הכפלה-צבירה ניתנות להגדרת צורה ושני אפיקי זיכרון ‎64-bit AXI‏ עבור קצב העברה של‏ ‎600 GOPS‏.
• מעבד אותות תמונה (ISP‏) ייעודי מובנה, שיכול להתחבר ישירות עם מצלמות 5 מגה-פיקסל מרובות. כדי לבנות מערכות הכוללות מצלמות, מפתחים חייבים לכוונן את ה-ISP לחיישן CMOS מסוים של המצלמה ולעדשה שלה. הכוונון דורש בדרך כלל מומחיות מיוחדת או עזרה מצד שלישי. ST‏ מספקת למפתחים תוכנת שולחן עבודה מיוחדת למטרה זו הנקראית iQTune. תוכנה זו, הרצה על תחנת עבודה‏ Linux‏, מתקשרת עם קוד משובץ על ה-STM32 ומנתחת דיוק צבע, איכות תמונה ונתונים סטטיסטיים, ומגדירה את תצורת הרגיסטרים של‏ ה-ISP‏ בהתאם.
• תמיכה ב-MIPI CSI-2, ממשק המצלמה הנפוץ ביותר ביישומים ניידים, ללא צורך ב-ISP‏ חיצוני התואם עם הממשק הטורי של מצלמה מסוימת זו.
• יכולות נוספות רבות‏ על התקן יחיד משמעותן שמפתחים יכולים עכשיו‏ להריץ רשת עצבית בצרוף GUI ללא הצורך להשתמש ביחידות MCU מרובות.
• בטיחות איתנה, כולל הסמכות Target SESIP Level 3 ו-PSA Level 3.

סיכום

יישומי למידת מכונה הרצים בקצה דרשו בעבר מיקרו-מעבדים לעבודה מאומצת במערכות משובצות כדי לשאת בנטל של ביצוע אלגוריתמים מורכבים. הודות ליחידות MCU רבות-עוצמה כמו יחידות ה-CPU מסדרת STM33N6 מבית STMicroelectronics, חברות מסוגלות עכשיו להביא לדמוקרטיזציה של AI בקצה. STMicroelectronics מספקת מערכת אקולוגית שלמה‏ לפריסת AI בקצה, כולל את רכיבי התוכנה והחומרה להסקת מסקנות.