الجمعة، 20 نوفمبر 2026

جهاز تتبع السعرات الحرارية بتقنية الذكاء الاصطناعي يمكنك صنعه بنفسك لمطبخك

جهاز ذكاء اصطناعي طرفي (Edge-AI) يعتمد على تقنية RDK X5، يحدد نوع الطعام في طبقك ويسجل السعرات الحرارية والعناصر الغذائية بلمسة واحدة؛ دون الحاجة إلى هاتف أو سحابة إلكترونية.


الأدوات المستخدمة في هذا المشروع

المكونات المادية

لوحة التطوير RDK X5

كاميرا الرؤية المدعومة بالذكاء الاصطناعي RDK X5 STEREO AI VISION CAMERA M

لوحة تطوير مزودة بشاشة IPS مقاس 4 بوصات وبدقة 480×480

تطبيقات برمجية وخدمات عبر الإنترنت

أوتوديسك فيوجن

في إس كود

مايكروسوفت في إس كود

بالينا إيتشر

بالينا إيتشر

أدوات يدوية وآلات تصنيع

طابعة ثلاثية الأبعاد (عامة)

القصة

منذ أن بدأت أهتم باللياقة البدنية بجدية، أصبحت أكثر تركيزاً على ما أتناوله؛ أي السعرات الحرارية في طبقي، وليس فقط التمارين الرياضية التي أقوم بها.

كان كل وجبة تتطلب روتيناً ثابتاً: إخراج الهاتف، وفتح التطبيق، ومسح الطعام ضوئياً أو البحث عنه، وتحديد الكمية، ثم تسجيلها. تكرار هذه العملية مع كل وجبة يصبح أمراً مملاً بسرعة، وهو بالضبط نوع العقبات التي تدفع الناس للتخلي عن تتبع نظامهم الغذائي.

لذا، تساءلت: لماذا أحتاج إلى هاتفي للقيام بذلك؟ وبصفتي مهندس أجهزة (Hardware Engineer)، فكرت: لمَ لا أصمم جهازاً مخصصاً لهذه المهمة؟ يمكن وضعه على طاولة المطبخ تماماً مثل محمصة الخبز؛ تضع طبقك تحته، تضغط على زر واحد، ويتم تسجيل الوجبة.

وهذا بالضبط ما قمنا ببنائه. استخدامه بسيط للغاية: ضع طبقك تحت الكاميرا واضغط على زر واحد. يقوم الجهاز بالتعرف على الطعام، وتقدير محتواه من السعرات الحرارية والبروتين والكربوهيدرات والدهون، ثم يضيف الوجبة إلى سجلك اليومي.

يعمل كل شيء داخل الجهاز نفسه؛ إذ تعتمد الكاميرا، وشبكتان عصبيتان، وقاعدة بيانات الأطعمة، ولوحة التحكم على وحدة "D-Robotics RDK X5"، موضوعة داخل هيكل مطبوع بتقنية ثلاثية الأبعاد على شكل رغيف خبز. لا توجد خدمات سحابية، ولا اشتراكات، كما تظل صور طعامك داخل منزلك. 


يحتاج كل جهاز من هذا النوع إلى معالج قادر على تشغيل تقنيات رؤية الحاسوب دون الاعتماد على الحوسبة السحابية. في هذا المشروع، اخترنا D-Robotics RDK X5، وهو حاسوب لوحي صغير الحجم مصمم خصيصًا لتطبيقات الذكاء الاصطناعي والروبوتات الطرفية.

المعالج: ثماني النواة Arm Cortex-A55 بسرعة 1.5 جيجاهرتز

وحدة معالجة الإشارات العصبية: مُسرِّع عصبي مُخصَّص، تصل قدرته إلى 10 تيرابايت في الثانية

وحدة معالجة الرسومات: 32 جيجا فلوبس

ذاكرة الوصول العشوائي: متوفرة بإصدارين: 4 جيجابايت أو 8 جيجابايت

الكاميرا: مزودة بواجهتي MIPI CSI

يُعدّ الـ BPU العنصر الأكثر أهمية هنا؛ فهو مسرّع ذكاء اصطناعي مستقل يعمل على تشغيل الشبكات العصبية مباشرةً على اللوحة، وبسرعة تجعل عملية القياس تبدو فورية. وكما اكتشفنا لاحقاً، يمكن لهذا المسرّع أيضاً الاحتفاظ بنموذجيّ رصد (detection models) في ذاكرته في آنٍ واحد، وهو ما بُنيت عليه منظومة الرؤية بالكامل.

أما السبب الآخر لاختيارنا لهذه اللوحة فهو احتواؤها على منفذيّ MIPI CSI؛ إذ تتيح هذه المنافذ للوحة تشغيل كاميرا ستيريو ثنائية العدسات (binocular stereo camera) بشكلٍ مباشر، مما فتح الباب أمام أفكار مثيرة للاهتمام سنتناولها بعد قلي

إعداد لوحة  



كان تشغيل اللوحة أمراً سريعاً؛ فقد قمنا بتحميل صورة نظام التشغيل RDK X5 من مجتمع مطوري D-Robotics، ثم نسخناها على بطاقة ذاكرة microSD باستخدام برنامج balenaEtcher، وأدخلنا البطاقة في اللوحة، ووصلناها بشاشة، ثم قمنا بتشغيلها.

وبعد لحظات قليلة، ظهر أمامنا سطح مكتب RDK X5. كان كل شيء يعمل على أكمل وجه، فحان الوقت لإجراء أول اختبار للذكاء الاصطناعي.


أول اختبار للذكاء الاصطناعي: نموذج YOLO من مكتبة نماذج RDK (RDK Model Zoo)


قبل توجيه الكاميرا نحو الطعام، أردنا التأكد من أن جانب الذكاء الاصطناعي في اللوحة يعمل بكفاءة من البداية إلى النهاية. وفي الاختبار الأول، وقع اختيارنا على نموذج YOLOv9.

وقد تبين أن الأمر أسهل مما توقعنا؛ إذ توفر مكتبة النماذج (Model Zoo) الخاصة بـ D-Robotics مجموعة نماذج Ultralytics YOLO بالكامل — بدءاً من YOLOv5 وصولاً إلى YOLOv9 — وهي مُجهزة مسبقاً بصيغة ملفات ثنائية (binaries) متوافقة مباشرة مع وحدة معالجة الذكاء الاصطناعي (BPU). وهذا يعني أنك لن تحتاج إلى إجراء أي عمليات تحويل أو تقييس (quantization) للنماذج بنفسك. فلتشغيل YOLOv9 على لوحة X5، لم يتطلب الأمر سوى تنفيذ أمر واحد لتحميل النموذج، وأمر آخر لتشغيله.

git clone https://github.com/D-Robotics/rdk_model_zoo
cd rdk_model_zoo
git checkout rdk_x5 # the X5 has its own branch
cd samples/vision/ultralytics_yolo
bash download.sh # pulls precompiled *_640x640_nv12.bin models

يُعدّ الرمز `_nv12` في أسماء النماذج أمراً مهماً؛ فصيغة NV12 هي الصيغة الأصلية لمخرجات الكاميرا، مما يعني أن إطارات الفيديو تنتقل مباشرةً إلى وحدة معالجة البيانات (BPU) دون الحاجة إلى أي تحويل في الألوان. وتستخدم "سلسلة معالجة بيانات الطعام" (food pipeline) -التي سنشير إليها لاحقاً في هذا المقال- الأسلوب ذاته.

قامت اللوحة بمعالجة الفيديو في الوقت الفعلي، مع رسم تسميات ومربعات إحاطة (bounding boxes) ودرجات ثقة لكل جسم يتم اكتشافه. وقد أكد لنا ذلك أن العتاد (hardware) بات جاهزاً للمهمة الفعلية.

الكاميرا: وحدة الكاميرا المجسمة (RDK Stereo Camera Module)



بالنسبة للكاميرا، اخترنا وحدة الكاميرا المجسمة (Stereo Camera Module) طراز GS130W من شركة D-Robotics. وهي عبارة عن كاميرا مجسمة ثنائية العدسات مدمجة في وحدة واحدة، وتتصل مباشرة بمنفذي MIPI CSI في لوحة X5. قمنا بتوصيلها واختبار تدفقي الفيديو من الكاميرتين، وقد عمل كلاهما بنجاح.


المستشعرات: 2× SmartSens SC132GS، بدقة 1.3 ميجابكسل، مزودة بمصراع عالمي (Global Shutter).

مجال الرؤية: 157.2 درجة قطرياً / 96.8 درجة أفقياً / 115.6 درجة رأسياً.

أقصى معدل إطارات: 120 إطاراً في الثانية.

المسافة الفاصلة بين العدستين (Baseline): 80 مم (79.2 مم وفقاً للمعايرة الأصلية من المصنع).

ميزات إضافية: تعريض ضوئي مزدوج متزامن، إمكانية التشغيل عبر محفز خارجي (External Trigger)، وحساسية للأشعة تحت الحمراء القريبة (850/940 نانومتر).

يعمل المصراع العالمي (Global Shutter) على التقاط الإطار بالكامل في لحظة واحدة، مما يمنع حدوث أي تشوه أو ضبابية في الصورة إذا كان الطبق لا يزال يتحرك قليلاً عند التقاط الصورة. وبفضل وجود عدستين تفصل بينهما مسافة 80 مم، أصبح بإمكاننا -نظرياً- قياس العمق وحساب الحجم الفعلي للطعام، بدلاً من الاكتفاء بالتعرف عليه فقط؛ وهذا هو هدفنا في الإصدار القادم من هذا المشروع.


عند البدء في كتابة الكود البرمجي للتعامل مع الكاميرا، ظهرت بعض الخصائص غير المعتادة:


المستشعرات مثبتة بوضعية رأسية (Portrait): الدقة الأصلية هي 1280×1088 بكسل في وضع جانبي، لذا يتم تدوير كل إطار بزاوية 90 درجة قبل إجراء أي معالجة أخرى عليه.

أداة تغيير الحجم (Scaler) المدمجة في العتاد صارمة جداً: فهي تقبل فقط نسب تصغير محددة وثابتة، وترفض أي نسب أخرى وتظهر رسالة خطأ "حجم غير صالح" (Invalid size)، حتى وإن كانت الأبعاد تبدو صحيحة. يعمل خيار نصف الدقة (544×640)، لذا اعتمدنا هذا الإعداد في مسار معالجة البيانات.

العدسة ذات زاوية رؤية واسعة جداً: نظراً لأن مجال الرؤية القطري يبلغ 157 درجة، فإن الطبق الموجود على مسافة تتراوح بين 20 و40 سم لا يشغل سوى جزء من الإطار. ولأغراض التجربة، أضفنا خياراً في أداة المعاينة المباشرة (Live-preview) يحمل اسم `--zoom`؛ حيث يقوم هذا الخيار بقص الجزء المركزي من الصورة وتكبيره، مما يعطي تأثيراً مشابهاً لاستخدام عدسة ذات بُعد بؤري أطول. تجزئة الأطعمة: ما وراء صناديق التحديد

بعد الانتهاء من إعداد اللوحة والكاميرا، انتقلنا إلى المرحلة الفعلية: التعرف على الأطعمة.


تُقدِّم تقنيات الكشف عن الأشياء التقليدية ما يُعرف بـ "صندوق التحديد" (Bounding Box)؛ وهو مستطيل يُرسم تقريباً حول كل جسم. أما تقنية "التجزئة" (Segmentation) فتذهب إلى أبعد من ذلك، حيث تحدد بدقة البكسلات التي تنتمي لكل عنصر. فعلى سبيل المثال، إذا وُجد الأرز والدجاج والخبز في طبق واحد، تحصل كل مادة منها على قناع (Mask) خاص بها، مما يعطي صورة أوضح بكثير لما يحتويه الطبق فعلياً.

نموذج واحد لم يكن كافياً

كانت نقطة الانطلاق البديهية هي استخدام نموذج YOLOv8n-Seg، وهو نموذج للتجزئة مُعدّ مسبقاً ليعمل على وحدة معالجة الأداء (BPU) الخاصة بلوحة X5. يُنتج هذا النموذج أقنعة دقيقة للبكسلات، لكنه مُدرَّب على مجموعة بيانات COCO، التي تحتوي على 80 فئة، منها عشر فئات فقط تتعلق بالطعام. وقد اخترنا أربعاً منها لنموذجنا الأولي، وهي: الموز، والتفاح، والبرتقال، والبيتزا.

وبما أن أربعة أصناف من الطعام لا تكفي لتتبع السعرات الحرارية بشكل فعّال، احتجنا إلى نموذج قادر على التعرف على أنواع أكثر من الأطعمة. وهنا جاء دور نموذج YOLO-World، وهو نموذج كشف ذو "مفردات مفتوحة" (Open-vocabulary detector)؛ فبدلاً من الاعتماد على قائمة ثابتة من الفئات، يمكنك تزويده بعبارات نصية -مثل "بيض مقلي" أو "أرز"- وسيقوم هو بالبحث عنها، دون الحاجة إلى إعادة تدريب النموذج. لكن العيب في هذا الإصدار المخصص لوحدة المعالجة (BPU) هو أنه يكتفي بتحديد الأشياء داخل صناديق (Bounding Boxes) دون إنشاء أقنعة (Masks) لها.

وهكذا، لم يكن أي من النموذجين قادراً على إنجاز المهمة بمفرده؛ فنموذج YOLOv8-Seg يوفر الأقنعة لكنه يفتقر إلى تنوع الأصناف الغذائية، بينما يوفر YOLO-World تنوعاً أكبر في الأصناف لكنه يفتقر إلى الأقنعة. لذا، قررنا تشغيل كلا النموذجين على كل إطار (Frame) ودمج النتائج معاً.

PROTOTYPE_COCO_CLASSES = {"banana", "apple", "orange", "pizza","donut"}
PROTOTYPE_WORLD_CLASSES = [
"fried egg", "sausage", "bacon", "bread",

"rice", "grilled chicken", "cheese",

يصل إجمالي عدد فئات الأطعمة بذلك إلى 12 فئة. وإذا أردنا إضافة فئة ثالثة عشرة إلى نموذج YOLO-World، فما علينا سوى إضافة نص (سلسلة نصية) إلى تلك القائمة، بشرط وجود "تضمين نصي" (text embedding) مطابق لها في ملف `config/food_vocabulary_embeddings.json`. يحتوي هذا الملف بالفعل على تضمينات لـ 115 كلمة—تشمل فئات مجموعة بيانات COCO الثمانين، بالإضافة إلى 35 مصطلحاً إضافياً خاصاً بالأطعمة—مما يتيح خيارات متنوعة. يدعم نموذج YOLO-World ما يصل إلى 32 "مطالبة" (prompt)؛ وقد بدأنا بـ 42 مرشحاً ثم قلصناها إلى 8، نظراً لأن كل مطالبة إضافية تستهلك موارد حوسبية وذاكرة إضافية عند معالجة كل إطار (frame) من الفيديو.

تحويل المربعات إلى أقنعة (Masks)

كانت الأطعمة التي يحددها نموذج YOLO-World تظهر داخل مستطيلات فقط. وبدلاً من تدريب نموذج جديد للتقسيم (segmentation)، لجأنا إلى خوارزمية كلاسيكية من خوارزميات معالجة الصور، وهي خوارزمية GrabCut المتاحة ضمن مكتبة OpenCV. تعتمد هذه الخوارزمية على تلقي مستطيل محدد، ثم تقوم بفصل الجسم الموجود داخله عن الخلفية بناءً على الألوان:

pad_x, pad_y = box_w * pad_ratio, box_h * pad_ratio   # 8% outward padding
rect = (rx1, ry1, rx2 - rx1, ry2 - ry1)
cv2.grabCut(image_bgr, mask, rect, bgd_model, fgd_model,
iterations, cv2.GC_INIT_WITH_RECT)
fg_mask = np.where((mask == cv2.GC_FGD) | (mask == cv2.GC_PR_FGD), 1, 0)

نقوم بتوسيع الصندوق (الإطار) بنسبة 8% نحو الخارج، مما يتيح لخوارزمية "GrabCut" الحصول على مساحة من الخلفية الفعلية لتتعلم منها. لكن هذه الطريقة ليست مثالية؛ ففي حالة الأطعمة ذات الأسطح المستوية والمتجانسة -مثل شريحة من الجبن- قد تفشل الخوارزمية في تقديم أي نتيجة، كما قد تظهر أخطاء عند التعامل مع المناطق الصغيرة جداً. وفي كلتا الحالتين، يعتمد الكود تلقائياً على الصندوق نفسه كقناع (mask). وتأتي الأقنعة الناتجة بنفس تنسيق أقنعة نموذج "YOLOv8-Seg"، مما يجعل بقية مراحل المعالجة تعمل بسلاسة بغض النظر عن النموذج الذي اكتشف الطعام.

إزالة التكرارات

أدى تشغيل نموذجين على الصورة نفسها إلى ظهور مشكلة جديدة؛ إذ قد يكتشف كلاهما العنصر ذاته (على سبيل المثال، تفاحة واحدة). ولحل هذه المشكلة، نتبع خطوتين: أولاً، إذا كان الصندوق الناتج عن نموذج "YOLO-World" يتداخل مع اكتشاف صادر عن "YOLOv8-Seg" بنسبة تزيد عن 50%، يتم استبعاد نتيجة "YOLO-World"؛ وذلك لأن القناع الذي تم إنتاجه عبر التدريب يُعد أكثر دقة وموثوقية من التقدير الذي تقدمه "GrabCut". بعد ذلك، تأتي خطوة ثانية يتم فيها ترتيب جميع العناصر بناءً على مستوى الثقة (confidence score)، ثم تُحذف أي عناصر تتداخل بنسبة تزيد عن 30% مع عناصر أخرى ذات درجة ثقة أعلى.

def nms_items(items, iou_thres=NMS_IOU_THRES):
kept = []
for item in sorted(items, key=lambda it: it["score"], reverse=True):
if not any(boxes_iou(item["box"], k["box"]) > iou_thres for k in kept):
kept.append(item)
return kept

الاختبار الحقيقي الأول

بعد توصيل كلا الكاشفين، وضعنا وجبة طعام حقيقية أمام الكاميرا وشغّلنا سلسلة المعالجة (pipeline) على لوحة RDK X5. وقد نجحت التجربة بالفعل؛ إذ ظهرت الأقنعة (masks) فوق أصناف الطعام، وكانت التصنيفات دقيقة، واستغرق كلا النموذجين حوالي ربع ثانية لإتمام المهمة.

ولتسهيل إجراء اختبارات كهذه، قمنا بتطوير أداة بسيطة للمعاينة المباشرة تحمل اسم `food_seg_web_preview.py`. تقوم هذه الأداة ببث لقطات الكاميرا إلى متصفح الويب مع عرض الأقنعة والتصنيفات فوق كل إطار، مما سهّل علينا ضبط الإضاءة وموقع الكاميرا. يشير اللون البنفسجي الزاهي إلى قناع ناتج عن نموذج YOLOv8-Seg، بينما يشير اللون الأرجواني الداكن إلى نتيجة استخدام YOLO-World مع خوارزمية GrabCut. لقد اخترنا اللون البنفسجي لأن نادراً ما يوجد طعام بهذا اللون، مما يضمن عدم تداخل العناصر المضافة (overlay) مع مظهر الطعام الأصلي.

python3 vision/food_seg_web_preview.py --video-index 1 --zoom 1.5 --detect-every 2



 

ليست هناك تعليقات:

إرسال تعليق