موتور پردازش هوشمند، لایه‌ای از سامانه است که داده‌های خام مکانی و تصویری را به لایه‌های اطلاعاتی قابل استفاده تبدیل می‌کند. طراحی این موتور تنها به انتخاب یک مدل یادگیری ماشین محدود نمی‌شود و بیشتر به معماری جریان داده، شیوه اجرای پردازش و سازوکار پایش نتیجه بستگی دارد. یک موتور کارآمد باید هم مراحل قطعی و قاعده‌محور و هم مراحل مبتنی بر مدل را در یک زنجیره منظم جای دهد. پایداری خروجی به اندازه دقت الگوریتم اهمیت دارد، زیرا سامانه‌های عملیاتی به نتیجه تکرارپذیر و قابل ردیابی نیاز دارند. در این صفحه اجزای اصلی چنین موتوری و تصمیم‌های فنی آن تشریح می‌شود.
معماری خطوط پردازش
هر خط پردازش از چند گام مشخص ساخته می‌شود: دریافت داده، اعتبارسنجی ورودی، پیش‌پردازش، اجرای تحلیل، پس‌پردازش مکانی و تولید خروجی. مرزبندی روشن میان گام‌ها سبب می‌شود خطا در یک مرحله زنجیره را به‌طور کامل متوقف نکند و بازیابی آسان‌تر باشد.
جداسازی منطق پردازش از منطق هماهنگ‌سازی یکی از اصول طراحی است؛ به این ترتیب می‌توان همان گام پردازش را در اجرای دسته‌ای، اجرای زمان‌بندی‌شده یا اجرای درخواست‌محور به کار برد. وابستگی‌های بیرونی مانند کتابخانه‌های مکانی و ابزارهای زمین‌آمار باید صریح و نسخه‌بندی‌شده باشند.
قرارداد ورودی و خروجی هر گام باید مستند باشد؛ چارچوب مرجع، دقت انتظاری و واحد اندازه‌گیری بخشی از همین قرارداد است و جلوی خطاهای پنهان را می‌گیرد.
- لایه دریافت: بارگذاری تصویر، برداری و جدول‌های توصیفی.
- لایه پیش‌پردازش: برش، یکسان‌سازی، تصحیح و سازگار کردن چارچوب مختصات.
- لایه تحلیل: مدل‌های یادگیری ماشین و عملگرهای مکانی.
- لایه خروجی: ذخیره در پایگاه داده مکانی، فایل و سرویس.
هماهنگ‌سازی و مدیریت صف کار
برای بارهای واقعی، اجرای پردازش در قالب صف کار و کارگزار پس‌زمینه پاسخ‌گوتر از اجرای متوالی است. هر کار مستقل، وضعیت روشن و امکان تلاش مجدد دارد، بنابراین خرابی یک واحد داده کل سفارش را از کار نمی‌اندازد.
شمار کارگزارها بر پایه حجم کاری و ظرفیت سرور تنظیم می‌شود و پایش صف نشان می‌دهد در کدام گام گلوگاه شکل گرفته است. ثبت زمان‌بندی و مصرف منابع هر کار، مبنای بهبود بعدی است.
در سامانه‌های سازمانی، اجرای همزمان چند سفارش باید محدود شود تا منبع پردازشی میان کاربران به شکلی منصفانه تقسیم گردد.
پردازش دسته‌ای و کاشی‌کاری
در حجم‌های بزرگ، پردازش تکه‌تکه بر پردازش یک‌باره ترجیح دارد. شکستن کار به کاشی‌های مکانی، امکان پردازش موازی و بازیابی جزئی را فراهم می‌کند و مصرف حافظه را مهار می‌سازد.
انتخاب اندازه کاشی باید میان سرریز حافظه در کاشی‌های بزرگ و بازگشتی همپوشانی در کاشی‌های کوچک توازن ایجاد کند. در عمل، کاشی‌های مرزی به حاشیه اندک برای پرهیز از خطای لبه نیاز دارند.
در پردازش سری‌های زمانی، ترتیب و بازه زمانی داده‌ها بخشی از تعریف کار است و خروجی باید بتواند به تاریخ هر ورودی ارجاع دهد.
توازن میان پردازنده گرافیکی و مرکزی
کارهای مبتنی بر شبکه‌های عمیق و عملیات ماتریسی سنگین روی پردازنده گرافیکی سریع‌تر اجرا می‌شوند، در حالی که گام‌های ورودی و خروجی، خواندن فایل و عملگرهای مکانی معمولا بر پردازنده مرکزی و در فضای حافظه بهتر مدیریت می‌شوند.
هزینه انتقال داده میان حافظه اصلی و حافظه گرافیکی می‌تواند بخشی از سود سرعت را از میان ببرد؛ بنابراین در طراحی باید نسبت محاسبه به انتقال سنجیده شود. برای کارهای سبک و پراکنده، اجرای روی پردازنده مرکزی ساده‌تر و ارزان‌تر است.
ظرفیت حافظه گرافیکی سقف اندازه کاشی و اندازه دسته استنتاج را تعیین می‌کند و باید در طراحی اولیه لحاظ شود، نه در مرحله‌های پایانی.
استنتاج مدل برای طبقه‌بندی، شناسایی و تفکیک‌بندی
در طبقه‌بندی تصویر، هر پیکسل یا قطعه به یک رده نسبت داده می‌شود و خروجی رستری رده‌ای است. در شناسایی شیء، جعبه‌های محدودکننده و رده‌ها بازگردانده می‌شوند و در تفکیک‌بندی معنایی، ماسک دقیق مرز عارضه تولید می‌گردد؛ انتخاب میان این‌ها باید از پرسش کاربر آغاز شود نه از مدل.
رویکرد شیء‌گرا به ویژه در تصاویر با تفکیک‌پذیری بالا و عوارض ناهمگن نتیجه‌های منظم‌تری می‌دهد، زیرا تحلیل روی قطعات معنادار انجام می‌شود نه تک‌پیکسل. ترکیب استنتاج مدل با قواعد هندسی و مکانی، خطاهای واضح را تصحیح می‌کند.
پس‌پردازش خروجی مدل، شامل هموارسازی مرزها، حدگذاری روی حداقل اندازه عارضه و رفع تناقض با قواعد توپولوژیک، بخش جدانشدنی خط پردازش است.
- همخوانی تفکیک‌پذیری ورودی با تفکیک‌پذیری داده‌ای که مدل با آن آموزش دیده است.
- کنترل کیفیت استنتاج پیش از ورود خروجی به پایگاه داده نهایی.
- ثبت پیکربندی استنتاج برای بازتولید نتیجه در آینده.
سنجه‌های ارزیابی نتیجه
ارزیابی مدل باید بر پایه سنجه‌های متناسب با نوع مسئله انجام شود. صحت و فراخوانی (precision و recall) سوگیری مدل را نسبت به رده‌های مختلف نشان می‌دهند و تنها یک سنجه درست، تصویر ناقصی از کیفیت می‌دهد.
در تفکیک‌بندی، ضریب یازنیک و همپوشانی اجتماع بر اشتراک (IoU) معیار رایج انطباق مکانی مرزهاست و در شناسایی شیء، درستی میانگین بر پایه آستانه‌های مختلف ارزیابی می‌شود. در طبقه‌بندی چندرده‌ای، ماتریس درهم‌ریختگی به روشن کردن خطاهای میان رده‌های مشابه کمک می‌کند.
ارزیابی باید روی داده‌های جدا از داده آموزش انجام شود تا نتیجه برآورد خوش‌بینانه نباشد. تفکیک نتیجه روی منطقه آزمون از منطقه‌های دیده‌نشده، تصویر واقعی‌تری از توان تعمیم مدل می‌دهد.
نسخه‌بندی مدل و نتیجه
هر خروجی باید به نسخه‌ای مشخص از مدل، پیکربندی و داده آموزش گره بخورد. بدون این پیوند، مقایسه نتایج میان دوره‌های زمانی و رفع اشکال رفتار غیرمنتظره دشوار می‌شود.
ثبت پارامترهای کلیدی، تاریخ آموزش و روش آماده‌سازی داده بخش پایه‌ای نسخه‌بندی است. نتایج نیز باید همراه با شناسه نسخه خود ذخیره شوند تا در صورت نیاز بتوان به‌روزرسانی را روی نسخه‌های پیشین سنجید.
برای اجرای عملیاتی، نگه‌داشتن امکان بازگشت به نسخه پایدار پیشین یک الزام است نه یک ویژگی تجملی.
وابستگی دقت به داده‌های برچسب‌دار
کیفیت مدل بیش از هر چیز به گستره و دقت داده‌های برچسب‌دار وابسته است. برچسب نادرست، ناهمگون یا با تعریف مبهم رده‌ها، دقتی بیش از کیفیت برچسب‌ها به دست نمی‌دهد.
تعریف روشن رده‌ها، دستور برچسب‌گذاری یکسان و بازخورد کارشناس موضوعی، سه شرط لازم برای مجموعه داده آموزش قابل اتکا هستند. توزیع نامتوازن رده‌ها نیز به سوگیری مدل به سمت رده‌های پرتعداد می‌انجامد.
افزایش داده و بازآموزی دوره‌ای، همراه با ارزیابی مستمر، روش عملی نگه‌داشتن کیفیت مدل در طول زمان است.
- سنجش پوشش رده‌ها و پراکندگی مکانی نمونه‌های برچسب‌خورده.
- بازبینی نمونه‌ای برچسب‌ها پیش از آموزش.
- ثبت معیار رده‌گذاری مرزی برای کاشی‌ها با رده‌های مبهم.
جمع‌بندی
طراحی موتور پردازش هوشمند، پیش از هر چیز تمرینی در معماری سامانه است: خط پردازش روشن، هماهنگ‌سازی کارآمد، اجرای موازی و پایش دقیق نتیجه. انتخاب مدل تنها یک جزء از این مجموعه است و بدون زیرساخت مناسب به خروجی پایدار نمی‌رسد.
توصیه می‌شود ورودی و خروجی هر گام مستند شود، سنجه‌های ارزیابی متناسب با مسئله انتخاب گردد و نسخه مدل و داده آموزش ثبت شود. رعایت این اصول، سامانه را از یک آزمایش تک‌باری به یک موتور عملیاتی تبدیل می‌کند.
در پایان، کیفیت نتیجه بازتاب مستقیم کیفیت داده‌های برچسب‌دار و شفافیت فرایند است؛ سرمایه‌گذاری روی این دو، بازدهی بیشتری از پیچیده کردن مدل دارد.