নেটওয়ার্কের প্রান্তে থাকা AI খুব কমই শুধুমাত্র অনুমান বোঝায়। রিয়েল ওয়ার্ল্ড ডিপ্লয়মেন্টে সাধারণত হাই-স্পিড ইনপুট/আউটপুট (I/O), সিগন্যাল কন্ডিশনিং এবং রিয়েল-টাইম কন্ট্রোল লুপ জড়িত থাকে, যার সবগুলোই একযোগে কার্যকর করা হয়। এই বহুমুখী কাজের চাপের জন্য কঠোর সমন্বয় এবং উচ্চ নিশ্চিততার প্রয়োজন, এবং ডিজাইনাররা মূলধারার AI হার্ডওয়্যার ব্যবহার করে এই প্রয়োজনীয়তাগুলি পূরণ করা কঠিন বলে মনে করেছেন।
দুটি কারণ এই সমস্যাটিকে আরও জটিল করে তোলে। প্রথমত, এআই মডেলগুলি একটি আশ্চর্যজনক গতিতে বিকাশ করছে, যা ডিজাইনারদের দ্রুত অ্যালগরিদম আপডেটগুলিকে সমর্থন করে এমন প্ল্যাটফর্মগুলি গ্রহণ করতে প্ররোচিত করছে। ইতিমধ্যে, অনেক এজ সিস্টেমগুলি দশ বছর বা তারও বেশি সময় ধরে সাইটে ব্যবহার করা হচ্ছে, দীর্ঘমেয়াদী অভিযোজনযোগ্যতা নিশ্চিত করা কঠিন করে তুলেছে। দ্বিতীয়ত, সু-প্রশিক্ষিত মডেল থেকে সিস্টেম স্থাপন এবং বাস্তবায়নের পথ এখনও খণ্ডিত। ডেটা বিজ্ঞানীরা PyTorch এবং TensorFlow ব্যবহার করেন, যখন এমবেড করা দলগুলি সম্পূর্ণ ভিন্ন টুলচেইন ব্যবহার করে, যা হস্তান্তর প্রক্রিয়ার সময় ঘর্ষণ তৈরি করে এবং উৎপাদনের গতি কমিয়ে দেয়।
এই চ্যালেঞ্জগুলি মোকাবেলা করার জন্য, প্ল্যাটফর্মগুলিকে নির্ধারক আচরণ, নমনীয় I/O এবং দীর্ঘমেয়াদী অভিযোজনযোগ্যতার সাথে উচ্চ-থ্রুপুট AI প্রক্রিয়াকরণকে একত্রিত করতে সক্ষম হতে হবে, যার সবগুলিই সীমিত প্রান্ত স্থাপনের সাধারণ শক্তি খরচ পরিসরের মধ্যে অর্জন করতে হবে।
এই নিবন্ধটি অ্যাপ্লিকেশন পরিস্থিতি এবং সম্পর্কিত প্রয়োজনীয়তার উপর ফোকাস করে যা ডিজাইনারদের নতুন এজ এআই আর্কিটেকচার অন্বেষণ করতে চ্যালেঞ্জ করে। তারপরে, এটি Altera এর ফিল্ড প্রোগ্রামেবল গেট অ্যারে (FPGA) ডিভাইস এবং সফ্টওয়্যার সরঞ্জামগুলি প্রবর্তন করে যা এজ এআই সমর্থন করে এবং এই অ্যাপ্লিকেশনগুলির বৈচিত্র্যময় কর্মক্ষমতা এবং পাওয়ার প্রয়োজনীয়তা মেটাতে কীভাবে তাদের ব্যবহার করতে হয় তা প্রদর্শন করে।
এজ এআই-এর বিবর্তনের জন্য স্থাপত্যগত উদ্ভাবন প্রয়োজন
এজ সিস্টেমগুলি ক্রমবর্ধমানভাবে বৈচিত্র্যময় এআই প্রযুক্তি গ্রহণ করছে, যার মধ্যে রয়েছে বৈষম্য সনাক্তকরণের জন্য ক্লাসিক্যাল মেশিন লার্নিং (এমএল), উপলব্ধির জন্য কনভোল্যুশনাল নিউরাল নেটওয়ার্ক (সিএনএন), এবং বৃহৎ ভাষা মডেলের (এলএলএম) রূপান্তরকারী। এই গণনামূলকভাবে নিবিড় অ্যালগরিদমগুলি প্রায়শই সিগন্যাল প্রসেসিং, নেটওয়ার্ক যোগাযোগ এবং রিয়েল-টাইম নিয়ন্ত্রণের মতো অ-এআই ফাংশনগুলির সাথে সহাবস্থান করে।
স্বায়ত্তশাসিত সিস্টেম একটি ভাল উদাহরণ. তাদের সাধারণত ভিডিও, অডিও, রাডার, LiDAR, এবং গতি/পজিশন ফিডব্যাকের মতো একাধিক সেন্সর পদ্ধতি থেকে ডেটা ক্যাপচার করতে হয়, উচ্চ থ্রুপুট দিয়ে এই ডেটা স্ট্রিমগুলিকে প্রিপ্রসেস করতে হয়, জটিল AI ব্যবহার করে ফলাফলগুলি বিশ্লেষণ করতে হয় এবং তারপরে উচ্চ-নির্ভুলতা নিয়ন্ত্রণ লুপগুলি পরিচালনা করতে হয়, যার সবগুলির জন্য নির্ভরযোগ্য নির্ধারণের প্রয়োজন।
শিল্প অটোমেশন, মেডিকেল ইমেজিং, প্রতিরক্ষা, এবং টেলিকমিউনিকেশন অ্যাপ্লিকেশনগুলিতে অনেক অনুরূপ উদাহরণ রয়েছে। তাদের মুখোমুখি একটি সাধারণ চ্যালেঞ্জ হল যে ঐতিহ্যগত স্থাপত্যগুলি ক্রমাগত রূপান্তরিত কাজের চাপের সাথে মানিয়ে নেওয়া কঠিন।
কেন FPGA প্রান্ত এআই জন্য বিশেষভাবে উপযুক্ত
বিপরীতে, এই প্রয়োজনীয়তাগুলি FPGA এর কার্যকারিতার সাথে সম্পূর্ণরূপে সামঞ্জস্যপূর্ণ। FPGA-এর মূল কাজ হল সত্যিকারের সমান্তরালভাবে ক্রিয়াকলাপগুলি সম্পাদন করার জন্য কনফিগারযোগ্য যুক্তি প্রদান করা, এর সময় আচরণটি রানটাইমে ওঠানামা করার পরিবর্তে ডিজাইনের সময়ে এমবেড করা। এই আর্কিটেকচার কম লেটেন্সি ডিটারমিনিজম অর্জন করতে পারে, যা এজ এআই-এর জন্য অত্যন্ত গুরুত্বপূর্ণ। নমনীয় লজিক শক্তিশালী I/O ব্যবহার করতে পারে: FPGA গুলি সাধারণত প্রচুর উচ্চ-গতি I/O প্রদান করে, যা AI প্রক্রিয়াকরণের সাথে আঁটসাঁট সংযোগ অর্জনের জন্য বিভিন্ন সেন্সর এবং অ্যাকুয়েটরগুলির সাথে সংযুক্ত হতে পারে।
FPGA-এ বিতরণ করা অভ্যন্তরীণ মেমরিও রয়েছে, যা এটির উপর কাজ করে এমন যুক্তি দ্বারা ডেটা অ্যাক্সেস করতে সক্ষম করে। এটি একাধিক প্রক্রিয়াকরণের পর্যায়গুলিকে ভাগ করা মেমরি বাস অ্যাক্সেস করার জন্য প্রতিযোগিতা করতে হলে যে বাধা সৃষ্টি হয় তা হ্রাস করে, যা প্রসেসর ভিত্তিক আর্কিটেকচারে একটি সাধারণ সীমাবদ্ধতা।
অনেক এফপিজিএ বিশেষায়িত ডিজিটাল সিগন্যাল প্রসেসিং (ডিএসপি) হার্ডওয়্যারকেও একীভূত করে। প্রচলিত কাঠামোর তুলনায়, এই বর্ধিত সার্কিটগুলি সিগন্যাল প্রসেসিং কাজের চাপের জন্য উচ্চতর কর্মক্ষমতা এবং উন্নত শক্তি দক্ষতা প্রদান করে। কিছু এফপিজিএ হার্ড তারযুক্ত প্রসেসর সিস্টেমগুলিকেও একীভূত করে যা স্ট্যান্ডার্ড সফ্টওয়্যার স্ট্যাক (লিনাক্স সহ) চালাতে পারে, যা নেটওয়ার্কিং, ডিভাইস পরিচালনা এবং ব্যবহারকারীর ইন্টারফেসের মতো কাজের জন্য ঐতিহ্যগত সফ্টওয়্যার বিকাশকে সক্ষম করে।
সংক্ষেপে, একটি একক FPGA ফাংশনগুলিকে একীভূত করতে পারে যা অন্যথায় আলাদা I/O চিপস, AI এক্সিলারেটর, DSPs এবং কন্ট্রোল প্লেন প্রসেসরের প্রয়োজন হতে পারে। এটি উপকরণের বিল (BOM) কমাতে পারে, সার্কিট বোর্ডের এলাকা সঙ্কুচিত করতে পারে, কম বিদ্যুত খরচ করতে পারে, এবং প্রান্ত AI অ্যাপ্লিকেশনের জন্য প্রয়োজনীয় কম বিলম্ব এবং নিশ্চিততা বজায় রাখতে পারে।
এআই টেনসর ব্লকের সংযোজনের সাথে কীভাবে নতুন সম্ভাবনাগুলি খুলবেন
প্রথাগত FPGA DSP হার্ডওয়্যার ইতিমধ্যেই অনেক এজ ওয়ার্কলোডের জন্য খুব উপযুক্ত, কিন্তু AI অনুমান প্রায়ই ঘন কিন্তু কম নির্ভুল গুণন অপারেশনের উপর নির্ভর করে। এই সমস্যাটির সমাধান করার জন্য, Altera এর Agilex 3 এবং Agilex 5 ডিভাইসগুলি AI টেনসর ব্লক সহ উন্নত DSP ব্যবহার করে। এটি ম্যাট্রিক্স ম্যাট্রিক্স এবং ভেক্টর ম্যাট্রিক্স গুণনের জন্য বিশেষায়িত হার্ডওয়্যার, যা বারবার এআই গণনা গ্রাফে প্রদর্শিত হয়।
এই পদ্ধতির মূল হল স্কেলার প্রোডাক্ট এবং অ্যাডার/সঞ্চয়কারী ইঞ্জিন (চিত্র 1)। টেনসর মোডে, হার্ড তারযুক্ত পয়েন্ট ইঞ্জিন 8-বিট ইনপুট ব্যবহার করে এবং একটি 10 উপাদান ডট পণ্য সম্পাদন করতে 8-বিট ওজন প্রিলোড করে। গতিশীল পরিসর প্রসারিত করার জন্য, ডেটা পাথটি সাধারণ পরিস্থিতিগুলির সাথে মোকাবিলা করার জন্য ব্লক ফ্লোটিং পয়েন্ট স্কেলিং-এর জন্য একটি ভাগ করা "সাধারণ সূচক" ব্যবহার করতে পারে যেখানে AI অনুমানের জন্য সাধারণত উচ্চ গতিশীল পরিসীমা প্রয়োজন কিন্তু কম নির্ভুলতা।