د AI اندازه کولو وړتیا څه ده؟

که تاسو کله هم د ډیمو ماډل لیدلی وي چې یو کوچنی ټیسټ بار ماتوي او بیا هغه شیبه کنګل کوي کله چې اصلي کاروونکي څرګندیږي، تاسو د بدمعاش سره مخ شوي یاست: سکیلینګ. AI د معلوماتو، کمپیوټر، حافظې، بینډ ویت - او په عجیبه توګه، پاملرنې لپاره حریص دی. نو د AI سکیلیبلیت په حقیقت کې څه شی دی، او تاسو دا څنګه پرته له دې چې هره اونۍ هرڅه بیا ولیکئ ترلاسه کوئ؟

هغه مقالې چې تاسو یې له دې وروسته لوستل خوښولی شئ:

🔗 د مصنوعي ذهانت تعصب څه شی دی په ساده ډول تشریح شوی
زده کړئ چې څنګه پټ تعصبونه د AI پریکړو او ماډل پایلو ته شکل ورکوي.

🔗 د پیل کونکي لارښود: مصنوعي استخبارات څه شی دی؟
د مصنوعي ذهانت، اصلي مفاهیمو، ډولونو، او ورځني استعمالونو لنډه کتنه.

🔗 د تشریح وړ مصنوعي ذهانت څه شی دی او ولې مهم دی
ومومئ چې څنګه د تشریح وړ AI شفافیت، باور، او تنظیمي اطاعت زیاتوي.

🔗 وړاندوینه کوونکی AI څه شی دی او دا څنګه کار کوي
د وړاندوینې وړ مصنوعي ذهانت، د عام استعمال قضیې، ګټې او محدودیتونه درک کړئ.

د مصنوعي ذهانت اندازه کول څه شی دی؟ 📈

د مصنوعي ذهانت پیمانه کول د مصنوعي ذهانت سیسټم وړتیا ده چې ډیر معلومات، غوښتنې، کاروونکي او د کارونې قضیې اداره کړي پداسې حال کې چې فعالیت، اعتبار او لګښتونه د منلو وړ حدودو کې ساتي. نه یوازې لوی سرورونه - هوښیار جوړښتونه چې د ځنډ ټیټ، تروپټ لوړ، او کیفیت د منحني لوړیدو سره سم ساتي. د لچک لرونکي زیربنا، غوره شوي ماډلونو، او مشاهدې په اړه فکر وکړئ چې په حقیقت کې تاسو ته وایی چې څه اور لګیدلی دی.

څه شی د AI د پیمانه کولو ښه وړتیا رامینځته کوي ✅

کله چې د AI اندازه کولو وړتیا ښه ترسره شي، تاسو ترلاسه کوئ:

• د سپک یا دوامداره بار لاندې د وړاندوینې وړ ځنډ

• هغه تروپټ چې د اضافه شوي هارډویر یا نقلونو په تناسب کې

• د لګښت موثریت چې د هرې غوښتنې سره سم نه زیاتیږي

• د کیفیت ثبات لکه څنګه چې د توکو تنوع او حجم لوړیږي

• د اتومات پیمانه کولو، تعقیبولو، او سالم SLOs څخه مننه ، عملیاتي ارامتیا

د هود لاندې دا معمولا افقي پیمانه کول، بیچ کول، کیش کول، کوانټائزیشن، قوي خدمت کول، او د غلطۍ بودیجې سره تړلي فکري خوشې کولو پالیسۍ ترکیب کوي [5].

د مصنوعي ذهانت اندازه کولو وړتیا د فعالیت په مقابل کې ظرفیت 🧠

• فعالیت هغه چټکتیا ده چې یوه غوښتنه په جلا توګه بشپړه کیږي.

• ظرفیت هغه شمیر غوښتنې دي چې تاسو یې په یو وخت کې اداره کولی شئ.

• د مصنوعي ذهانت پیمانه کول دا دي چې ایا سرچینې اضافه کول یا د هوښیار تخنیکونو کارول ظرفیت زیاتوي او فعالیت دوامداره ساتي - پرته له دې چې ستاسو بل یا ستاسو پیجر خراب کړي.

کوچنی توپیر، لویې پایلې.

ولې پیمانه په مصنوعي ذهانت کې کار کوي: د پیمانه کولو قوانینو مفکوره 📚

په عصري ML کې یوه پراخه کارول شوې بصیرت دا ده چې زیان د وړاندوینې وړ لارو کې ښه کیږي کله چې تاسو د ماډل اندازه، معلومات اندازه کوئ، او محاسبه کوئ د محاسبې غوره توازن هم شتون لري ؛ د دواړو یوځای اندازه کول یوازې یو اندازه کول ماتوي. په عمل کې، دا نظرونه د روزنې بودیجې، د ډیټاسیټ پلان کولو، او د سوداګرۍ خدمت کولو ته معلومات ورکوي [4].

چټک ژباړه: لوی کیدی شي غوره وي، مګر یوازې هغه وخت چې تاسو معلومات اندازه کړئ او په تناسب محاسبه وکړئ - که نه نو دا د بایسکل په سر د ټراکټور ټایرونو ایښودلو په څیر دی. دا شدید ښکاري، هیڅ ځای ته نه ځي.

افقي او عمودي: دوه پیمانه کوونکي لیورونه 🔩

• عمودي پیمانه کول : لوی بکسونه، ډیر قوي GPUs، ډیر حافظه. ساده، ځینې وختونه ګران. د واحد نوډ روزنې، د ټیټ ځنډ اټکل لپاره ښه، یا کله چې ستاسو ماډل په ښه توګه شارډ کولو څخه انکار کوي.

• افقي پیمانه : نور نقلونه. د آټو سکیلرونو چې د CPU/GPU یا دودیز ایپ میټریکونو پراساس پوډونه اضافه کوي یا لرې کوي. په Kubernetes کې، HorizontalPodAutoscaler د غوښتنې په ځواب کې پوډونه اندازه کوي - ستاسو د ترافیک سپیکونو لپاره د خلکو د کنټرول اساسي [1].

کیسه (مرکب): د لوړ پروفایل لانچ په جریان کې، په ساده ډول د سرور-سایډ بیچینګ فعالول او آټوسکلر ته اجازه ورکول چې د قطار ژوروالي ته د ثبات لرونکي p95 سره عکس العمل وښيي پرته له کوم مراجع بدلون څخه. بې عیب بریاوې لاهم بریاوې دي.

د AI د اندازې وړتیا بشپړ سټیک 🥞

1. د معلوماتو طبقه : د چټکو شیانو پلورنځي، د ویکتور شاخصونه، او د سټریمینګ اخستل چې ستاسو روزونکي به نه ځوروي.

2. د روزنې طبقه : ویشل شوي چوکاټونه او مهالویش کونکي چې د معلوماتو/ماډل موازيتوب، چیک پواینټینګ، بیا هڅې اداره کوي.

3. د خدمت کولو طبقه : غوره شوي رن ټایمونه، متحرک بیچینګ ، د مخ پاملرنه ، کیچینګ، د ټوکن سټریمینګ. ټریټون او vLLM دلته ډیری وختونه اتلان دي [2][3].

4. تنظیم : د HPA یا دودیز آټوسکلرونو له لارې د لچک لپاره کوبرنیټونه [1].

5. د مشاهدې وړتیا : نښې، میټریکونه، او لاګونه چې د کارونکي سفرونه او په محصول کې د ماډل چلند تعقیبوي؛ دوی د خپلو SLOs شاوخوا ډیزاین کړئ [5].

6. حکومتداري او لګښت : د هرې غوښتنې اقتصاد، بودیجه، او د بې کاره کاري بارونو لپاره د وژلو سویچونه.

د پرتله کولو جدول: د AI د اندازې وړتیا لپاره وسایل او نمونې 🧰

په مقصد کې یو څه نا مساوي - ځکه چې حقیقي ژوند ...

ژور غوطه ۱: د خدمت کولو چلونه چې ستنه حرکت ورکوي 🚀

• متحرک بیچینګ کوچني انفرنس زنګونه په سرور کې لویو بیچونو ته ګروپ کوي، د مراجعینو بدلونونو پرته د GPU کارول په ډراماتیک ډول زیاتوي [2].

• د پاڼې پاملرنه د KV کیچونو د پاڼې کولو له لارې ډیرې خبرې اترې په حافظه کې ساتي، کوم چې د همغږۍ لاندې تروپټ ښه کوي [3].

• د ورته اشارو یا ایمبیډینګونو لپاره د یوځای کولو او کیش کولو غوښتنه وکړئ

• اټکلي کوډ کول او د نښې سټریمینګ د پام وړ ځنډ کموي، حتی که دیوال ساعت په سختۍ سره کم شي.

دوهم ژور غوطه: د ماډل په کچه موثریت - اندازه کول، تقطیر کول، شاخه بري کول 🧪

• کوانټائزیشن د پیرامیټر دقیقیت کموي (د مثال په توګه، 8-bit/4-bit) ترڅو حافظه کمه کړي او استنباط ګړندی کړي؛ تل د بدلونونو وروسته د کار کیفیت بیا ارزونه وکړئ.

• د تقطیر له لارې پوهه د یو لوی ښوونکي څخه کوچني زده کونکي ته لیږدوي چې ستاسو هارډویر واقعیا خوښوي.

• جوړښتي شاخه بري هغه وزنونه/سرونه کموي چې لږ ونډه لري.

راځئ چې صادق واوسو، دا یو څه داسې ده لکه ستاسو د سوټ کیس اندازه کمه کړئ او بیا ټینګار وکړئ چې ستاسو ټول بوټان لاهم مناسب دي. په یو ډول دا کار کوي، ډیری وختونه.

ژوره غوطه ۳: د اوښکو پرته د معلوماتو او روزنې اندازه کول 🧵

• د ویشل شوي روزنې څخه کار واخلئ چې د موازيتوب پیچلې برخې پټوي نو تاسو کولی شئ تجربې ګړندي واستوئ.

• هغه قوانین : د ماډل اندازې او ټوکنونو له مخې په غور سره بودیجه ځانګړې کړئ؛ د دواړو یوځای پیمانه کول د محاسبې وړ دي [4].

• د نصاب او معلوماتو کیفیت ډیری وختونه پایلې د خلکو د منلو په پرتله ډیرې بدلوي. غوره معلومات ځینې وختونه ډیرو معلوماتو ته ماتې ورکوي - حتی که تاسو دمخه لوی کلستر امر کړی وي.

څلورم ژور غوطه: د پوهې د کچې لوړولو ستراتیژۍ په توګه RAG 🧭

د بدلیدونکو حقایقو سره د سمون لپاره د ماډل بیا روزنې پرځای، RAG په استنباط کې د بیرته ترلاسه کولو مرحله اضافه کوي. تاسو کولی شئ ماډل ثابت وساتئ او شاخص او بیرته ترلاسه کونکي لکه څنګه چې ستاسو کارپس وده کوي. ښکلی - او ډیری وختونه د پوهې درنو ایپسونو لپاره د بشپړ بیا روزنې په پرتله ارزانه.

مشاهده چې پخپله لګښت لري 🕵️♀️

تاسو هغه څه اندازه نشئ کولی چې تاسو یې نشئ لیدلی. دوه اړین شیان:

• میټریکونه : د ځنډ سلنه، د قطار ژوروالی، د GPU حافظه، د بیچ اندازې، د ټوکن تروپټ، د کیش هټ نرخونه.

• هغه نښې چې د دروازې → بیرته ترلاسه کولو → ماډل → وروسته پروسس کولو په اوږدو کې د یوې غوښتنې تعقیبوي. هغه څه چې تاسو یې اندازه کوئ د خپلو SLOs سره وتړئ ترڅو ډشبورډونه د یوې دقیقې څخه کم وخت کې پوښتنو ته ځواب ووایی [5].

کله چې ډشبورډونه په یوه دقیقه کې پوښتنو ته ځوابونه ورکوي، خلک یې کاروي. کله چې دوی نه کوي، نو دوی داسې ښکاروي چې کوي یې.

د اعتبار ساتونکي پټلۍ: SLOs، د غلطۍ بودیجه، سالم رول آوټونه 🧯

• د ځنډ، شتون، او د پایلو کیفیت لپاره SLOs تعریف کړئ د خوشې کولو سرعت سره د اعتبار توازن لپاره د غلطۍ بودیجې

• د ټرافیک د ویشونو تر شا ځای پر ځای شئ، کینري وکړئ، او د نړیوال کټ اوورونو څخه مخکې د سیوري ازموینې ترسره کړئ. ستاسو راتلونکی ځان به خواړه واستوي.

د لګښت کنټرول پرته له ډرامې 💸

اندازه کول یوازې تخنیکي نه دي؛ دا مالي دي. د GPU ساعتونو او ټوکنونو سره د واحد اقتصاد سره د لومړۍ درجې سرچینو په توګه چلند وکړئ (د هر 1k ټوکن لګښت، په هر ځای کې، په هر ویکتور پوښتنې کې). بودیجې او خبرتیا اضافه کړئ؛ د شیانو له مینځه وړل ولمانځئ.

د مصنوعي ذهانت د پیمانه کولو لپاره یوه ساده لار نقشه 🗺️

1. د p95 ځنډ، شتون، او د دندې دقت لپاره د SLOs سره پیل کړئ

2. یو خدمت کوونکی سټیک غوره کړئ چې د بیچینګ او دوامداره بیچینګ ملاتړ کوي: ټریټون، vLLM، یا معادل [2][3].

3. ماډل غوره کړئ : هغه ځای اندازه کړئ چیرې چې دا مرسته کوي، ګړندي کرنلونه فعال کړئ، یا د ځانګړو دندو لپاره ډیسټیل کړئ؛ د اصلي ارزونو سره کیفیت تایید کړئ.

4. د لچک لپاره معمار : کوبرنیټس HPA د سم سیګنالونو، جلا لوستلو/لیکلو لارو، او بې حالته استنباط نقلونو سره [1].

5. نو بیا ترلاسه کول غوره کړئ ترڅو تاسو هره اونۍ د بیا روزنې پرځای خپل شاخص اندازه کړئ.

6. د لګښت سره حلقه وتړئ : د واحد اقتصاد او اونیزې بیاکتنې رامینځته کړئ.

د ناکامۍ عامې طریقې او چټکې حل لارې 🧨

• GPU په 30٪ کارول کې پداسې حال کې چې ځنډ خراب دی

  • متحرک بیچینګ فعال کړئ ، د بیچ کیپونه په احتیاط سره لوړ کړئ، او د سرور کنکورنسی [2] بیا وګورئ.

• د اوږدو هڅونو سره د تروپټ سقوط

  • هغه خدمت وکاروئ چې د مخ شوي پاملرنې او اعظمي هممهاله ترتیبونه تنظیم کړئ [3].

• د اتومات سکیلر فلیپونه

  • د وینډوز سره نرم میټریکونه؛ د خالص CPU [1] پرځای د قطار ژوروالی یا په هر ثانیه کې دودیز ټوکنونه اندازه کړئ.

• لګښتونه د لانچ وروسته چاودیږي

  • د غوښتنې کچې لګښت میټریکونه اضافه کړئ، د خوندي ځای په ځای کولو سره اندازه کول فعال کړئ، د لوړو پوښتنو کیش وکړئ، او د بدترین سرغړونکو نرخ محدود کړئ.

د AI د اندازې وړ کولو کتاب: چټک چک لیست ✅

• SLOs او د تېروتنې بودیجې شتون لري او لیدل کیږي

• میټریکونه: ځنډ، tps، د GPU میم، د بیچ اندازه، ټوکن/s، کیچ هټ

• له ننوتلو څخه تر ماډل پورې او د پروسې وروسته نښې

• خدمت کول: بسته بندي کول، همغږي تنظیم شوي، ګرمې زیرمې

• ماډل: مقدار شوی یا تقطیر شوی چیرې چې دا مرسته کوي

• انفرا: HPA د سم سیګنالونو سره تنظیم شوی

• د پوهې د تازه والي لپاره د لاسته راوړلو لاره

• د اقتصاد واحد اکثرا بیاکتنه کیږي

ډېر وخت مې ونه لوستل او وروستۍ تبصرې 🧩

د مصنوعي ذهانت پیمانه کول یو واحد ځانګړتیا یا پټ سویچ نه دی. دا د نمونې ژبه ده: د آټو سکیلرونو سره افقي پیمانه کول، د کارونې لپاره د سرور اړخ بیچینګ، د ماډل کچې موثریت، د افلوډ کولو لپاره د پوهې بیرته ترلاسه کول، او مشاهده کول چې رول آوټ ستړي کوي. په SLOs کې سپری کړئ او د حفظ الصحې لګښت وکړئ ترڅو هرڅوک سمون ولري. تاسو به دا په لومړي ځل بشپړ نه کړئ - هیڅوک یې نه کوي - مګر د سم فیډبیک لوپونو سره، ستاسو سیسټم به د سهار په 2 بجو د سړې خولې احساس پرته وده وکړي 😅

ماخذونه

[1] د کوبرنیټس اسناد - افقي پوډ اتومات پیمانه کول - نور ولولئ
[2] NVIDIA ټریټون - ډینامیک بیچر - نور ولولئ
[3] د vLLM اسناد - مخ شوی پاملرنه - نور ولولئ
[4] هوفمن او نور (2022) - د کمپیوټ - غوره لویو ژبو ماډلونو روزنه - نور ولولئ
[5] د ګوګل SRE کاري کتاب - د SLOs پلي کول - نور ولولئ

په رسمي AI اسسټنټ پلورنځي کې وروستي AI ومومئ

زموږ په اړه