لنډ ځواب: مصنوعي ذهانت به د معلوماتو انجنیرانو ځای په ځای نه کړي؛ دا به تکراري کارونه لکه د SQL مسوده، د پایپ لاین سکفولډینګ، ازموینې، او اسناد اتومات کړي. که ستاسو رول تر ډیره حده د ټیټ ملکیت، د ټکټ پر بنسټ کار وي، نو دا ډیر څرګند دی؛ که تاسو اعتبار، تعریفونه، حکومتداري، او د پیښو غبرګون لرئ، مصنوعي ذهانت په عمده توګه تاسو ګړندي کوي.
مهم ټکي:
مالکیت: د پایلو لپاره مسؤلیت ته لومړیتوب ورکړئ، نه یوازې د کوډ په چټکۍ سره تولیدولو ته.
کیفیت: ازموینې، مشاهدې، او قراردادونه جوړ کړئ ترڅو پایپ لاینونه د باور وړ پاتې شي.
حکومتداري: محرمیت، د لاسرسي کنټرول، ساتنه، او د تفتیش لارې د انسانانو ملکیت وساتئ.
د ناوړه ګټې اخیستنې مقاومت: د مصنوعي ذهانت له محصولاتو سره د مسودو په توګه چلند وکړئ؛ د ډاډمنې غلطۍ څخه د مخنیوي لپاره یې بیاکتنه وکړئ.
د رول بدلون: د بویلر پلیټ په لیکلو کې لږ وخت او د دوامدار سیسټمونو ډیزاین کولو کې ډیر وخت مصرف کړئ.
که تاسو د معلوماتو ټیمونو شاوخوا له پنځو دقیقو څخه ډیر وخت تیر کړی وي، تاسو دا ډډه اوریدلې ده - کله ناکله په غوږونو کې ویل کیږي، کله ناکله په غونډه کې د کیسې د بدلون په څیر پیل کیږي: ایا مصنوعي ذهانت به د معلوماتو انجینرانو ځای ونیسي؟
او ... زه پوهیږم. AI کولی شي SQL تولید کړي، پایپ لاینونه جوړ کړي، د سټیک ټریسونه تشریح کړي، د DBT ماډلونه مسوده کړي، حتی د ګودام سکیما د نا آرامه باور سره وړاندیز کړي. د SQL لپاره GitHub Copilot د dbt ماډلونو په اړه GitHub Copilot
دا د فورک لیفټ لیدلو په څیر احساس کوي چې د چلولو زده کړه کوي. اغیزمن، یو څه خطرناک، او تاسو په بشپړ ډول ډاډه نه یاست چې دا ستاسو د دندې لپاره څه معنی لري 😅
خو حقیقت د سرلیک په پرتله لږ پاک دی. مصنوعي ذهانت په بشپړ ډول د معلوماتو انجینرۍ بدلوي. دا ستړي، تکراریدونکي برخې اتومات کوي. دا د "زه پوهیږم چې زه څه غواړم مګر نحو په یاد نه لرم" شیبې ګړندۍ کوي. دا د ګډوډۍ نوي ډولونه هم رامینځته کوي.
نو راځئ چې دا په سمه توګه بیان کړو، پرته له لاس وهونکي خوشبینۍ یا د مرګ له ویرې څخه.
هغه مقالې چې تاسو یې له دې وروسته لوستل خوښولی شئ:
🔗 ایا مصنوعي ذهانت به د راډیولوژیستانو ځای ونیسي؟
د انځور کولو AI څنګه د کار جریان، دقت، او راتلونکي رولونه بدلوي.
🔗 ایا مصنوعي ذهانت به د محاسبینو ځای ونیسي؟
وګورئ چې کوم محاسبې دندې AI اتومات کوي او کوم یې انساني پاتې کیږي.
🔗 ایا مصنوعي ذهانت به د پانګونې بانکدارانو ځای ونیسي؟
د معاملو، څېړنو، او مراجعینو اړیکو په اړه د مصنوعي ذهانت اغیزې درک کړئ.
🔗 ایا مصنوعي ذهانت به د بیمې اجنټان ځای ونیسي؟
زده کړئ چې څنګه AI تضمین، پلور، او د پیرودونکو ملاتړ بدلوي.
ولې "AI د معلوماتو انجینرانو ځای نیسي" پوښتنه بیا راپورته کیږي 😬
ویره له یو ځانګړي ځای څخه راځي: د معلوماتو انجینرۍ ډیر تکراري کار لري.
-
د SQL لیکل او بیا رغونه
-
د اخستلو سکریپټونه جوړول
-
له یوې سکیما څخه بلې ته د ساحو نقشه کول
-
د ازموینو او اساسي اسنادو جوړول
-
د پایپ لاین د ناکامیو ډیبګ کول چې ... یو ډول د وړاندوینې وړ دي
مصنوعي ذهانت په غیر معمولي ډول د تکرار وړ نمونو کې ښه دی. او د معلوماتو انجینرۍ یوه برخه په سمه توګه همداسې ده - نمونې په نمونو باندې ځای پرځای شوي. د GitHub Copilot کوډ وړاندیزونه
همدارنګه، د وسایلو ایکوسیستم لا دمخه پیچلتیا "پټوي":
-
د ELT مدیریت شوي نښلونکي Fivetran اسناد
-
بې سروره کمپیوټ AWS لامبدا (بې سروره کمپیوټ)
-
د ګودام یو کلیک چمتو کول
-
د اپاچي ایر فلو اسناد د اتومات پیمانه کولو آرکیسټریشن
-
د بیاناتي بدلون چوکاټونه dbt څه شی دی؟
نو کله چې مصنوعي ذهانت ښکاره شي، نو دا د وروستۍ ټوټې په څیر احساس کیدی شي. که چیرې سټک لا دمخه خلاص شوی وي، او مصنوعي ذهانت کولی شي د ګلو کوډ ولیکي ... څه پاتې دي؟ 🤷
خو دلته هغه څه دي چې خلک یې پریږدي: د معلوماتو انجینري په عمده توګه ټایپ کول نه دي. ټایپ کول اسانه برخه ده. سخته برخه یې دا ده چې تیاره، سیاسي، بدلیدونکي سوداګریز واقعیت د یو باوري سیسټم په څیر چلند وکړي.
او مصنوعي ذهانت لا هم له دې تیاره سره مبارزه کوي. خلک هم مبارزه کوي - دوی یوازې ښه پرمختګ کوي.
هغه څه چې د معلوماتو انجنیران ټوله ورځ کوي (بې خونده حقیقت) 🧱
راځئ چې په صادقانه توګه ووایو - د "ډیټا انجینر" دندې سرلیک داسې ښکاري چې تاسو د خالص ریاضي څخه د راکټ انجنونه جوړوئ. په عمل کې، تاسو باور.
یوه عادي ورځ لږ "نوي الګوریتمونه اختراع کول" او ډیر څه دي:
-
د معلوماتو تعریفونو په اړه د اپسټریم ټیمونو سره خبرې اترې (دردناک مګر اړین)
-
څېړنه کول چې ولې یو میټریک بدل شو (او ایا دا ریښتیا ده)
-
د سکیما ډرافټ اداره کول او "یو چا په نیمه شپه کې یو کالم اضافه کړ" حیرانتیاوې
-
ډاډ ترلاسه کول چې پایپ لاینونه بې کفایته، د بیا رغونې وړ، او د لیدلو وړ دي
-
د ساتونکو پټلۍ جوړول ترڅو د ښکته جریان شنونکي په ناڅاپي ډول بې معنی ډشبورډونه جوړ نه کړي
-
د لګښتونو اداره کول ترڅو ستاسو ګودام د پیسو په اور بدل نشي 🔥
-
د لاسرسي خوندي کول، تفتیش، اطاعت، د ساتلو پالیسۍ د GDPR اصول (اروپایي کمیسیون) د ذخیره کولو محدودیت (ICO)
-
د معلوماتو محصولات جوړول چې خلک یې په حقیقت کې پرته له دې چې تاسو ته DM وکړي وکاروي 20 پوښتنې
د کار لویه برخه ټولنیز او عملیاتي ده:
-
"دا مېز د چا دی؟"
-
"ایا دا تعریف لاهم اعتبار لري؟"
-
"ولې CRM نقلونه صادروي؟"
-
"ایا موږ کولی شو دا میټریک اجرایوي رییسانو ته پرته له شرمه ولیږو؟" 😭
البته، مصنوعي ذهانت کولی شي د دې په ځینو برخو کې مرسته وکړي. خو په بشپړه توګه یې بدلول ... یوه اوږده هڅه ده.
د معلوماتو انجینرۍ رول څه شی یو پیاوړی نسخه جوړوي؟ ✅
دا برخه مهمه ده ځکه چې د بدیل خبرې معمولا داسې انګیرل کیږي چې د معلوماتو انجنیران په عمده توګه "د پایپ لاین جوړونکي" دي. دا د دې په څیر ده چې شیفان په عمده توګه "سبزیجات پرې کوي". دا د دندې یوه برخه ده، مګر دا دنده نه ده.
د ډیټا انجینر قوي نسخه معمولا پدې معنی وي چې دوی کولی شي ډیری دا کار وکړي:
-
د بدلون لپاره ډیزاین
معلومات بدلیږي. ټیمونه بدلیږي. وسایل بدلیږي. یو ښه انجینر داسې سیسټمونه جوړوي چې هرکله چې واقعیت پرنجی وکړي نه سقوط کوي 🤧 -
قراردادونه او تمې تعریف کړئ
"پیرودونکي" څه معنی لري؟ "فعال" څه معنی لري؟ کله چې یو لیک ناوخته راشي نو څه پیښیږي؟ قراردادونه د خیالي کوډ په پرتله د ګډوډۍ مخه نیسي. د خلاص معلوماتو قرارداد معیار (ODCS) ODCS (GitHub) -
په هرڅه کې د مشاهدې وړتیا رامینځته کړئ
نه یوازې "دا کار وکړ" بلکه "دا په سمه توګه ترسره شو." تازه والی، د حجم بې نظمۍ، خالي چاودنې، د ویش بدلونونه. د معلوماتو مشاهدې وړتیا (Dynatrace) د معلوماتو مشاهدې وړتیا څه ده؟ -
د یو بالغ کس لپاره د سرعت او دقت، لګښت او ځنډ، انعطاف او سادګۍ په څیر معاملې وکړئ
. هیڅ بشپړ پایپ لاین نشته، یوازې هغه پایپ لاینونه شتون لري چې تاسو ورسره ژوند کولی شئ. -
د سوداګرۍ اړتیاوې په دوامداره سیسټمونو بدل کړئ
خلک د میټریکونو غوښتنه کوي، مګر هغه څه چې دوی ورته اړتیا لري هغه د معلوماتو محصول دی. مصنوعي ذهانت کولی شي کوډ مسوده کړي، مګر دا نشي کولی په جادویی ډول د سوداګرۍ ماینونه وپیژني. -
معلومات خاموش وساتئ
د معلوماتو پلیټ فارم لپاره تر ټولو لویه ستاینه دا ده چې هیڅوک یې په اړه خبرې نه کوي. ناڅاپي معلومات ښه معلومات دي. لکه نل. تاسو یوازې هغه وخت خبر شئ کله چې دا ناکام شي 🚽
که تاسو دا کارونه کوئ، نو دا پوښتنه چې "ایا AI به د ډیټا انجینرانو ځای ونیسي؟" یو څه بې معنی غږیږي ... مصنوعي ذهانت کولی شي دندې، نه مالکیت.
چیرته چې AI دمخه د معلوماتو انجینرانو سره مرسته کوي (او دا واقعیا ښه ده) 🤖✨
مصنوعي ذهانت یوازې بازار موندنه نه ده. په ښه توګه کارول شوې، دا د ځواک یو مشروع ضرب کوونکی دی.
۱) د SQL او بدلون چټک کار
-
د پیچلو ملګرتیاوو مسوده کول
-
د کړکۍ دندو لیکل چې تاسو یې په اړه فکر نه کوئ
-
د ساده ژبې منطق د پوښتنې په چوکاټونو بدلول
-
د SQL لپاره د لوستلو وړ CTEs GitHub Copilot کې د بدصورت پوښتنو بیا فکتور کول
دا خورا لوی دی ځکه چې دا د "خالي پاڼې" اغیز کموي. تاسو لاهم تایید ته اړتیا لرئ، مګر تاسو د 0٪ پرځای په 70٪ پیل کوئ.
۲) د ډیبګ کولو او د ریښې لامل د ډوډۍ ټوټې
مصنوعي ذهانت په لاندې مواردو کې ښه دی:
-
د تېروتنې پیغامونو تشریح کول
-
وړاندیز کول چې چیرته وګورئ
-
د "چیک سکیما بې مطابقت" ډول ګامونو سپارښتنه کول GitHub Copilot
دا د یو نه ستړي کیدونکي جونیئر انجینر په څیر دی چې هیڅکله نه ویده کیږي او ځینې وختونه په ډاډه توګه دروغ وايي 😅
۳) د اسنادو او معلوماتو کتلاګ بډایه کول
په اتومات ډول تولید شوی:
-
د ستنې توضیحات
-
د ماډل لنډیزونه
-
د نسب توضیحات
-
"دا جدول د څه لپاره کارول کیږي؟" مسودې dbt اسناد
دا بشپړ نه دی، مګر دا د غیر مستند پایپ لاینونو لعنت ماتوي.
۴) د مچانو ازموینه او چکونه
AI کولی شي وړاندیز وکړي:
-
اساسي خالي ازموینې
-
د بې ساري والي چکونه
-
د حوالې بشپړتیا نظریات
-
"دا میټریک باید هیڅکله کم نشي" سټایل ادعاګانې dbt ډیټا ازموینې لویې تمې: تمې
بیا - تاسو لاهم پریکړه کوئ چې څه مهم دي، مګر دا د معمول برخې ګړندي کوي.
۵) د پایپ لاین "ګلو" کوډ
د تشکیل ټیمپلیټونه، د YAML سکفالډونه، د DAG مسودې. دا شیان تکراري دي او AI د ناشتې لپاره تکراري خوري 🥣 اپاچي ایر فلو DAGs
چیرته چې مصنوعي ذهانت لاهم مبارزه کوي (او دا یې اصلي خبره ده) 🧠🧩
دا هغه برخه ده چې خورا مهمه ده، ځکه چې دا د اصلي جوړښت سره د بدیل پوښتنې ته ځواب ورکوي.
۱) ابهام او بدلون موندونکي تعریفونه
د سوداګرۍ منطق ډېر کم روښانه وي. خلک د جملې په منځ کې خپل نظر بدلوي. "فعال کاروونکی" "فعال تادیه کوونکی کاروونکی" کیږي "فعال تادیه کوونکی کاروونکی پرته له دې چې ځینې وختونه بیرته پیسې ورکړل شي" ... تاسو پوهیږئ چې دا څنګه ده.
مصنوعي ذهانت دا ابهام نشي زغملی. دا یوازې اټکل کولی شي.
۲) حساب ورکول او خطر
کله چې پایپ لاین مات شي او د اجرایوي ډشبورډ بې معنی ښکاره کړي، یو څوک باید:
-
درې ګونی
-
د اغېز شریکول
-
سم یې کړه
-
د بیا راګرځېدو مخنیوی
-
د پوسټ مارټم لیکل
-
پریکړه وکړئ چې ایا سوداګري لاهم د تیرې اونۍ په شمیرو باور کولی شي
مصنوعي ذهانت مرسته کولی شي، خو په معنی لرونکي ډول حساب ورکوونکی نه شي کېدای. سازمانونه په احساساتو نه چلېږي - دوی په مسؤلیت سره چلېږي.
۳) د سیسټمونو فکر کول
د معلوماتو پلیټ فارمونه ایکوسیستمونه دي: اخستل، ذخیره کول، بدلونونه، تنظیم، حکومتداري، د لګښت کنټرولونه، SLAs. په یوه طبقه کې بدلون څپې. د اپاچي هوا جریان مفکورې
مصنوعي ذهانت کولی شي سیمه ایز اصلاحات وړاندیز کړي چې نړیوال درد رامینځته کوي. دا د دروازې په لرې کولو سره د چیغې وهونکې دروازې د سمولو په څیر دی 😬
۴) امنیت، محرمیت، اطاعت
دا هغه ځای دی چې د بدیل خیالونه مړه کیږي.
-
د لاسرسي کنټرولونه
-
د قطار په کچه امنیت د سنو فلیک قطار لاسرسي پالیسۍ BigQuery د قطار په کچه امنیت
-
د NIST د محرمیت چوکاټ اداره کول PII
-
د ساتلو قوانین د ساتلو محدودیت (ICO) د ساتلو په اړه د اروپايي اتحادیې لارښود
-
د پلټنې لارې NIST SP 800-92 (د لاګ مدیریت) د CIS کنټرول 8 (د پلټنې لاګ مدیریت)
-
د معلوماتو د استوګنې محدودیتونه
مصنوعي ذهانت کولی شي پالیسۍ جوړې کړي، خو په خوندي ډول یې پلي کول ریښتینې انجینري ده.
۵) "نامعلوم نامعلوم"
د معلوماتو پیښې ډیری وختونه د اټکل وړ نه وي:
-
د پلورونکي API په خاموشۍ سره سیمانټیک بدلوي
-
د وخت زون فرضیه بدلیږي
-
بیک فل د یوې برخې نقل کوي
-
د بیا هڅې میکانیزم د دوه ځله لیکلو لامل کیږي
-
د محصول یوه نوې ځانګړتیا د پیښو نوي نمونې معرفي کوي
کله چې وضعیت یو پیژندل شوی نمونه نه وي، مصنوعي ذهانت کمزوری وي.
د پرتلې جدول: په عمل کې څه شی کموي 🧾🤔
لاندې یو عملي نظر دی. نه "هغه وسایل چې خلک بدلوي"، بلکې هغه وسایل او طریقې چې ځینې دندې لنډوي.
| وسیله / طریقه | اورېدونکي | د نرخ کچه | ولې دا کار کوي |
|---|---|---|---|
| د AI کوډ شریک پیلوټان (SQL + پایتون مرسته کوونکي) GitHub شریک پیلوټ | هغه انجنیران چې ډېر کوډونه لیکي | وړیا - تر پیسو پورې | په سکېفولډینګ، ریفیکٹرونو، نحو کې ښه ... ځینې وختونه په خورا ځانګړي ډول سمګ |
| د ELT مدیریت شوي نښلونکي Fivetran | ټیمونه د کارولو له جوړولو ستړي شوي دي | ګډون-y | د خوړلو لپاره د درد حس له منځه وړي، خو په نويو او خوندورو لارو چارو سره ماتېږي |
| د معلوماتو د څارنې پلیټ فارمونه د معلوماتو د څارنې وړتیا (ډیناټریس) | هرڅوک چې د SLA مالکیت لري | له منځنۍ کچې څخه تر تصدۍ پورې | بې نظمۍ ژر کشف کوي - لکه د پایپ لاینونو لپاره د لوګي الارم 🔔 |
| د بدلون چوکاټونه (اعلاناتي ماډلینګ) dbt | تحلیلونه + DE هایبرډونه | معمولا وسیله + محاسبه | منطق ماډلر او د ازموینې وړ کوي، لږ سپګیټي |
| د معلوماتو کتلاګونه + سیمانټیک پرتونه dbt سیمانټیک پرت | هغه سازمانونه چې د میټریک ګډوډي لري | په عمل کې، پورې اړه لري | "حقیقت" یو ځل تعریفوي - بې پایه میټریک بحثونه کموي |
| د اپاچي ایر فلو ټیمپلیټونو سره تنظیم کول | د پلیټ فارم سره مینه لرونکي ټیمونه | د خلاص + عملیاتو لګښت | د کار جریان معیاري کوي؛ د واورې ګلونو کم DAGs |
| د مصنوعي ذهانت په مرسته د اسنادو dbt اسنادو تولید | هغه ټیمونه چې د اسنادو لیکلو څخه کرکه لري | ارزانه تر منځنی | "کافي ښه" اسناد جوړوي ترڅو پوهه له منځه لاړه نشي |
| د اتومات حکومتدارۍ پالیسۍ د NIST د محرمیت چوکاټ | تنظیم شوي چاپیریالونه | انټرپرائز-y | د قوانینو پلي کولو کې مرسته کوي - مګر بیا هم انسانانو ته اړتیا لري چې قوانین ډیزاین کړي |
پام وکړئ چې څه ورک دي: یوه قطار چې وايي "د معلوماتو انجنیرانو لرې کولو لپاره تڼۍ فشار ورکړئ." هو ... دا قطار شتون نلري 🙃
نو ... ایا مصنوعي ذهانت به د معلوماتو انجینرانو ځای ونیسي، یا به یوازې رول بدل کړي؟ 🛠️
دلته غیر ډراماتیک ځواب دی: مصنوعي ذهانت به د کاري جریان برخې بدلې کړي، نه مسلک.
خو دا به رول بیا تنظیم کړي. او که تاسو دا له پامه وغورځوئ، نو تاسو به فشار احساس کړئ.
کوم بدلونونه راځي:
-
د بویلرپلیټ لیکلو لپاره لږ وخت
-
د اسنادو په لټون کې لږ وخت
-
د بیاکتنې، تایید او ډیزاین کولو لپاره ډیر وخت
-
د قراردادونو او کیفیت تمو تعریف کولو لپاره ډیر وخت د پرانیستې معلوماتو قرارداد معیار (ODCS)
-
د محصول، امنیت، مالي چارو سره ډیر وخت ملګرتیا
دا یو نازک بدلون دی: د معلوماتو انجینرۍ د "پایپ لاینونو جوړولو" په اړه لږ او د "د باور وړ معلوماتو محصول سیسټم جوړولو" په اړه ډیر کیږي
او په یوه ارامه بدلون کې، دا ډیر ارزښتناک دی، نه کم.
همدارنګه - او زه به دا ووایم حتی که دا ډراماتیک ښکاري - AI د هغو خلکو شمیر زیاتوي چې کولی شي د معلوماتو اثار تولید کړي، کوم چې د یو چا اړتیا زیاتوي چې ټول شی سم وساتي. ډیر محصول د ډیر احتمالي ګډوډۍ معنی لري. GitHub Copilot
دا داسې ده لکه هرچا ته د بریښنا ډرل ورکول. ښه! اوس یو څوک اړتیا لري چې "مهرباني وکړئ د اوبو پایپ کې ډرل مه کوئ" قانون پلي کړي 🪠
د مهارتونو نوی سټک چې ارزښتناک پاتې کیږي (حتی د AI سره هرچیرې) 🧠⚙️
که تاسو یو عملي "راتلونکی ثبوت" چک لیست غواړئ، نو دا داسې ښکاري:
د سیسټم ډیزاین ذهنیت
-
د معلوماتو ماډلینګ چې د بدلون څخه ژوندی پاتې کیږي
-
د بیچ په مقابل کې د سټریمینګ سوداګریزې معاملې
-
ځنډ، لګښت، او اعتبار په اړه فکر کول
د معلوماتو کیفیت انجینري
-
قراردادونه، تاییدونه، د بې نظمۍ کشف د پرانیستې معلوماتو قرارداد معیار (ODCS) د معلوماتو مشاهده (Dynatrace)
-
SLAs، SLOs، د پیښو غبرګون عادتونه
-
د ډسپلین سره د اصلي لامل تحلیل (نه د احساساتو سره)
د حکومتدارۍ او باور جوړښت
-
د لاسرسي نمونې
-
د پلټنې وړتیا NIST SP 800-92 (د لاګ مدیریت)
-
د ډیزاین له مخې محرمیت د NIST محرمیت چوکاټ
-
د معلوماتو د ژوند دورې مدیریت د ساتلو په اړه د اروپايي اتحادیې لارښود
د پلیټ فارم فکر کول
-
د بیا کارولو وړ ټیمپلیټونه، طلايي لارې
-
د Fivetran dbt معلوماتو ازموینې لپاره معیاري نمونې
-
د ځان خدمت کولو وسایل چې نه ویلې کیږي
اړیکه (هو، رښتیا)
-
د واضح اسنادو لیکل
-
د تعریفونو سمون
-
په ادب سره خو په ټینګه سره "نه" ویل
-
د روبوټ په څیر غږیدو پرته د سوداګرۍ تشریح کول 🤖
که تاسو دا کار کولی شئ، نو دا پوښتنه چې "ایا AI به د ډیټا انجینرانو ځای ونیسي؟" لږ ګواښونکې کیږي. AI ستاسو خارجي کنکال کیږي، نه ستاسو ځای ناستی.
حقیقي سناریوګانې چیرې چې د معلوماتو انجینرۍ ځینې رولونه کمیږي 📉
سمه ده، ژر تر ژره د واقعیت معاینه وکړئ، ځکه چې دا ټول لمر او ایموجي کنفټي نه دي 🎉
ځینې رولونه ډیر څرګند دي:
-
یوازې د مصرف کولو رولونه چیرې چې هرڅه معیاري نښلونکي دي د فایوټران نښلونکي
-
ټیمونه د لږترلږه ډومین نزاکت سره ډیری تکراري راپور ورکولو پایپ لاینونه کوي
-
هغه سازمانونه چیرې چې د معلوماتو انجینرۍ د "SQL بندرونو" په توګه چلند کیږي (سخت، مګر ریښتیا)
-
د ټیټ مالکیت دندې چیرې چې دنده یوازې ټکټونه او کاپي پیسټ وي
د مصنوعي ذهانت او مدیریت شوي وسایلو کارول کولی شي دا اړتیاوې کمې کړي.
خو هلته هم، بدیل معمولا داسې ښکاري:
-
لږ خلک چې ورته تکراري کار کوي
-
د پلیټ فارم مالکیت او اعتبار باندې ډیر ټینګار
-
د "یو کس کولی شي ډیرو پایپ لاینونو ملاتړ وکړي" په لور بدلون
نو هو - د سرشمېرنې نمونې بدلېدای شي. رولونه بدلېږي. سرلیکونه بدلېږي. دا برخه ریښتینې ده.
بیا هم، د رول لوړ مالکیت، لوړ باور نسخه پاتې ده.
د پای لنډیز 🧾✅
ایا مصنوعي ذهانت به د معلوماتو انجینرانو ځای ونیسي؟ نه په هغه پاک او بشپړ ډول چې خلک یې تصور کوي.
مصنوعي ذهانت به:
-
تکراري دندې اتومات کړئ
-
د کوډ کولو، ډیبګ کولو او اسنادو چټکول د SQL dbt اسنادو لپاره GitHub Copilot
-
د پایپ لاینونو د تولید لګښت کم کړئ
خو د معلوماتو انجینري په بنسټیز ډول د دې په اړه ده:
-
مسؤلیت
-
د سیسټم ډیزاین
-
باور، کیفیت، او حکومتداري د پرانیستې معلوماتو قرارداد معیار (ODCS) د NIST محرمیت چوکاټ
-
د سوداګرۍ ناڅرګند واقعیت د باور وړ معلوماتو محصولاتو ته ژباړل
مصنوعي ذهانت کولی شي پدې کې مرسته وکړي ... مګر دا "مالک" نه دی.
که تاسو د معلوماتو انجینر یاست، نو دا حرکت ساده دی (اسانه نه، مګر ساده دی):
مالکیت، کیفیت، پلیټ فارم فکر، او اړیکو ته تکیه وکړئ. اجازه راکړئ چې AI د بویلر پلیټ اداره کړي پداسې حال کې چې تاسو هغه برخې اداره کوئ چې مهم دي.
او هو - ځینې وختونه دا پدې مانا ده چې په خونه کې لوی شوی کس اوسئ. ښکلی نه دی. که څه هم خاموشه ځواکمن 😄
ایا مصنوعي ذهانت به د معلوماتو انجینرانو ځای ونیسي؟
دا به ځینې دندې بدلې کړي، زینه به بدله کړي، او غوره معلوماتي انجینران به نور هم ارزښتناک کړي. دا اصلي کیسه ده.
د حقیقي نړۍ مثال: د مصنوعي ذهانت په مرسته د معلوماتو پایپ لاین بیاکتنې کاري فلو جوړول 🛠️
سناریو
د یوې کوچنۍ ای کامرس شرکت تصور وکړئ چې یو ډیټا انجینر، دوه شنونکي، او یوه ډیره پیژندل شوې ستونزه لري: د مالي ډشبورډ ماتیدل دوام لري کله چې د تادیاتو چمتو کونکی د ساحې نوم بدلوي.
ټیم نه غواړي چې مصنوعي ذهانت د پایپ لاین "مالک" شي. دا به خطرناک وي. پرځای یې، دوی د معمول مګر مهم کار لپاره د مصنوعي ذهانت د لومړي مسودې مرستیال په توګه کاروي: د dbt ماډل کنکال لیکل، د ازموینو وړاندیز کول، د اسنادو مسوده کول، او د کوډ بیاکتنې لپاره د چک لیست جوړول.
د انسان د معلوماتو انجینر لاهم د وروستي ډیزاین، د معلوماتو تعریفونو، د لاسرسي قواعدو، او د تولید ځای پرځای کولو مالکیت لري. AI په ساده ډول د پیچلي منځنۍ برخې سرعت زیاتوي.
د کار جریان څه ته اړتیا لري
د مصنوعي ذهانت کارولو دمخه، ټیم ورته کافي شرایط ورکوي چې ګټور وي:
-
د موجوده تادیاتو جدول سکیما
-
د هدف مالي میټریک تعریفونه، لکه "خالص عاید"، "د بیرته ورکولو اندازه"، او "منظم تادیه"
-
د dbt ماډلونو لپاره د نوم ورکولو کنوانسیونونه
-
د منظور شویو ازموینو مثالونه
-
د تادیاتو فیډ لپاره د معلوماتو لنډ قرارداد
-
د PII، ناکامه تادیاتو، نقلونو، او ناوخته رسیدونکو ریکارډونو د اداره کولو لپاره قواعد
-
د تیرو پیښو یوه نمونه، پشمول د هغه څه چې غلط شوي او څنګه حل شوي
مهمه خبره دا نه ده چې "له مصنوعي ذهانت څخه وغواړئ چې پایپ لاین جوړ کړي". دا ډیره مبهم ده.
قوي تګلاره دا ده: "دلته زموږ قوانین دي، دلته سکیما ده، دلته تمه کیدونکی چلند دی. یو څه مسوده کړئ چې موږ یې بیاکتنه کولی شو."
د لارښوونې بېلګه
تاسو زموږ د تادیاتو معلوماتو لپاره د dbt ماډل په مسوده کې مرسته کوئ. د لومړي پاس ماډل، وړاندیز شوي dbt ازموینې، او د اسنادو یادښتونو جوړولو لپاره لاندې سکیما او قواعد وکاروئ.
ماډل باید د ورځني تصفیه شوي عاید محاسبه د order_id او payment_provider لخوا وکړي. ناکامه تادیات خارج کړئ، د ازموینې معاملې خارج کړئ، او بیرته پیسې یوازې هغه وخت کم کړئ کله چې refund_status = "تایید شوی" وي.
ستنې مه ایجادوئ. که چیرې یو اړین ستون ورک وي، نو د اټکل کولو پرځای یې د "انساني بیاکتنې لپاره پوښتنې" لاندې لیست کړئ.
همدارنګه د انفرادیت، بې ارزښته ارزښتونو، منل شویو ارزښتونو، او د عوایدو معقولیت لپاره ازموینې وړاندیز کړئ. هر هغه منطق په نښه کړئ چې کولی شي د مالي راپور ورکولو اغیزه وکړي.
څنګه یې ازموینه وکړو
یوه معقوله ازموینه کوچنۍ او په قصدي ډول عادي ده:
-
AI ته د تادیې یوه پیژندل شوې ښه سکیما ورکړئ او وګورئ چې ایا دا د ایجاد ساحو څخه مخنیوی کوي.
-
د ورک شوي refund_status کالم سره یو سکیما ورکړئ او وګورئ چې ایا دا د اټکل کولو پرځای پوښتنه کوي.
-
تولید شوی SQL د سټیجینګ ډیټاسیټ په وړاندې چل کړئ، نه د تولید په وړاندې.
-
محصول د 20 لاسي چک شوي تادیاتو ریکارډونو سره پرتله کړئ.
-
له شنونکي او د معلوماتو انجینر څخه وغواړئ چې د یوځای کولو دمخه تعریفونه بیاکتنه وکړي.
-
منل شوي ازموینې CI ته اضافه کړئ ترڅو پایپ لاین د ځای پرځای کولو وروسته ځان معاینه کړي.
مهمه خبره دا ده چې د AI ازموینه په هغه ناکامۍ حالتونو کې وکړئ چې تاسو یې خورا ویره لرئ: جوړ شوي کالمونه، د عوایدو غلط منطق، د بیرته ورکولو اداره کول ورک شوي، او خاموش نقل قطارونه.
پایله
د مثال په توګه پایله: د دې کاري فلو کارولو دمخه او وروسته د پایپ لاین بدلون درې نمونې دندې د وخت پراساس.
د مصنوعي ذهانت کارولو دمخه، انجینر په هر بدلون کې شاوخوا ۵ ساعته او ۳۰ دقیقې مصرف کړې: نږدې ۲ ساعته د SQL لیکلو، ۱ ساعت د ازموینو جوړولو، ۴۵ دقیقې د اسنادو لیکلو، او پاتې نور یې د مالي چارو سره د ایج کیسونو چک کولو لپاره.
د مصنوعي ذهانت سره چې یوازې د لومړیو مسودو لپاره کارول کیده، ورته بدلون شاوخوا 2 ساعته 10 دقیقې وخت ونیو. ترټولو لویه سپما د ازموینې سکافولډینګ او د اسنادو مسودو څخه راغله، کوم چې د 1 ساعت 45 دقیقو څخه شاوخوا 25 دقیقو ته راټیټ شو.
د انسان بیاکتنې مرحله لاهم شاوخوا 45 دقیقې وخت نیسي، او دا باید لرې نشي.
په درې کاري ازموینې کې، مصنوعي ذهانت ۱۸ چکونه وړاندیز کړل. انجینر ۱۱ یې ومنل، ۵ یې ایډیټ کړل او ۲ یې رد کړل ځکه چې دوی د سوداګرۍ قوانین داسې ګڼلي چې ریښتیا نه وو. د ردولو دا شمېره مهمه ده: دا ثابتوي چې د کار جریان بیاکتنې ته اړتیا لري، نه ړوند باور ته.
څه شی غلط کیدی شي؟
مصنوعي ذهانت کولی شي پایپ لاین د هغه په پرتله ډیر بشپړ ښکاره کړي.
د ناکامۍ عامې نښې عبارت دي له:
-
د هغو ستنو اختراع کول چې د باور وړ ښکاري
-
بیرته ستنیدل، چارج بیکونه، او ناکامه تادیات د ورته شی په توګه ګڼل
-
په ورځني عاید کې د وخت زون ستونزې نشته
-
د عمومي ازموینو وړاندیز کول چې مالي غلطۍ ونه نیسي
-
د اسنادو لیکل چې ډاډمن ښکاري مګر ناڅرګندتیا پټوي
-
کله چې د نمونې معلومات د پیرودونکي توضیحات ولري د محرمیت قواعد هیرول
یو ښه قاعده: مصنوعي ذهانت کولی شي ماډل مسوده کړي، مګر یو انسان باید په تعریفونو، د پیسو منطق، د لاسرسي کنټرول، او د تولید خپرولو باندې لاسلیک وکړي.
عملي لاره
د معلوماتو انجینرۍ کې د مصنوعي ذهانت ارزښتناکه نسخه "د معلوماتو انجینر بدلول" نه دي. دا "خالي پاڼه لرې کړئ، بیا په کلکه بیاکتنه وکړئ" ده.
دا پدې مانا ده چې ګړندی SQL، ګړندی ازموینې، او غوره لومړی پاس اسناد، پداسې حال کې چې انجینر لاهم هغه برخه لري چې خورا مهم ده: ایا معلومات سم، باوري، خوندي، او د تشریح وړ دي.
پرله پسې پوښتنې
ایا مصنوعي ذهانت به په بشپړ ډول د معلوماتو انجنیرانو ځای ونیسي؟
په ډیری سازمانونو کې، AI ډیر احتمال لري چې ځانګړي دندې په غاړه واخلي پرځای یې رول په بشپړ ډول له مینځه یوسي. دا کولی شي د SQL مسوده، د پایپ لاین سکیفولډینګ، د اسنادو لومړی پاسونه، او د اساسي ازموینې رامینځته کول ګړندي کړي. مګر د معلوماتو انجینرۍ مالکیت او حساب ورکونه هم لري، او همدارنګه د ګډوډ سوداګرۍ واقعیت رامینځته کولو غیر زړه راښکونکی کار د یو باوري سیسټم په څیر چلند کوي. دا برخې لاهم انسانانو ته اړتیا لري ترڅو پریکړه وکړي چې "سم" څه ښکاري او کله چې شیان مات شي مسؤلیت په غاړه واخلي.
د معلوماتو انجینرۍ کومې برخې دمخه مصنوعي ذهانت اتومات کوي؟
مصنوعي ذهانت د تکرار وړ کار په برخه کې غوره فعالیت کوي: د SQL مسوده او بیا فکتور کول، د dbt ماډل کنکالونو تولید، د عامو غلطیو تشریح کول، او د اسنادو خاکې تولیدول. دا کولی شي د خالي یا انفرادیت چیکونو په څیر ازموینې هم رامینځته کړي او د تنظیم کولو وسیلو لپاره د ټیمپلیټ "ګلو" کوډ تولید کړي. بریا د حرکت ده - تاسو د کاري حل ته نږدې پیل کوئ - مګر تاسو لاهم اړتیا لرئ چې سموالی تایید کړئ او ډاډ ترلاسه کړئ چې دا ستاسو چاپیریال سره سمون لري.
که چیرې مصنوعي ذهانت SQL او پایپ لاینونه لیکلی شي، نو د معلوماتو انجینرانو لپاره څه پاتې دي؟
ډېر څه: د معلوماتو قراردادونه تعریفول، د سکیما ډرافټ اداره کول، او ډاډ ترلاسه کول چې پایپ لاینونه بې کفایته، د لیدلو وړ، او د بیرته راګرځیدو وړ دي. د معلوماتو انجنیران د میټریک بدلونونو په څېړلو، د ښکته جریان کاروونکو لپاره د ساتونکو پټلۍ جوړولو، او د لګښت او اعتبار د تبادلې اداره کولو کې وخت تیروي. دنده ډیری وخت د باور رامینځته کولو او د معلوماتو پلیټ فارم "خاموش" ساتلو پورې اړه لري، پدې معنی چې دومره باثباته وي چې هیڅوک یې هره ورځ فکر کولو ته اړتیا نلري.
مصنوعي ذهانت د معلوماتو انجینر ورځني کار څنګه بدلوي؟
دا معمولا د بویلر پلیټ او "د لټون وخت" کموي، نو تاسو لږ وخت په ټایپ کولو او ډیر وخت په بیاکتنه، تایید او ډیزاین کولو مصرف کوئ. دا بدلون د هرڅه په لاسي کوډ کولو پرځای د تمو، کیفیت معیارونو او بیا کارونې وړ نمونو تعریف کولو رول ته هڅوي. په عمل کې، تاسو به احتمال د محصول، امنیت، او مالي چارو سره ډیر ملګرتیا کار وکړئ - ځکه چې تخنیکي محصول رامینځته کول اسانه کیږي، مګر اداره کول یې سخت کیږي.
ولې مصنوعي ذهانت د "فعال کاروونکي" په څیر د مبهم سوداګریز تعریفونو سره مبارزه کوي؟
ځکه چې د سوداګرۍ منطق جامد یا دقیق نه دی - دا د پروژې په مینځ کې بدلون مومي او د برخه اخیستونکي لخوا توپیر لري. AI کولی شي تفسیر مسوده کړي، مګر دا نشي کولی پریکړه وکړي کله چې تعریفونه رامینځته شي یا په سطحه کې شخړې رامینځته شي. د معلوماتو انجینرۍ ډیری وختونه خبرو اترو، د انګیرنو مستند کولو، او د دوامداره قراردادونو کې د مبهم اړتیاو بدلولو ته اړتیا لري. دا "انساني سمون" کار یو اصلي دلیل دی چې رول له لاسه نه ورکوي حتی که اوزار ښه شي.
آیا مصنوعي ذهانت کولی شي د معلوماتو حکومتولۍ، محرمیت او اطاعت کار په خوندي ډول ترسره کړي؟
مصنوعي ذهانت کولی شي د پالیسیو په مسوده کې مرسته وکړي یا طریقې وړاندیز کړي، مګر خوندي پلي کول لاهم ریښتینې انجینرۍ او محتاط نظارت ته اړتیا لري. حکومتداري د لاسرسي کنټرولونه، د PII اداره کول، د ساتلو قواعد، د پلټنې لارې، او ځینې وختونه د استوګنې محدودیتونه شامل دي. دا د لوړ خطر ساحې دي چیرې چې "تقریبا سم" د منلو وړ ندي. انسانان باید قواعد ډیزاین کړي، پلي کول تایید کړي، او د اطاعت پایلو لپاره مسؤل پاتې شي.
د مصنوعي ذهانت د ښه کېدو سره، د معلوماتو انجینرانو لپاره کوم مهارتونه ارزښتناک پاتې کیږي؟
هغه مهارتونه چې سیسټمونه انعطاف منونکي کوي: د سیسټم ډیزاین فکر کول، د معلوماتو کیفیت انجینري، او د پلیټ فارم ذهنیت معیاري کول. قراردادونه، مشاهده، د پیښو غبرګون عادتونه، او منظم اصلي لامل تحلیل نور هم مهم کیږي کله چې ډیر خلک کولی شي د معلوماتو اثار په چټکۍ سره تولید کړي. اړیکه هم یو توپیر کونکی کیږي - د تعریفونو سمون، د واضح اسنادو لیکل، او د ډرامې پرته د سوداګرۍ تشریح کول د معلوماتو باوري ساتلو یوه لویه برخه ده.
د معلوماتو انجینرۍ کوم رولونه د مصنوعي ذهانت او مدیریت شوي وسیلو له امله تر ټولو ډیر له خطر سره مخ دي؟
هغه رولونه چې په تدریجي ډول په تکراري داخلیدو یا معیاري راپور ورکولو پایپ لاینونو تمرکز کوي ډیر څرګند دي، په ځانګړي توګه کله چې اداره شوي ELT نښلونکي ډیری سرچینې پوښي. د ټیټ مالکیت، ټکټ پرمخ وړل شوي کار کولی شي کم شي ځکه چې AI او تجرید د هر پایپ لاین هڅې کموي. مګر دا معمولا داسې ښکاري چې لږ خلک تکراري دندې ترسره کوي، نه "د معلوماتو انجنیران نشته." د اعتبار، کیفیت او باور په مرکز کې د لوړ مالکیت رولونه دوامدار پاتې کیږي.
څنګه باید د ګیټ هب کوپائلټ یا ډي بي ټي په څیر وسایل د مصنوعي ذهانت سره وکاروم پرته له دې چې ګډوډي رامینځته کړم؟
د مصنوعي ذهانت محصول د یوې مسودې په توګه وګڼئ، نه د پریکړې په توګه. د پوښتنو د جوړښتونو د جوړولو، د لوستلو وړتیا ښه کولو، یا د ډی بی ټي ازموینو او اسنادو د جوړولو لپاره یې وکاروئ، بیا د اصلي معلوماتو او څنډې قضیو په وړاندې تایید کړئ. دا د قوي کنوانسیونونو سره یوځای کړئ: قراردادونه، د نوم ورکولو معیارونه، د مشاهدې چکونه، او د بیاکتنې طریقې. هدف د اعتبار، لګښت کنټرول، یا حکومتدارۍ قرباني کولو پرته ګړندی تحویلي ده.
ماخذونه
-
اروپايي کمیسیون - د معلوماتو خوندیتوب تشریح شوی: د GDPR اصول - commission.europa.eu
-
د معلوماتو کمشنر دفتر (ICO) - د ذخیره کولو محدودیت - ico.org.uk
-
اروپايي کمیسیون - معلومات څومره وخت لپاره ساتل کیدی شي او ایا دا اړینه ده چې تازه شي؟ - commission.europa.eu
-
د معیارونو او ټیکنالوژۍ ملي انسټیټیوټ (NIST) - د محرمیت چوکاټ - nist.gov
-
د NIST کمپیوټر امنیت سرچینې مرکز (CSRC) - SP 800-92: د کمپیوټر امنیت لاګ مدیریت لارښود - csrc.nist.gov
-
د انټرنیټ امنیت مرکز (CIS) - د پلټنې لاګ مدیریت (CIS کنټرولونه) - cisecurity.org
-
د واورې ټوټې اسناد - د قطار لاسرسي پالیسۍ - docs.snowflake.com
-
د ګوګل کلاوډ اسناد - د BigQuery قطار کچې امنیت - docs.cloud.google.com
-
BITOL - د پرانیستې معلوماتو قرارداد معیار (ODCS) v3.1.0 - bitol-io.github.io
-
BITOL (GitHub) - د پرانیستې معلوماتو قرارداد معیار - github.com
-
د اپاچي هوا جریان - اسناد (مستحکم) - airflow.apache.org
-
د اپاچي هوا جریان - DAGs (اصلي مفاهیم) - airflow.apache.org
-
د dbt لابراتوار اسناد - dbt څه شی دی؟ - docs.getdbt.com
-
د dbt لابراتوار اسناد - د dbt ماډلونو په اړه - docs.getdbt.com
-
د dbt لابراتوار اسناد - اسناد - docs.getdbt.com
-
د dbt لابراتوار اسناد - د معلوماتو ازموینې - docs.getdbt.com
-
د dbt لابراتوار اسناد - dbt سیمانټیک پرت - docs.getdbt.com
-
د فایوټران اسناد - پیل کول - fivetran.com
-
فائیوټران - نښلونکي - fivetran.com
-
د AWS اسناد - د AWS لامبډا پراختیا کونکي لارښود - docs.aws.amazon.com
-
ګیټ هب - ګیټ هب کوپائلټ - github.com
-
د GitHub Docs - د GitHub Copilot سره ستاسو په IDE کې د کوډ وړاندیزونه ترلاسه کول - docs.github.com
-
مایکروسافټ زده کړه - د SQL لپاره GitHub Copilot (د VS کوډ توسیع) - learn.microsoft.com
-
د ډایناتریس اسناد - د معلوماتو د څارنې وړتیا - docs.dynatrace.com
-
ډیټا ګیلیکسي - د معلوماتو مشاهده څه شی دی؟ - datagalaxy.com
-
د لویو تمو اسناد - د تمو لنډه کتنه - docs.greatexpectations.io