پڕۆفیسۆر گاری ماركۆس، زانایەكی دەروونناس و شارەزای هزری مرۆڤ (cognitive scientist)ـەو نووسەرێكی ئەمریكییە، كە بە توێژینەوەكانی لەسەر یەكتربڕینی دەروونناسیی هزری، زانستی دەمارەكان و زیرەكیی دەستكرد ناسراوە. ئەو مامۆستای فەخرییە لە زانكۆی نیویۆرك لە بوارەكانی دەروونناسی و زانستی دەمارەكان. لە ساڵی 2014 لەگەڵ چەند زانای دیكە كۆمپانیای «زیرەكی ئەندازەیی - Geometric Intelligence «یان دامەزراند و كاریان لەسەر پەرەپێدانی تەكنیكی نوێی زیرەكیی دەستكرد و فێربوونی ئامێر دەكرد. هەوڵیان دەدا ڕێگەی جیاواز و باشتر بدۆزنەوە بۆ ئەوەی كۆمپیوتەر فێر بێت و زیرەكتر بێت. بەم دواییانە لەبەر ڕۆشنایی ئەو مەترسیانەی كە ساڵی 2024 لە كۆنفڕانسی «بلاك هات» سەبارەت بە ئاسایشی كۆمپیتوتەر، توێژینەوەیەكی زانستی لەسەر مەترسییەكانی «كرداركارانی كۆد- coding agents» پێشكەش كرد. بۆ قسەكردن لەسەر ئەو مەترسییە گەورانەی كە دەبنە هەڕەشە لەسەر ژێرخانی حكومەتی ئەلیكترۆنی و ژێرخانی دیجیتاڵی، ئەم دیمانە تایبەتەمان لەگەڵ ئەنجامدا.

 

* ماوەیەكی زۆرە لەسەر مەترسییەكانی مۆدیلە زمانییە گەورەكان (LLMs) هۆشداری دەدەیت، بەتایبەتی كە ناتوانرێت متمانەیان پێبكرێت، لە تازەترین وتارتدا زۆر جەخت كردووەتەوە لەسەر مۆدێلێكی دیكەی زیرەكیی دەستكرد (coding agents) كە دەتوانێت كۆد بنووسێت، كۆد چاك بكاتەوە، هەڵەكان بدۆزێتەوە، ئەمەش وەك ئاماژەت پێكردووە، مەترسییەكانی زیرەكیی دەستكرد دەباتە ئاستێكی دیكە. بۆچی ئەم مۆدێلە (coding agents) بە مەترسیدارتر دەبینیت لە چات بۆتەكان(Chatbots)؟

- ئەم مۆدێلە (coding agent) هێزێكی زیاتر و مەترسیی زیاتر بە دوای خۆیدا دەهێنێت و، ئەوەی ئێمەی نیگەران كردووە پەرەپێدەرانی سۆفتوێر ئێستا ئەم مۆدێلە بەكار دەهێنن كە دەسەڵاتێكی زۆر فراوانی هەیە و دەستیشی بە ئامرازی زۆر ئاست بەرز ڕادەگات كە بۆشایی ئەمنی زۆر گەورە دروست دەكات. لە كۆنفڕانسی بلاك بۆ ئاسایشی كۆمپیوتەر «بیكا لینچ»ی توێژەر، لەسەر هێرشی سایبەری وتارێكی بە ناونیشانی «فێركاری دوژمنكارانەی ئامێرەكان - adversarial machine learning» پێشكەش كرد، هەروەها «ڕیچ هانگەر» ئەندازیاری ئاسایشی كۆمپیوتەر لە نیڤادا، ئەویش وتارێكی بە ناونیشانی «ئاسایشی كرداریی LLM: وانە وەرگیراوەكان لە ساڵێك خزمەتكردن- Practical LLM Security: Takeaways From a Year in the Trenches» پێشكەش كرد و هەردووكیان لەو مەترسییە گەورانە ئاگاداریان كردینەوە كە لە داهاتوودا ڕووبەڕوومان دەبێتەوە. وانەیەكی تایبەت سەبارەت بەوەی لەسەر شێواز و چۆنیەتی هێرشبەران گۆڕانكاری لە «prompt injection»بكەن و بچنە ناو كۆد دروستكەرەوە «پرۆمپت ئینجێكشن» كە جۆریكە لە هێرشی ئەمنی و تێیدا هێرشبەرەكە هەوڵ دەدات، كۆنتڕۆڵی سیستەمێكی زیرەكیی دەستكرد بەتایبەتی «مۆدێلی زمانی گەورەكان- LLMs» بكات بە دانانی فەرمان، یان ڕێنمایی زیانبەخش لەناو «پرۆمپت»ـی ئاساییدا، ئەمەش وای لێدەكات، مۆدێلەكە ئەو كارە خراپە ئەنجام بدات، بە بێ ئەوەی بەكارهێنەری سەرەكی ئاگادار بێت، ئەمەش بۆشایی گەورەی ئەمنی دروست دەكات كە وەك شرۆڤەكارانی مۆدێلی زمانییە گەورەكان LLMSی پشتبەستوو بە كۆددروستكەر «coding agent» ئاماژەیان پێكردووە و ئەمانەش جۆرێكن لە مۆدێلە زمانییە گەورەكان، یان سیستمی زیرەكیی دەستكرد كە زۆر بەتایبەتی دیزاین كراون بۆ یارمەتیدانی پەرەپێدان لەكاری كۆد «coding» كە دەتوانن « كۆد بنووسن، كۆد چاك بكەنەوە، هەڵەكان بدۆزنەوە، كۆد بگۆڕن، یان تەنانەت پلانی گەشەپێدانی پڕۆژەیەكی سۆفتوێر دابنێن. بەمەش دەتوانن بگەنە سەرچاوە گشتییەكانی پلاتفۆڕمی «Gihub» كە پلاتفۆڕمێكی گەورەی سەر هێڵەكانی پەرەپێدانی سۆفتوێرە و بەكار دەهێنرێت بۆ هەڵگرتن، بەرێوەبردن و هاوكاریكردن لەسەر پڕۆژە كۆدییەكان، ئەمەش وەك گرووپێكی گەورەی كۆدی بەرنامەسازییەكە تیایدا دەتوانن كۆدەكانی خۆیانی تێدا بپارێزین، بەڵام هێرشبەرانی سایبەری دەتوانن ئەم بۆشاییانە بقۆزنەوە لەناو ئەم سیستمە كۆمەڵێك ڕێنمایی زیانبەخش بشارێتەوە بۆ فریودانی پەرەپێدەرانی سۆفتوێر بە مەبەستی فێڵكردن لە پڕۆژەكانی كۆدنووسین و جێبەجێكردنی كاری دوژمنكارانە لەسەر سیستمی پەرەپێدەرەكە، هەر شتێكیش بچێتە ناو ئەو سیستمە، كێشەیەكی گەورە دروست دەكات.

* لە وتارەكەدا باس لەوە دەكەیت چۆن مۆدێلی كرداركارانی كۆدنووس «coding agent» توانای گەڕان و كۆكردنەوەی زانیارییان لە مۆدێلەكانی وەك LLMs هەیە و دەتوانن بنكە داتاكانی ئینتەرنێت دابنن و تەنانەت توانای ئەوەشیان هەیە ئەو داتایانەش كۆبكەنەوە كە زۆر بە تەواوی لێی تێناگەن، بێگومان ئەمەش وا دەردەكەوێت كە كرۆكی كێشەكەیە، ئایا دەكرێت ئەوەمان بۆ ڕوون بكەیتەوە، مەبەست لەم پرسە چییە؟ چی وادەكات كە ئەم پێشبینیكردنە ئەوەندە مەترسیدار بێت و بۆچی پێتوایە جۆرێكی نوێی مەترسیی ئەمنی لە بنەڕەتدا دروست دەكات؟

- هەتا ئەو كاتەی كرداركارانی «agent» ئەلیكترۆنی بەدوای كۆكردنەوەی زانیاری بگەڕێن لە ناو ئەنتەرنێت و ئەو زانیارییانەی بە تەواوی لێی تێناگەن و لەگەڵ بەرنامەكان تێكەڵاوی بكەن، ئەوا مۆدێلە زمانییە گەورەكان «LLMs» هەرگیز بەتەواوی لەو داتایە تێناگەن كە دووبارە بەكاری دەهێننەوە، ئەمەش مەترسیەكی زۆر گەورە دروست دەكات. هەروەها «كرداركارانی كۆدنووسی پێشكەوتوو - Fancier coding agents» كە زۆر بە خێرایی دەبنە شتێكی باو، زۆر زۆر بەهێز دەبن و كاتێكی زۆر دەگێڕینەوە و دەستی پەرەپێدەرانی سۆفتوێر بەتاڵ دەبێت، بۆ ئەوەی دەست بە ئەنجامدانی كاری دیكە بكەن، ئەم جۆرە نوێیە تەنیا كاری تەواوكردنی پارچە كۆد (autocomplete) ناكەن، كە شتێكی سەرەتاییە، بەڵكو كاری زۆر قورس ئەنجام دەدەن، وەك «هەڵبژاردنی بەرنامەی كار (frameworks) و دەتوانن بۆ پڕۆژەیەك باشترین بەرنامەی كاری گونجاو هەڵبژێرن، سێتەپكردنی پاكێجی سۆفتوێرەكان و چاككردنەوەی هەڵەكان و نووسینی هەموو پڕۆگرامەكان، بۆیە زۆر قورسە نەكەوینە ژێر كاریگەریی ڕاكێشانی ئەم مۆدێلە تازەیەوە. هەر وەك لە كۆنفڕانسی «بلاك هات» لە نیڤادا ئاماژەی پێكراوە، ئەم كرداركارانە «agent» زۆر پێشكەوتوون و لە ئاستێكی كاریگەر كاران، كە ئەمە دەبێتە هۆكاری ئەوەی كە زۆرجار « نەك هەموو كات» پڕۆژەی كۆدكردن ئاسان دەكەن و لە هەمان كاتیشدا مەترسییەكانیش زیاد دەكەن، ئەمەش لەبەر ئەوەیە ئەو كرداركارانە «agents» بە شێوەیەكی ئۆتۆماتیكی بەبێ دەستتێوەردانی بەكارهێنەر كارەكانی خۆیان دەكەن، وەك «داگرتنی فایلەكان، جێبەجێكردنی كۆدەكان، بەڕێوەبردنی فەرمانەكان، ئەمەش مانای ئەوەیە، بەرزبوونەوەی ئاستی پرۆسێسەكە لەگەڵ ئاسانبوونی یاریكردن بە پڕۆگرامەكانی سۆفتوێری مۆدێلە زمانییە گەورەكان LLMs دەبێتە ڕێگەیەكی زۆر كاریگەر بۆ دروستكردنی ئاژاوە و سەر لێتێكچوون.

* باست لە ئامانجی باڵای هێرشەكان كرد، كە ئەویش جێبەجێكردنی كۆدی دوورەدەستە «Remote Code Execution» ئەمەش بەو مانایەی هێرشبەر بەبێ ئەوەی لەسەر ئامێرەكەش بێت، دەتوانێت كۆنتڕۆڵی تەواوی سیستەمێك بكات، هەروەك چۆن لە دوورەوە بە «ڕیمۆت كۆنتڕۆڵ» بەرنامەی تەلەفزیۆنێك دەگۆڕێت، بۆ ئەوانەی كە لە بواری ئای تی وەك پێویست شارەزا نین، ئایا دەكرێت شرۆڤەی ئەوە بكەیت، هێرشێكی لەمجۆرە چ كارەساتێك بەدوای خۆیدا دەهێنت؟ بۆچی ئەمە بە خراپترین سنیاریۆی هەڕەشە و مەترسی لەسەر زیرەكیی دەستكرد دادەنرێت؟

- كێشەی هەرە سەرەكی لە هەموو ئەم هێرشانە لەبواری كاردا پێی دەگوترێت «جێبەجێكردنی فەرمان لە دوورەوە - RCE»، ئەوەیە هێرشبەرەكە دەتوانێت بە تەواوەتی كۆنتڕۆڵی سیستمەكە بكات، هەر بۆ نموونە دەتوانێت هەر فایلێك بسڕێتەوە، یان بیگۆڕێت و هەر داتایەك بدزێت، یان دایبگرێت، بە تەواوی چاودێری هەموو چالاكییەكانی سیستەمەكەت دەكات. دەكرێت بەشێك بێت لە تۆڕێكی هێرشی گەورەتر (بۆ نموونە، بەكارهێنانی سیستەمەكەت بۆ هێرشكردنە سەر كەسانی دیكە)، هەروەها  پڕۆگرامی زیانبەخش دابمەزرێنێت، وەك ڤایرۆسی (WannaCry) كە دەتوانێت هەموو پەڕگە و زانیارییەكانی سەر ئامێرەكە بلۆك بكات، یان پەیامێك لەسەر شاشەی كۆمپیوتەرەكە دەردەكەوێت، داوای پارەیەكی زۆر دەكات «پارەی دیجیتاڵی وەك بیتكۆین» بۆ ئەوەی زانیارییەكانت بۆ بگێڕێتەوە و ئەگەر پارەكە نەدرێت، بۆ هەتا هەتایە زانیارییەكان نادرێنەوە، یان دەسڕێنەوە، كە بووە هۆكاری ئەوەی كارەسات بەسەر هەموو سیستمەكانی كۆمپیۆتەری جیهانی بهێنێت، تەنانەت سیستەمەكانی كەرتی تایبەتی كردەوە وەك كۆمپانیای فیدێكس «FedEX» كە یەكێكە لە كۆمپانیا گەورەكانی جیهان بۆ گواستنەوەی كاڵا و هەروەها دامەزراوەی خزمەتگوزاریی تەندروستیی بەریتانیا « UKs National Health Service» كە سیستەمی كۆمپیوتەری زۆر فراوان و ئاڵۆزیان هەیە، دەتوانن ببنە قوربانی هێرشە گەورەكانی ڤایرۆسی WannaCry، كە زیانەكان لەم هێرشە بە چوار ملیار دۆلار لەسەر ئاستی جیهان مەزندە كراوە و، نەخۆشخانە زیان لێكەوتوەكان نەیانتوانی چارەسەری نەخۆشەكانیان بكەن، هەر بۆیە ئەگەر بۆ یەكجاریش بە ڕێگەی دوورە دەست كۆد بەسەر سیتمەكە جێبەجێ بكرێت «remote code execution»، ئەوا وەك گەمەكە كۆتایی دێت و لەوانەیە بۆ هەتا هەتایە دەست بەسەر تەواوی زانیاری و پەڕگەكانی سیستمەكەدا بگیرێت، ئەمەش زیانێكە بە ئەستەم قەرەبوو دەكرێتەوە.

* لە وتارەكەتدا ئاماژەت بەوە كردووە كە ئەو هێرشانەی لە كۆنفڕانسی بلاك هات بۆ ئاسایشی كۆمپیوتەر لە نیڤادە ئاشكرا كران بە بنەڕەتدا «هێرشی بێ كۆتایین». ئایا دەتوانیت تیشكی زیاتر بخەیتە سەر ئەم خاڵە؟ مەبەستت لەوە چی بوو كە دەڵێیت: «ئەگەر هێرشبەرەكە بەهەر ڕێگەیەك زانیاریی دەستكرد بخەنە ناو سیستمی AIG زیرەكیی دەستكرد» ئەوا ناتوانین متمانە بەهیچ لەو ئاكامانە بكەین كە ئەو سیستمە پێمان دەڵێت، ئایا بەڕاستی ئەم كێشەیە ئەوەندە گەورەیە؟

- ئەوەی لە كۆنفڕانسی بلاك هات بۆ ئاسایشی كۆمپیۆتەر لە نیڤادا ترساندمی، ئەوە بوو كە توێژەران ئەوەیان خستەڕوو ئەو ڕێگایانەی هەموو كارەساتە نەرێنییەكان بەدوای خۆیدا دەهێنێت، هەمووی بە ڕێگەی جێبەجێكردنی كۆدە لەناو سیستمەكە كە لە دوورەوە «RCE» دەكرێت. بە درێژای ئەو كۆنفڕانسە تەنیا لەسەر ئەم خاڵە «RCE» جەخت كرایەوە، جەخت لەسەر گەورەیی و بێ سنووریی مەترسییەكانی دەستكاریكردنی زیرەكیی دەستكردی «AIG» كرانەوە، بەتایبەتی ئەوانەی كە پشت بە مۆدێلی زمانی گەورە (LLM) دەبەستن، ئەمە واتای ئەوەیە هێرشبەران دەتوانن بە ڕێگەی زۆر و جۆراوجۆر، كە لەوانەیە ئێستا نەزانراو بن، هێرش ئەنجام بدەن. خاڵی سەرەكی و مەترسیدار لێرەدا ئەوەیە كە ئەگەر هێرشبەر بتوانێت بە هەر ڕێگەیەك زانیارییەكی زیانبەخش بخاتە ناو سیستەمی زیرەكی دەستكردەوە (نەك تەنیا لە ڕێگەی فەرمانی ڕاستەوخۆوە)، ئەوا ناتوانین متمانە بەوە بكەین كە سیستەمەكە دەریدەهێنێت. ئەو نموونە جۆراوجۆرانەی دەیهێنێتەوە (وەڵامی ساختە، پاكێجی ساختە، زانیاریی ساختە لە پەڕگە ساختەكان، زانیاریی ژەهراویكراو لە بنكە داتاكان، وەڵامدانەوەی دروستكراو بە پاڵپشتیی زانیاریی دۆزراوە- RAG) نیشانی دەدەن كە ئەم ڕێگایانە زۆر فراوانن و تەنیا سنووردار نین بە گۆشەیەكی دیاریكراو. بۆیە ناتوانین متمانە بەو ئاكامانە بكەین، كە ئەپڵیكەیشنەكانی زیرەكیی دەستكرد دەمانداتێ و زۆر قورسە مەزندەی ئەوە بكرێت كە بتوانرێت بە تەواوەتی بەسەر ئەو مەترسییە ئەمنییانەدا سەركەوتوو بین و هەموویان چارەسەری بۆ بدۆزینەوە.

* پڕۆفیسۆر ماركۆس، لە وتارەكەتدا هۆشداریمان پێدەدەیت كە ڕووبەری هێرشەكان (attack surface) كە لەلایەن مۆدێلە گەورەكانی زمان (LLMs) و بریكارەكانی كۆدنووسییەوە دروست دەبێت، ‹بە شێوەیەكی بنەڕەتی بێسنوورە›. بە لەبەرچاوگرتنی ئەوەی حكومەت و سەرمایەداران لە ڕۆژهەڵاتی ناوەڕاست چەند قووڵ و چڕ لە AI وەبەرهێنانیان كردووە – لە ژێرخانی دیجیتاڵی لە كەنداوەوە تا سیستەمەكانی حكومەتی ئەلیكترۆنی (e-government) لە شوێنەكانی وەك عێراق و ئوردن – چۆن سەیری ئەم لاوازییانە دەكەیت، كە لەم ناوچەیەدا سەردەردەهێنن، و چ مەترسییەكی تایبەت ڕووبەڕووی دەوڵەتانی ڕۆژهەڵاتی ناوەڕاست دەبێتەوە، بە بەراورد لەگەڵ وڵاتانی دیكە؟

- هەتا ئەو كاتەی «كرداركارەكانمان - agents»كە بەناو تۆڕەكانی ئەنتەرنێت دەسووڕێنەوە و داتا كۆدەكەنەوە و لێی تێدەگەن، كە من لەو بڕوایەدا نیم مۆدێلی زمانییە گەورەكان LLMs هەرگیز بە تەواوەتی لەو داتایانە تێنەگەن كە بەكاری دەهێننەوە، ئەوا ئەو مەترسییە ئەمنییانە هەر بەردەوام دەبن و مەترسییەكی زۆر گەورەش دروست دەكەن، هەوڵەكان بۆ هێرشی دوژمناكارانە بۆ تێكدانی سیستەمەكانی زیرەك وەك لە كۆنفڕانسی بلاك هات بۆ ئاسایشی كۆمپیۆتەر لە نیڤادا ئاماژەیان پێكرا، بێسنوورن، ئەمەش مانای ئەوەیە كاتێك باسی پلاتفۆڕمەكانی «حكومەتی ئەلیكترۆنی -e-government platforms» و ژێرخانی دیجیتاڵیی خزمەتگوزارییە هەستیارەكان دەكەین، ئەوا هەمان هەڕەشە و مەترسیی بوونی هەیە و ئەگەر بە هەر ڕێگەیەك داتا بخرێتە ناو سیستەمەكانی زیرەكی دەستكردی «AIG» ئەوا ناتوانرێت متمانە بەو ئاكامانە بكرێت كە ئەو سیستمانە دەماندەنێ، لەم چوارچێوەیەدا و بە لەبەرچاو گرتنی ئەو وەبەرهێنانە گەورەی لە وڵاتانی ڕۆژهەڵات ناوەڕاست لە بواری زیرەكیی دەستكرد «AI» دەكرێت، دەكرێت ئەو لاوازییانە چارەسەر بكرێن و بگۆڕێن بۆ ئامانجی بە بەها، ئەمەش لێكەوتەی ڕاستەوخۆی بۆ حكومەت و هاووڵاتیانیش دەبێت.