داستان هوش مصنوعی که ناگهان "گروکینگ" می‌کند
دو سال پیش، (Yuri Burda) و (Harri Edwards)، محققان شرکت اُپن‌ای‌آی، در تلاش بودند تا دریابند که برای آموزش یک مدل بزرگ زبانی برای انجام محاسبات پایه چه چیزی لازم است. آنها می‌خواستند ببینند آیا این مدل می‌تواند محاسبات ساده‌ای مانند جمع دو عدد را انجام دهد یا خیر.
در ابتدا، مدل‌ها اعدادی را که می‌دیدند حفظ می‌کردند، اما نمی‌توانستند مسائل جدید را حل کنند. برای مثال، اگر مدل با 1 + 1 = 2 آموزش داده می‌شد، می‌توانست به درستی 2 + 2 = 4 را حل کند، اما قادر به حل 3 + 3 = 6 نبود.
بوردا و ادواردز برای برخی از آزمایش‌های خود زمان بسیار طولانی‌تری صرف کردند، روزها به جای ساعت‌ها. آنها بارها و بارها محاسبات نمونه را به مدل‌ها نشان دادند تا زمانی که از موفقیت‌آمیز بودن آزمایش مطمئن شدند. آنها یک مدل بزرگ زبانی را آموزش داده بودند تا دو عدد را جمع کند، که خیلی بیشتر از آن چیزی که فکرش را می‌کردند زمان برده بود.
پدیده‌ای به نام "گروکینگ"
این دو محقق و همکارانشان در مورد پدیده‌ای جالب تحقیق کردند. آنها متوجه شدند که گاهی اوقات، مدل‌ها یک کار را اصلاً یاد نمی‌گیرند و بعد از مدتی ناگهان در یک لحظه شروع به یادگیری می‌کنند. آنها این پدیده را «گروکینگ» (Grokking) نامیدند.
گروکینگ چیست؟
گروکینگ به طور خلاصه، زمانی اتفاق می‌افتد که یک مدل هوش مصنوعی ناگهان و به طور غیرمنتظره‌ای یک مفهوم یا مهارت را درک می‌کند. این پدیده مانند زمانی است که ناگهان "چراغ روشن می‌شود" و همه چیز برای شما معنا پیدا می‌کند.
چرا گروکینگ اتفاق می‌افتد؟
هنوز هیچ پاسخ قطعی برای این سوال وجود ندارد. برخی از محققان معتقدند که گروکینگ زمانی اتفاق می‌افتد که مدل به یک نقطه بحرانی از اطلاعات و دانش دست پیدا می‌کند. در این نقطه، مدل قادر به برقراری ارتباط بین مفاهیم مختلف و درک کلی از موضوع مورد نظر می‌شود.
اهمیت گروکینگ
گروکینگ می‌تواند پیامدهای مهمی برای هوش مصنوعی داشته باشد. اگر بتوانیم بفهمیم که گروکینگ چگونه اتفاق می‌افتد، می‌توانیم مدل‌های هوش مصنوعی را طوری طراحی کنیم که سریع‌تر و کارآمدتر یاد بگیرند.
سوالات بی‌پاسخ
هنوز سوالات بی‌پاسخ زیادی در مورد گروکینگ وجود دارد. برای مثال، آیا گروکینگ فقط برای مدل‌های زبانی بزرگ اتفاق می‌افتد یا برای سایر انواع هوش مصنوعی نیز رخ می‌دهد؟ آیا می‌توان گروکینگ را به طور مصنوعی القا کرد؟
تحقیقات در حال انجام
تحقیقات در مورد گروکینگ هنوز در مراحل اولیه است، اما این پدیده پتانسیل زیادی برای تغییر نحوه طراحی و استفاده از هوش مصنوعی در آینده دارد.