این فقط یک کلمه در یک زمان اضافه می شود
اینکه ChatGPT می تواند به طور خودکار چیزی تولید کند که حتی به صورت سطحی مانند متن نوشته شده توسط انسان خوانده شود، قابل توجه و غیرمنتظره است. اما چگونه این کار را انجام می دهد؟ و چرا کار می کند؟ هدف من در اینجا این است که یک طرح کلی از آنچه در ChatGPT می‌گذرد ارائه دهم – و سپس بررسی کنم که چرا می‌تواند در تولید متنی که ممکن است به‌عنوان متن معنادار در نظر بگیریم،

 به خوبی عمل کند. در ابتدا باید بگویم که من بر روی تصویر بزرگ آنچه در حال وقوع است تمرکز خواهم کرد - و در حالی که برخی از جزئیات مهندسی را ذکر خواهم کرد، عمیقاً وارد آنها نخواهم شد. (و ماهیت چیزی که من می گویم به همان اندازه برای سایر 'مدل های زبان بزرگ' فعلی [LLM] به کار می رود و برای ChatGPT.)

اولین چیزی که باید توضیح داد این است که آنچه که ChatGPT همیشه اساساً سعی می کند انجام دهد این است که یک 'ادامه معقول' از هر متنی که تا کنون به دست آورده است، تولید کند، جایی که منظور ما از 'معقول' است 'آنچه ممکن است انتظار داشته باشیم که کسی بعد از دیدن افراد چه بنویسد'. روی میلیاردها صفحه وب و غیره نوشته اند.»

بنابراین بیایید بگوییم که متن 'بهترین چیز در مورد هوش مصنوعی توانایی آن است' را داریم. تصور کنید که میلیاردها صفحه از متن نوشته شده توسط انسان (مثلاً در وب و کتاب های دیجیتالی) را اسکن کنید و همه نمونه های این متن را بیابید – سپس ببینید چه کلمه ای در کسری از زمان می آید.

 ChatGPT به طور موثر چیزی شبیه به این را انجام می دهد، با این تفاوت که (همانطور که توضیح خواهم داد) به متن تحت اللفظی نگاه نمی کند. به دنبال چیزهایی می گردد که به معنایی معین «معنایشان مطابقت دارند». اما نتیجه نهایی این است که فهرست رتبه‌بندی‌شده‌ای از کلماتی را که ممکن است به همراه «احتمالات» دنبال شوند، تولید می‌کند