# توکن، پنجره‌ی متن و توهم: سه مفهومی که قبل از کار با هوش مصنوعی باید بدانید

- آدرس: https://di9.ir/blog/%D8%AA%D9%88%DA%A9%D9%86-%D9%BE%D9%86%D8%AC%D8%B1%D9%87-%D9%85%D8%AA%D9%86-%D9%88-%D8%AA%D9%88%D9%87%D9%85-%D8%AF%D8%B1-%D9%87%D9%88%D8%B4-%D9%85%D8%B5%D9%86%D9%88%D8%B9%DB%8C
- نویسنده: danidiba
- انتشار: 2026-08-08T18:34:00+03:30
- به‌روزرسانی: 2026-08-08T18:34:00+03:30
- دسته: مفاهیم پایه
- برچسب‌ها: توکن، توهم هوش مصنوعی، مدل زبانی، هوش مصنوعی

> بیشتر ناامیدی‌ها از هوش مصنوعی از سه چیز می‌آید که کسی توضیحشان نداده: مدل متن را توکن‌توکن می‌بیند، حافظه‌اش سقف دارد، و وقتی نمی‌داند با اطمینان حدس می‌زند. این سه را که بفهمید، نصف مشکل‌ها قبل از شروع حل می‌شود.

بیشتر کسانی که از هوش مصنوعی ناامید می‌شوند، مشکلشان با خود ابزار نیست. مشکل این است که کسی سه چیز ساده را به آن‌ها نگفته: مدل متن را چطور می‌بیند، چقدر حافظه دارد، و وقتی جواب را نمی‌داند چه می‌کند.

این سه مفهوم را که بدانید، خیلی از رفتارهای «عجیب» هوش مصنوعی دیگر عجیب نیست.

## مدل زبانی واقعاً چه کار می‌کند

یک مدل زبانی بزرگ (LLM) در ساده‌ترین توصیف، **ادامه‌ی محتمل یک متن را حدس می‌زند**. متن شما را می‌گیرد و تکه‌ی بعدی را انتخاب می‌کند، بعد تکه‌ی بعد از آن را، و همین‌طور تا آخر.

این توصیف ساده دو نتیجه‌ی مهم دارد:

- مدل «پایگاه داده» نیست که چیزی را جستجو کند و بیاورد. چیزی را می‌سازد که به احتمال زیاد درست به نظر می‌رسد.
- کیفیت خروجی به‌شدت به کیفیت ورودی بسته است. متن مبهم، ادامه‌ی مبهم می‌گیرد.

## مفهوم اول: توکن

مدل متن را نه حرف‌به‌حرف می‌بیند و نه کلمه‌به‌کلمه. آن را به تکه‌هایی به نام **توکن** می‌شکند. یک توکن می‌تواند یک کلمه‌ی کامل باشد، بخشی از یک کلمه، یا فقط یک علامت.

چرا این برای شما مهم است؟ چون **همه‌چیز با توکن شمرده می‌شود**: سقف طول گفتگو، سرعت پاسخ، و اگر از API استفاده کنید، صورت‌حساب.

### فارسی گران‌تر از انگلیسی است

واژه‌نامه‌ی توکن‌های بیشتر مدل‌ها عمدتاً از روی متن انگلیسی ساخته شده. کلمه‌ای مثل `database` معمولاً یک توکن است، ولی «پایگاه‌داده» به چند تکه شکسته می‌شود.

| متن | رفتار معمول |
| --- | --- |
| کلمه‌ی رایج انگلیسی | یک توکن |
| کلمه‌ی فارسی | چند توکن |
| کد و نام تابع | بسته به رایج‌بودن، یک تا چند توکن |
| عدد بلند | چند توکن |

نتیجه‌ی عملی: یک متن فارسی معمولاً چند برابر معادل انگلیسی‌اش توکن مصرف می‌کند. عدد دقیق به مدل و متن بستگی دارد، پس اگر هزینه برایتان مهم است، با ابزار شمارش توکن همان سرویس اندازه بگیرید و حدس نزنید.

> اگر با API کار می‌کنید و متن طولانی می‌فرستید، دستور و توضیح‌های ثابت را انگلیسی بنویسید و فقط بخشی را فارسی نگه دارید که واقعاً باید فارسی باشد. خروجی را می‌توانید همچنان فارسی بخواهید.

## مفهوم دوم: پنجره‌ی متن

**پنجره‌ی متن** (Context Window) بیشترین مقدار متنی است که مدل در یک لحظه جلوی چشمش دارد. این پنجره شامل همه‌چیز است:

- دستوری که نوشته‌اید
- فایل‌ها و متن‌هایی که چسبانده‌اید
- کل تاریخچه‌ی همان گفتگو
- پاسخی که مدل دارد می‌نویسد

هرچه بیرون از این پنجره باشد، برای مدل **وجود ندارد**. مدل چیزی را «فراموش» نمی‌کند؛ اصلاً آن را نمی‌بیند.

### نشانه‌های پر شدن پنجره

این‌ها را احتمالاً دیده‌اید و فکر کرده‌اید مدل «خراب شده»:

- قانونی را که اول گفتگو گذاشته بودید دیگر رعایت نمی‌کند.
- اشتباهی را که یک بار اصلاح کرده بودید دوباره تکرار می‌کند.
- به فایلی که اول داده بودید اشاره می‌کند ولی جزئیاتش را غلط می‌گوید.

راه‌حل ساده است: **گفتگوی تازه باز کنید.** خلاصه‌ی وضعیت فعلی را در چند خط بنویسید، فقط فایل‌های لازم را دوباره بدهید و ادامه بدهید. گفتگوی بلند تقریباً همیشه بدتر از گفتگوی کوتاه و تمیز است.

### پنجره‌ی بزرگ‌تر همیشه بهتر نیست

مدل‌هایی هستند که پنجره‌ی بسیار بزرگی دارند، ولی پر کردن آن با هرچه دم دست است کمکی نمی‌کند. هرچه متن بی‌ربط بیشتری بدهید، احتمال اینکه مدل بخش مهم را نادیده بگیرد بیشتر می‌شود. **کمتر و مرتبط‌تر** بهتر از بیشتر و شلوغ‌تر است.

## مفهوم سوم: توهم

**توهم** (Hallucination) یعنی مدل چیزی را که درست نیست با لحن کاملاً مطمئن می‌گوید. نمونه‌های رایج در کار فنی:

- نام تابع یا گزینه‌ای که در آن کتابخانه وجود ندارد
- شماره‌ی نسخه‌ای که هیچ‌وقت منتشر نشده
- لینک به صفحه‌ای که نیست
- نقل‌قول از مستنداتی که چنین چیزی نگفته‌اند

این رفتار باگ نیست، نتیجه‌ی مستقیم همان کاری است که مدل انجام می‌دهد: ادامه‌ی محتمل را می‌سازد. وقتی اطلاعات کافی ندارد، باز هم چیزی می‌سازد که **شبیه** جواب درست است.

### کجا بیشتر توهم می‌زند

- موضوع‌های کم‌منبع: کتابخانه‌ی کوچک، افزونه‌ی کم‌استفاده، خطای نادر
- جزئیات دقیق: عدد، تاریخ، نام پارامتر، مسیر فایل
- چیزهای تازه: هر چیزی که بعد از تاریخ آموزش مدل عوض شده
- وقتی سؤال فرض غلط دارد: اگر بپرسید «چطور فلان گزینه را فعال کنم» و آن گزینه وجود نداشته باشد، مدل اغلب راهش را هم اختراع می‌کند

### چطور کمش کنیم

1. **منبع را خودتان بدهید.** به‌جای «مستندات فلان چه می‌گوید»، همان بخش مستندات را بچسبانید و بپرسید.
2. **اجازه‌ی ندانستن بدهید.** صریح بنویسید: «اگر مطمئن نیستی بگو نمی‌دانم.» همین یک جمله اثر دارد.
3. **هر چیز قابل‌آزمایش را آزمایش کنید.** کد را اجرا کنید، دستور را روی محیط آزمایشی بزنید، لینک را باز کنید.
4. **بپرسید از کجا می‌داند.** اگر نتوانست منبع قابل‌بررسی بدهد، آن ادعا را تأییدنشده حساب کنید.

## این سه کنار هم

این سه مفهوم به هم وصل‌اند و با هم یک قاعده‌ی کاری می‌سازند:

| اگر این را دیدید | احتمالاً علت این است | این کار را بکنید |
| --- | --- | --- |
| هزینه یا کندی غیرمنتظره | توکن زیاد | متن ورودی را کوتاه کنید |
| فراموش‌کردن قانون‌های اول گفتگو | پر شدن پنجره | گفتگوی تازه با خلاصه |
| جواب مطمئن ولی غلط | توهم | منبع بدهید و آزمایش کنید |

قدم بعدی این است که یاد بگیرید درخواستتان را طوری بنویسید که از همان اول جواب بهتری بگیرید. این را در [پرامپت‌نویسی برای کار فنی](https://di9.ir/blog/%D9%BE%D8%B1%D8%A7%D9%85%D9%BE%D8%AA-%D9%86%D9%88%DB%8C%D8%B3%DB%8C-%D8%A8%D8%B1%D8%A7%DB%8C-%DA%A9%D8%A7%D8%B1-%D9%81%D9%86%DB%8C) توضیح داده‌ایم.

## ادامه‌ی این مسیر

اگر این مطلب به کارتان آمد، این مقاله‌ها همین موضوع را عمیق‌تر و کاربردی‌تر ادامه می‌دهند:

۳ از ۳ مقاله منتشر شده است

1. [مدل زبانی بزرگ (LLM) چیست و چطور یاد می‌گیرد](https://di9.ir/blog/%D9%85%D8%AF%D9%84-%D8%B2%D8%A8%D8%A7%D9%86%DB%8C-%D8%A8%D8%B2%D8%B1%DA%AF-llm-%DA%86%DB%8C%D8%B3%D8%AA)
2. [هوش مصنوعی مولد چیست و چه فرقی با هوش مصنوعی کلاسیک دارد](https://di9.ir/blog/%D9%87%D9%88%D8%B4-%D9%85%D8%B5%D9%86%D9%88%D8%B9%DB%8C-%D9%85%D9%88%D9%84%D8%AF-%DA%86%DB%8C%D8%B3%D8%AA)
3. [RAG چیست: وقتی هوش مصنوعی از داده‌های خود شما جواب می‌دهد](https://di9.ir/blog/rag-%DA%86%DB%8C%D8%B3%D8%AA)

## خلاصه

- مدل زبانی ادامه‌ی محتمل متن را می‌سازد؛ جستجو نمی‌کند.
- همه‌چیز با توکن شمرده می‌شود و فارسی توکن بیشتری می‌برد.
- پنجره‌ی متن سقف دارد؛ گفتگوی بلند را با گفتگوی تازه و خلاصه جایگزین کنید.
- توهم قابل‌حذف نیست ولی قابل‌مهار است: منبع بدهید، اجازه‌ی ندانستن بدهید، و آزمایش کنید.

## پرسش‌های متداول

### توکن در هوش مصنوعی چیست؟

توکن کوچک‌ترین تکه‌ای است که مدل زبانی متن را با آن می‌بیند و می‌شمارد. یک توکن می‌تواند یک کلمه، بخشی از یک کلمه یا یک علامت باشد. هزینه‌ی استفاده و سقف طول گفتگو هر دو بر اساس تعداد توکن حساب می‌شوند، نه تعداد کلمه یا حرف.

### چرا متن فارسی توکن بیشتری مصرف می‌کند؟

چون واژه‌نامه‌ی توکن‌های بیشتر مدل‌ها عمدتاً از روی متن انگلیسی ساخته شده است. کلمه‌های انگلیسی رایج معمولاً یک توکن‌اند ولی کلمه‌های فارسی به چند تکه شکسته می‌شوند. نتیجه این است که یک متن فارسی معمولاً چند برابر معادل انگلیسی‌اش توکن می‌برد.

### پنجره‌ی متن یا Context Window یعنی چه؟

بیشترین مقدار متنی که مدل در یک لحظه می‌تواند جلوی چشمش داشته باشد: دستور شما، فایل‌هایی که داده‌اید، کل تاریخچه‌ی همان گفتگو و پاسخی که دارد می‌نویسد. هرچه از این سقف بیرون بزند، برای مدل وجود ندارد.

### توهم هوش مصنوعی چیست و چطور کمش کنیم؟

توهم یعنی مدل چیزی را که درست نیست با لحن مطمئن می‌گوید، مثل نام تابعی که وجود ندارد. برای کم‌کردنش منبع را خودتان به مدل بدهید، بخواهید اگر مطمئن نیست بگوید نمی‌دانم، و هر ادعای قابل‌آزمایش مثل کد و دستور را قبل از استفاده واقعاً اجرا کنید.