آخرین به‌روزرسانی:

تا چند سال پیش، مسیر رسیدن خواننده به سایت شما یک شکل داشت: جستجو می‌کرد، فهرست نتیجه‌ها را می‌دید و روی یکی کلیک می‌کرد. حالا بخشی از مردم سؤالشان را مستقیم از یک دستیار هوش مصنوعی می‌پرسند و جواب آماده می‌گیرند.

سؤال این است: آن جواب از کجا می‌آید، و چطور می‌شود از سایت شما بیاید؟

به این کار نام‌های مختلفی داده‌اند، مثل GEO یا AEO. اسمش مهم نیست؛ سه کار مشخص است که در ادامه می‌آید. همه را روی همین سایت انجام داده‌ایم.

قدم اول: خزنده‌ها را بشناسید و راه بدهید#

خزنده‌های هوش مصنوعی دو گروه‌اند و فرقشان مهم است:

گروهکارشنمونه
آموزشیمتن جمع می‌کند تا مدل بعدی با آن آموزش ببیندGPTBot، ClaudeBot، Google-Extended
جستجو و پاسخهمان لحظه که کاربر می‌پرسد صفحه را می‌خواندOAI-SearchBot، ChatGPT-User، PerplexityBot

گروه دوم همان است که به شما ارجاع و بازدید می‌دهد. نام‌ها و فهرست کامل را از مستندات رسمی هر شرکت بگیرید، چون تغییر می‌کنند.

robots.txt#

اگر می‌خواهید دیده شوید، مطمئن شوید این خزنده‌ها مسدود نیستند. یک robots.txt ساده که همه را راه می‌دهد:

Code
User-agent: *
Disallow: /cart

Sitemap: https://example.com/sitemap.xml

اگر می‌خواهید فقط خزنده‌های آموزشی را ببندید:

Code
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

قبل از هر چیز robots.txt فعلی سایتتان را نگاه کنید. بعضی افزونه‌های امنیتی و بعضی تنظیم‌های هاست، خزنده‌های هوش مصنوعی را پیش‌فرض می‌بندند و صاحب سایت خبر ندارد.

فایروال را فراموش نکنید#

robots.txt فقط یک درخواست مؤدبانه است. چیزی که واقعاً خزنده را متوقف می‌کند فایروال هاست است که ممکن است به هر درخواست غیرمرورگری کپچا نشان بدهد. اگر در لاگ می‌بینید خزنده‌ها کد ۴۰۳ می‌گیرند، مشکل آن‌جاست.

قدم دوم: محتوا را قابل‌خواندن کنید#

بدون جاوااسکریپت هم باید خوانده شود#

بیشتر خزنده‌های هوش مصنوعی جاوااسکریپت اجرا نمی‌کنند. اگر متن اصلی صفحه بعد از بارگذاری با جاوااسکریپت ساخته می‌شود، خزنده صفحه‌ی خالی می‌بیند.

آزمایش ساده: در مرورگر «نمایش سورس صفحه» را بزنید. اگر متن مقاله آن‌جا نیست، برای خزنده هم نیست.

llms.txt#

یک فایل متنی ساده در ریشه‌ی سایت که با قالب مارک‌داون، سایت را به مدل معرفی می‌کند:

Code
# نام سایت

> یک توضیح دوخطی که سایت درباره‌ی چیست.

## مقاله‌ها

- [عنوان مقاله](https://example.com/article.md): خلاصه‌ی یک‌خطی
- [عنوان دیگر](https://example.com/other.md): خلاصه‌ی یک‌خطی

دو نکته‌ی صادقانه:

  • این یک پیشنهاد جامعه است، نه استاندارد رسمی. هیچ موتوری تضمین نکرده که آن را می‌خواند.
  • خلاصه‌ی هر خط باید به‌تنهایی معنا بدهد، چون ممکن است فقط همان خط خوانده شود.

هزینه‌ی ساختنش آن‌قدر کم است که ارزش دارد. نمونه‌ی واقعی را در llms.txt همین بلاگ ببینید.

نسخه‌ی مارک‌داون هر مقاله#

صفحه‌ی HTML پر از چیزهایی است که برای مدل نویز است: منو، فوتر، دکمه‌ها. نسخه‌ی مارک‌داون فقط خود متن است.

در این بلاگ، هر مقاله با افزودن .md به آخر آدرسش به‌صورت مارک‌داون تمیز در دسترس است. برای اینکه موتور جستجو این نسخه را محتوای تکراری نبیند، دو هدر می‌فرستیم:

Code
X-Robots-Tag: noindex, follow
Link: <https://example.com/article>; rel="canonical"

داده‌ی ساخت‌یافته#

اسکیمای Article، FAQPage و BreadcrumbList به ماشین می‌گوید این صفحه چیست، کی نوشته شده و کی به‌روز شده. تاریخ به‌روزرسانی مهم است: پاسخ‌دهنده‌ها منبع تازه‌تر را ترجیح می‌دهند.

قدم سوم: قابل نقل‌قول بنویسید#

مدل وقتی از صفحه‌ی شما نقل می‌کند، معمولاً یک تکه را برمی‌دارد، نه کل مقاله را. پس هر تکه باید به‌تنهایی کامل باشد.

جواب را اول بدهید#

بدخوب
«در این بخش می‌خواهیم ببینیم توکن چیست…»«توکن کوچک‌ترین تکه‌ای است که مدل متن را با آن می‌شمارد.»

عنوان‌ها را مثل سؤال بنویسید#

مردم از هوش مصنوعی سؤال می‌پرسند. عنوانی که شبیه همان سؤال است، راحت‌تر با آن جفت می‌شود.

عدد، نام و نسخه بدهید#

«سرعت بهتر شد» قابل نقل نیست. «زمان پاسخ از ۴ ثانیه به ۱٫۲ ثانیه رسید» هست.

پرسش‌وپاسخ واقعی#

بخش پرسش‌های متداول با پاسخ‌های کوتاه و مستقل، هم برای خواننده خوب است هم برای ماشین. هر پاسخ باید بدون خواندن بقیه‌ی مقاله قابل‌فهم باشد.

چیزی بنویسید که فقط شما دارید#

مدل دانش عمومی را از قبل دارد. چیزی که ندارد تجربه‌ی شماست: خطایی که خوردید، عددی که اندازه گرفتید، تصمیمی که گرفتید و دلیلش. این همان چیزی است که ارزش ارجاع دارد.

چطور نتیجه را بسنجیم#

  • لاگ سرور: خزنده‌ها می‌آیند؟ چه کدی می‌گیرند؟ کدام صفحه‌ها را می‌خوانند؟
  • منبع ورود: در آمار سایت، بازدید از دامنه‌هایی مثل chatgpt.com و perplexity.ai را جدا نگاه کنید.
  • آزمایش مستقیم: سؤالی را که مقاله‌تان جواب می‌دهد از چند دستیار بپرسید و ببینید به چه کسی ارجاع می‌دهند.

صبور باشید. این تغییرها مثل سئوی معمولی هفته‌ها و ماه‌ها طول می‌کشد تا اثر کند.

ادامه‌ی این مسیر#

اگر این مطلب به کارتان آمد، این مقاله‌ها همین موضوع را عمیق‌تر و کاربردی‌تر ادامه می‌دهند:

۳ از ۳ مقاله منتشر شده است

  1. تحقیق کلمه‌ی کلیدی با هوش مصنوعی
  2. داده‌ی ساخت‌یافته (Schema) و دیده‌شدن در پاسخ‌های هوش مصنوعی
  3. گوگل با محتوای تولیدشده با هوش مصنوعی چه می‌کند

خلاصه#

  • خزنده‌های آموزشی و خزنده‌های پاسخ‌گو دو گروه جدا هستند.
  • robots.txt و فایروال هاست را بررسی کنید؛ شاید بی‌خبر بسته باشند.
  • متن اصلی باید بدون جاوااسکریپت در سورس صفحه باشد.
  • llms.txt و نسخه‌ی مارک‌داون ارزان‌اند و ضرری ندارند.
  • هر تکه از متن باید به‌تنهایی کامل و قابل نقل باشد.