بهینه‌سازی سایت برای خزیدن ربات‌ های هوش مصنوعی

گزارش اخیر منتشر شده توسط Vercel نشان می‌دهد که ربات‌های هوش مصنوعی در حال پیشرفت در زمینه خزیدن در وب هستند. ربات‌هایی مانند GPTBot از OpenAI و Claude از Anthropic به‌طور کلی مسئول حدود ۲۸٪ از کل درخواست‌های انجام‌شده توسط Googlebot می‌باشند. این افزایش حضور ربات‌های هوش مصنوعی، نحوه بهینه‌سازی محتوای وب‌سایت‌ها را دگرگون کرده است. این بدان معناست که استراتژی‌های سئو باید برای خزیدن ربات‌ های هوش مصنوعی تغییر کنند.

برای موفقیت در دنیای دیجیتال امروز، داشتن استراتژی‌های بهینه‌سازی برای موتورهای جستجو امری حیاتی می‌باشد. در این راستا، وینت سئو به شما کمک می‌کند تا با استفاده از جدیدترین استراتژی‌های خدمات سئو، کسب‌وکار خود را به نتایج برتر جستجو برسانید و بهینه‌سازی محتوای خود را به شکلی انجام دهید که هم برای ربات‌های جستجو و هم برای ربات‌های هوش مصنوعی جذاب باشد.

افزایش خزیدن یا crawl ربات‌ های هوش مصنوعی

بر اساس یافته‌های Vercel، ربات‌های هوش مصنوعی مانند GPTBot و Claude اکنون مسئول حجم زیادی از ترافیک خزیدن در وب هستند. به‌طور مثال، GPTBot در ماه گذشته ۵۶۹ میلیون درخواست انجام داده و Claude حدود ۳۷۰ میلیون درخواست را به خود اختصاص داده است. این ربات‌ها، همراه با PerplexityBot و AppleBot، در مجموع حدود ۲۸٪ از ترافیک کل Googlebot را تشکیل می‌دهند، که حدود ۴.۵ میلیارد درخواست می‌باشد.

این افزایش خزیدن ربات‌ های هوش مصنوعی، اهمیت روزافزون چت‌بات‌های هوش مصنوعی مانند ChatGPT را در نحوه فهرست‌برداری و تحلیل محتوای وب نشان می‌دهد. با گسترش این ربات‌ها، نقش آن‌ها در شکل‌دهی به راه و روش‌های سئو بیشتر و بیشتر می‌شود.

یافته‌های کلیدی درباره خزیدن ربات‌ های هوش مصنوعی

مطالعه‌ای که بر روی الگوهای ترافیک در شبکه Vercel انجام شده است، چند ویژگی مهم از خزیدن ربات‌ های هوش مصنوعی را مشخص کرده است:

رندرینگ و کارایی: ربات‌های هوش مصنوعی اصلی مانند GPTBot و Claude جاوا اسکریپت را رندر نمی‌کنند. این ربات‌ها اغلب ناکارآمد هستند و بیش از ۳۴٪ از درخواست‌هایشان را صرف صفحات خطای ۴۰۴ می‌کنند.

تمرکز بر نوع محتوا: نوع محتوایی که ربات‌های هوش مصنوعی بر روی آن تمرکز دارند، متفاوت می‌باشد. به‌طور مثال، GPTBot بیشتر به محتوای HTML (۵۷.۷٪) می‌پردازد، در حالی که Claude بیشتر به تصاویر (۳۵.۱۷٪) توجه دارد. درک این ترجیحات برای بهینه‌سازی محتوا برای ربات‌های هوش مصنوعی بسیار حائز اهمیت می‌باشد.

حضور جغرافیایی: برخلاف موتورهای جستجوی سنتی که از چندین منطقه جهانی فعالیت می‌کنند، ربات‌های هوش مصنوعی بیشتر در ایالات متحده متمرکز هستند. به‌طور مثال، GPTBot از دزمویز (آیووا) و فونیکس (آریزونا) فعالیت می‌کند و Claude از کلمبوس (اوهایو) عمل می‌کند.

این یافته‌ها با داده‌های منتشرشده در گزارش Web Almanac که در بخش سئو به بررسی نقش ربات‌های هوش مصنوعی پرداخته، هم‌راستا می‌باشد. بسیاری از وب‌سایت‌ها در حال استفاده از فایل‌های robots.txt برای هدایت ربات‌های هوش مصنوعی به صفحات مجاز برای خزیدن هستند، که در این میان GPTBot بیشترین ذکر را در بین ربات‌ها داشته است.

بهینه‌سازی برای خزیدن ربات‌ های هوش مصنوعی

با توجه به داده‌های اخیر Vercel و گزارش Web Almanac، برای بهینه‌سازی محتوای وب‌سایت‌ها برای خزیدن ربات‌ های هوش مصنوعی، چند نکته کلیدی وجود دارد:

رندرینگ سرور محور

بدلیل اینکه ربات‌های هوش مصنوعی جاوا اسکریپت را اجرا نمی‌کنند، هر محتوایی که به رندرینگ در مرورگر کاربر وابسته باشد، ممکن است برای این ربات‌ها نادیده بماند.

اقدامات پیشنهادی:

• رندرینگ در مرورگر کاربر را برای محتوای حیاتی پیاده‌سازی کنید.
• اطمینان حاصل کنید که محتوای اصلی، اطلاعات متا و ساختار ناوبری در HTML اولیه وجود داشته باشد.
• از ایجاد یا بازسازی تدریجی سایت‌های (Static Website) استفاده کنید.

ساختار و بارگذاری محتوا

داده‌های Vercel نشان می‌دهد که ربات‌های هوش مصنوعی به نوع خاصی از محتواها توجه می‌کنند:

ChatGPT بیشتر بر روی محتوای HTML تمرکز می‌کند (۵۷.۷۰٪).

Claude بیشتر به تصاویر توجه دارد (۳۵.۱۷٪).

اقدامات بهینه‌سازی:

• ساختار HTML محتوا را به‌طور واضح و مفهومی طراحی کنید.
• بارگذاری تصاویر و متاداده‌ها را بهینه کنید. (عنوان آلت تصاویر و توضیحات متا بهینه و قابل شناسایی باشند.)
• متن (alt text) توصیفی برای تصاویر وارد کنید.
• هرم صحیح عنوان‌ها را پیاده‌سازی کنید.

ملاحظات فنی

خزیدن ربات‌ های هوش مصنوعی و خواندن خطای ۴۰۴ به میزان بالا می‌تواند نشان‌دهنده چند مسئله باشد که نیاز به توجه دارند:

وجود صفحات معیوب یا حذف‌شده: اگر در سایت شما صفحات حذف‌شده یا معیوب وجود داشته باشد، ربات‌های هوش مصنوعی که قصد دسترسی به این صفحات را دارند، با خطای ۴۰۴ مواجه خواهند شد. این امر ممکن است باعث غیر قابل دسترس بودن صفحه شما برای هوش های مصنوعی شود.

عدم به‌روزرسانی لینک‌ها: اگر لینک‌های داخلی سایت به‌روز نشده باشند و به صفحات قدیمی که دیگر وجود ندارند ارجاع داده شود، بعد از خزیدن ربات‌ های هوش مصنوعی با خطای ۴۰۴ مواجه خواهند شد.

عدم بهینه‌سازی مسیرهای URL: گاهی اوقات، URLهایی که برای ربات‌ها یا کاربران ارسال می‌شوند ممکن است اشتباه باشند و به صفحات غیرقابل دسترس هدایت شوند. این موضوع باعث بالا رفتن تعداد خطاهای ۴۰۴ خواهد شد.

اقدامات پیشنهادی:

بروزرسانی منظم (Sitemap): اطمینان حاصل کنید که Sitemap (نقشه سایت) شما به‌روز و دقیق است و لینک‌های معیوب یا حذف‌شده در آن وجود ندارد.

استفاده از هدایتگرهای 301: اگر صفحه‌ای حذف شد، باید یک (Redirect) به صفحه جدید یا صفحه مرتبط قرار دهید تا ربات‌ها و کاربران به صفحه‌ای معتبر هدایت شوند.

بررسی و حذف لینک‌های معیوب: به‌طور منظم لینک‌های داخلی سایت را بررسی کنید و لینک‌های معیوب یا به صفحات ۴۰۴ منتهی‌شونده را سریعا اصلاح کنید.

پیکربندی صحیح فایل robots.txt: اطمینان حاصل کنید که فایل robots.txt به درستی تنظیم شده باشد تا ربات‌ها تنها به صفحات مجاز دسترسی پیدا کنند و از خزیدن به صفحات غیرمجاز جلوگیری شود.

نگاهی به آینده

با توجه به مطالب ذکر شده پیام برای همگی سئو کاران روشن می‌باشد: چت‌بات‌های هوش مصنوعی یک عامل جدید در دنیای crawl در وب سایت‌ها هستند و سایت‌ها باید سئو خود را برای هماهنگی با آن‌ها به‌روز کنند. هرچند که ربات‌های هوش مصنوعی ممکن است هنوز به اطلاعات قدیمی یا کش‌شده تکیه کنند، اما ظرفیت آن‌ها برای پردازش محتوای تازه از وب، روز به روز در حال افزایش می‌باشد.

شما می‌توانید با استفاده از رندرینگ در مرورگر کاربر، ساختار URL‌ های بدون مشکل و Sitemap های به‌روزرسانی‌شده، اطمینان حاصل کنید که محتوای شما به‌طور صحیح به وسیله خزیدن ربات‌ های هوش مصنوعی فهرست‌بندی و ایندکس می‌شود.