نحوه سرعت بخشیدن به انتقال سایت با هوش مصنوعی- مسیردهی ریدایرکت

انتقال سایت با هوش مصنوعی یا AI فرایند پرزحمت انتقال را که شامل مسیردهی ریدایرکت است بسیار ساده‌تر می‌کند. از گذشته تا به کنون یکی از طاقت‌فرساترین مراحل در طرح انتقال سایت، مسیردهی ریدایرکت بوده است. فرایند چالش‌برانگیز تطبیق URLها در سایت فعلی با نسخه معادل در وب سایت جدید و بررسی هزاران URL که قبلاً توسط افراد انجام می‌شد، خوشبختانه اکنون با سرعت بیشتری با استفاده از AI در مسیردهی ریدایرکت انجام می‌شود، و همانطور که میدانید ریدایرکت مفهوم مهمی است که هر متخصص سئویی باید با آن آشنایی داشته باشد و در راستای بهبود سئوی سایت از آن به درستی استفاده کند.

ما در ادامه به بررسی معایب و مزایای هوش مصنوعی در انتقال سایت و هر آنچه باید درباره مسیردهی URL با هوش مصنوعی بدانید پرداخته‌ایم.

آیا باید از هوش مصنوعی برای مسیردهی ریدایرکت استفاده کنیم؟

پیش از شروع یادگیری انتقال سایت با هوش مصنوعی باید با مفهوم آن آشنا شویم. در سال‌های اخیر اصطلاح AI یا Artificial Intelligence با “ChatGPT” ترکیب شده است و گاهی نیز به اشتباه یکسان تلقی می‌شوند. بنابراین باید بگوییم که ما در مورد استفاده از سیستم‌های مبتنی بر LLM مانند چت‌ جی‌پی‌تی برای انجام مسیردهی ریدایرکت صحبت نمی‌کنیم بلکه منظور در اینجا AI است.

البته برخی از کارها وجود دارند که ابزارهایی مانند ChatGPT می‌توانند در  انتقال سایت با هوش مصنوعی به شما کمک کنند، مانند نوشتن regex یا Regular Expression برای ریدایرکت که بسیار دشوار است و می‌تواند مشکلاتی را برای ما ایجاد کند.

مزایای هوش مصنوعی در انتقال سایت و مسیردهی ریدایرکت

مسیردهی URL با هوش مصنوعی یک تحول بزرگ بود که وظایف انسان را بسیار کم‌تر و راحت‌تر کرد. اگر هنوز نمی‌توانید به این هوش قدرتمند که در ماشین‌ها ظهور پیدا می‌کند اعتماد کنید، ما در اینجا به برخی از مهم‌ترین مزیت‌های استفاده از AI در مسیردهی ریدایرکت اشاره کرده‌ایم که می‌تواند نظر شما را تغییر دهد:

سرعت

مزیت اصلی انتقال سایت با هوش مصنوعی سرعت انجام آن است. یک نقشه و مسیر اولیه شامل ده هزار URL را می‌توان با AI در عرض چند دقیقه تهیه کرد و سپس انسان آن را در چند ساعت بررسی نموده و تکمیل نهایی کند. انجام این فرآیند به صورت دستی برای یک فرد معمولاً چندین روز زمان می‌برد.

مقیاس‌پذیری

استفاده از هوش مصنوعی برای کمک به مسیردهی ریدایرکت‌ها روشی است که می‌توانید در سایتی با صد یا بیش از یک میلیون URL به کار بگیرید. سایت‌های بزرگ‌تر نیز بیشتر برنامه‌ریزی یا قالب‌بندی می‌شوند که تطبیق شباهت را با این ابزارها دقیق‌تر می‌کند.

بهره‌وری

در انتقال سایت با هوش مصنوعی برای سایت‌های بزرگ‌تر، یک کار چند نفره می‌تواند به راحتی توسط یک فرد با دانش صحیح انجام شود. بدین ترتیب نیروهای انسانی بیشتری باقی می‌مانند که می‌توانند برای کمک به سایر بخش‌های مربوط به انتقال استخدام شوند.

دقت

در حالی که روش خودکار در برخی از ریدایرکت‌ها دچار «اشتباه» می‌شود اما دقت کلی آن بالا است. علت این امر این است که خروجی می‌تواند شباهت تطابق را مشخص کند و به بازبین‌های انسانی و دستی کمک نماید که بدانند توجه آنها در کجا بیشتر مورد نیاز است.

معایب مسیردهی ریدایرکت و انتقال سایت با هوش مصنوعی

با وجود مزایای بسیار AI در فرایند تغییر مسیر و انتقال سایت، هوش مصنوعی برخی معایب نیز دارد که در اینجا آنها را برای شما آورده‌ایم:

وابستگی بیش از حد

استفاده از ابزارهای اتوماسیون می‌تواند افراد را تنبل و بیش از حد به خروجی وابسته کند. با وجود دقت بالای هوش مصنوعی اما برای چنین وظیفه مهمی، بازنگری انسانی همیشه مورد نیاز است.

آموزش

اسکریپت از قبل نوشته شده و روند کار ساده است. با این حال برای بسیاری از افراد این موارد نو و تازه خواهند بود و محیط‌هایی مانند Google Colab می‌توانند سخت و رعب‌آور باشند.

واریانس خروجی

در انتقال سایت با هوش مصنوعی، خروجی قطعی است اما مدل‌ها در سایت‌های خاص بهتر از سایر موارد عمل می‌کنند. گاهی اوقات خروجی ممکن است حاوی خطاهای احمقانه باشد که تشخیص آنها برای انسان واضح است اما برای ماشین سخت‌ می‌باشد.

ابزارهای مورد استفاده در انتقال سایت با هوش مصنوعی

Screaming Frog Website Crawler

ابزار Screaming Frog یک خزنده وب قدرتمند و منعطف است که به جمع‌آوری URLها و ابرداده‌های مرتبط مورد نیاز برای مطابقت کمک می‌کند.

Google Colab

این ابزار یک سرویس ابری رایگان است که از محیط ژوپیتر نوت‌بوک استفاده می‌کند و به شما امکان می‌دهد برای اجرای طیف وسیعی از زبان‌ها به طور مستقیم از مرورگر خود بدون نیاز به نصب چیزی استفاده کنید. Google Colab برای اجرای اسکریپت‌های پایتون برای انجام تطابق URL کاربرد دارد.

Matchmaker Redirect Automated for Site Migrations

این گزینه یک اسکریپت پایتون است که توسط دانیل امری ایجاد شده و ما آن را در Colab اجرا خواهیم کرد.

 

راهنمای گام به گام مسیردهی URL و انتقال سایت با هوش مصنوعی

در پایان این فرآیند ما قصد داریم صفحه‌گسترده‌ای تولید کنیم که نشانی‌های اینترنتی “از”(from) و “به”(to) را با نگاشت نشانی‌های اینترنتی مبدا در وب‌سایت کنونی به نشانی‌های وب مقصد در وب‌سایت جدید فهرست کند.

برای این مثال و برای ساده نگه داشتن کارها، ما فقط صفحات HTML را مسیردهی می‌کنیم، نه دارایی‌های اضافی مانند CSS یا تصاویر را، اگرچه این کار نیز امکان‌پذیر است.

 

مرحله 1: خزیدن وب سایت کنونی با Screaming Frog

در مرحله نخست از انتقال سایت با هوش مصنوعی شما باید از یک خزنده استاندارد در وب سایت خود استفاده کنید. بسته به نحوه ساخت وب‌سایت، ممکن است به ابزار JavaScript crawl نیاز داشته باشید. هدف اصلی این است که تا حد امکان فهرستی از صفحات قابل دسترسی در سایت خود را تهیه کنید.

مرحله 2: ارسال صفحات HTML با کد وضعیت 200

پس از اینکه خزیدن کامل شد، می‌خواهیم همه URLهای HTML پیدا شده را با کد وضعیت 200 ارسال کنیم.

 

در ابتدا در گوشه سمت چپ بالا، باید “HTML” را از منوی کشویی انتخاب کنید.

سپس روی نماد فیلتر در بالا سمت راست کلیک کنید و فیلتری برای کدهای وضعیت حاوی 200 ایجاد نمایید.

در نهایت روی Export کلیک کنید تا این داده‌ها به‌عنوان فایل CSV ذخیره شوند.

 

با این کار فهرستی از URLهای فعلی و تمام ابرداده‌های پیش فرض که Screaming Frog در مورد آنها جمع‌آوری می‌کند، مانند عنوان‌ها و برچسب‌های سرصفحه در اختیار شما قرار می‌گیرد. این فایل را به‌عنوان origin.csv ذخیره کنید.

نکته مهم: برنامه انتقال سایت با هوش مصنوعی باید مواردی مانند تغییر مسیرهای 301 موجود و همچنین نشانی‌های اینترنتی که ممکن است ترافیکی را در سایت شما ایجاد کند که از طریق خزیدن اولیه قابل دسترسی نیست را در بر بگیرد. این راهنما فقط برای نشان دادن بخشی از این فرآیند مسیردهی URL در نظر گرفته شده است و یک راهنمای جامع نیست.

 

مرحله 3: تکرار مراحل 1 و 2 برای وب سایت استیجینگ

اکنون باید همان داده‌ها را از وب سایت استیجینگ جمع‌آوری کنید تا چیزی برای مقایسه داشته باشیم. بسته به نحوه ایمنی سایت استیجینگ شما، ممکن است لازم باشد در صورت محافظت از رمز عبور، از ویژگی‌هایی مانند تأیید صحت فرم‌های Screaming Frog استفاده کنید.

پس از تکمیل خزیدن، باید داده‌ها را ارسال کنید و این فایل را به عنوان destination.csv ذخیره نمایید.

مرحله اختیاری: پیدا و جایگزین کردن دامنه یا زیردامنه سایت استیجینگ خود برای مطابقت با سایت فعلی

این مرحله در انتقال سایت با هوش مصنوعی اختیاری است. احتمالاً وب‌سایت استیجینگ شما در یک زیر دامنه، دامنه سطح بالا یا حتی دامنه دیگری است که با URL مقصد واقعی ما مطابقت ندارد. به همین دلیل ما از یک تابع Find and Replace در destination.csv خود استفاده می‌کنیم تا مسیر را برای مطابقت با زیر دامنه، دامنه یا دامنه سطح بالا سایت نهایی تغییر دهیم.

برای مثال:

● وب‌سایت فعلی ما مطابق زیر است
https://withcandour.co.uk/
(origin.csv)

● وب‌سایت استیجینگ مطابق زیر است
https://testing.withcandour.dev/
(destination.csv)

● در انتقال سایت با هوش مصنوعی سایت در همان دامنه باقی می‌ماند. این کار فقط یک طراحی مجدد با URLهای مختلف است، بنابراین destination.csv را باز کنید و هر نمونه‌ای از https://testing.withcandour.dev را پیدا کردید با https://withcandour.co.uk جایگزین نمایید.

این کار همچنین به این معنی است که وقتی نقشه و مسیر ریدایرکت ایجاد می‌شود، خروجی درست است و فقط منطق ریدایرکت نهایی باید نوشته شود.

 

مرحله 4: اجرای اسکریپت Google Colab Python

اجرای اسکریپت چهارمین مرحله از انتقال سایت با هوش مصنوعی است. وقتی در مرورگر خود در اسکریپت پیمایش می‌کنید، می‌بینید که به چندین بلوک کد تقسیم شده است و با نگه داشتن ماوس روی هر یک، نماد «play» را به شما نمایش می‌دهد. این گزینه برای مواقعی است که بخواهید هر بار یک بلوک کد را اجرا کنید.

با این حال این اسکریپت فقط با اجرای همه بلوک‌های کد کاملاً کار خواهد کرد که می‌توانید با رفتن به منوی Runtime و انتخاب Run all آن را اجرا کنید.

هیچ پیش نیازی برای اجرای اسکریپت وجود ندارد. این اسکریپت یک محیط ابری ایجاد می‌کند و در اولین اجرا در نمونه شما، نصب ماژول‌های مورد نیاز حدود یک دقیقه طول خواهد کشید.

هر بلوک کد پس از تکمیل، یک تیک سبز کوچک در کنار خود خواهد داشت، اما بلوک کد سوم برای ادامه دادن به ورودی شما نیاز دارد و ممکن است آن را نبینید زیرا احتمالاً برای دیدن درخواست باید به سمت پایین اسکرول کنید‌‌.

مرحله 5: آپلود origin.csv و destination.csv

وقتی دستورالعمل در صفحه ظاهر و از شما خواسته شد، روی «انتخاب فایل‌ها» کلیک کنید و به جایی بروید که فایل origin.csv خود را ذخیره کرده‌اید. هنگامی که این فایل را انتخاب کنید، آپلود خواهد شد و از شما خواسته می‌شود همین کار را برای destination.csv انجام دهید. اجرای دقیق مراحل به شما کمک خواهد کرد تا انتقال سایت با هوش مصنوعی را با موفقیت تمام کنید.

مرحله 6: انتخاب فیلدهایی برای استفاده در تطبیق شباهت

چیزی که این اسکریپت را به ویژه قدرتمند می‌کند، توانایی استفاده از چندین مجموعه ابرداده برای مقایسه شماست. این بدان معناست که اگر در موقعیتی هستید که ساختاری را جابه‌جا می‌کنید که آدرس URL قابل مقایسه نیست، می‌توانید الگوریتم شباهت را بر روی سایر عوامل تحت کنترل خود اجرا کنید، مانند عنوان صفحه یا زیرعنوان.

به هر دو سایت نگاهی بیندازید و سعی کنید عناصری را که نسبتاً بین آنها ثابت باقی می‌مانند بسنجید. به طور کلی توصیه می‌کنیم اگر به نتایج دلخواهتان نمی‌رسید، ساده‌تر شروع کنید و فیلدهای بیشتری اضافه نمایید.

در مثال زیر از انتقال سایت با هوش مصنوعی ما یک قرارداد نام‌گذاری URL مشابه را حفظ کرده‌ایم، اگرچه یکسان نیست و عناوین صفحه ما با کپی کردن محتوا ثابت می‌ماند.

عناصری را که می‌خواهید استفاده کنید انتخاب کنید و روی Let’s Go کلیک نمایید.

مرحله 7: شناخت اجزای اسکریپت

اجزای اصلی اسکریپت all-MiniLM-L6-v2 و FAISS هستند، اما آنها چه هستند و چه می‌کنند؟

all-MiniLM-L6-v2 یک مدل کوچک و کارآمد در سری مدل های MiniLM مایکروسافت است که برای وظایف پردازش زبان طبیعی (NLP) طراحی شده است. MiniLM قرار است داده‌های متنی ما را به بردارهای عددی تبدیل کند که معنای آنها را نشان می‌دهد.

سپس این بردارها جستجوی شباهت را که توسط Facebook AI Similarity Search یا FAISS انجام می‌شود، فعال می‌کنند. FAISS کتابخانه‌ای است که توسط Facebook AI Research برای جستجوی کارآمد شباهت و خوشه‌بندی بردارهای متراکم ایجاد شده است. این کتابخانه به سرعت شبیه‌ترین جفت‌های محتوای ما را در مجموعه داده پیدا می‌کند. انتقال سایت با هوش مصنوعی همین قدر دقیق است و کارها را آسان‌تر می‌کند.

 

مرحله 8: دانلود output.csv و مرتب کردن آن بر اساس similarity_score

output.csv باید به طور خودکار از مرورگر شما دانلود شود. اگر آن را باز کنید می‌بیند که دارای سه ستون است: origin_url، matched_url و similarity_score.

توصیه می‌کنیم که در نرم‌افزار صفحه‌گسترده مورد علاقه‌تان، مرتب‌سازی را بر اساس similarity_score انجام دهید.

در انتقال سایت با هوش مصنوعی امتیاز شباهت به شما میزان تطابق را نشان می‌دهد. نمره شباهت 1 نشان دهنده تطابق دقیق است.

مرحله 9: تایید نتایج به صورت انسانی

به کمترین امتیاز شباهت در برگه خود توجه ویژه داشته باشید. این بخش احتمالاً جایی است که هیچ تطابق مناسب و خوبی پیدا نشده است.

در مثال ما برخی مطابقت‌های ضعیف در صفحه تیم وجود داشت که باعث شد متوجه شویم هنوز همه پروفایل‌های اعضای تیم در سایت استیجینگ ایجاد نشده‌اند. این یک کشف و یافته واقعا مفید در فرایند انتقال سایت با هوش مصنوعی بود.

مرحله 10: تغییر و تکرار

شاید انتقال سایت با هوش مصنوعی در ابتدا سخت به نظر برسد اما نگران نباشید. اگر به نتایج دلخواه نرسیدید، دوباره بررسی کنید که فیلدهایی که برای تطبیق استفاده می‌کنید تا حد امکان بین سایت‌ها ثابت باشند. اگر ثابت نیستند، یک فیلد یا گروه دیگری از فیلدها را امتحان و دوباره اجرا کنید.

سخن پایانی

از کار با هوش مصنوعی خسته نشوید و به تلاش کردن ادامه دهید. انتقال سایت با هوش مصنوعی قوی و دقیق است و ارزش امتحان کردن را دارد. فراموش نکنید که بازرسی و نظارت انسانی همچنان مورد نیاز است اما این نظارت به حداقل زمان نیاز دارد و کارها در زمانی سریعتر و با هزینه کمتری انجام خواهند شد.