چگونه از ایندکس شدن سایت جلوگیری کنیم؟ شاید طرح این سوال برای شما عجیب باشد. اما خوب است بدانید که جلوگیری از ایندکس شدن سایت در بعضی مواقع می تواند کارساز باشد و به بهبود وضعیت وب سایت کمک شایانی نماید.
در بهینه سازی موتورهای جستجو، هدف معمول این است که تعداد صفحات وب سایت شما توسط موتورهای جستجو مانند گوگل ایندکس و خزیده شود. تصور رایج این است که انجام این کار می تواند منجر به رتبه بندی بهتر سئو شود. با این حال، ممکن است همیشه اینطور نباشد. اغلب اوقات، لازم است که به عمد از ایندکس کردن صفحات خاصی از وب سایت توسط موتورهای جستجو برای بهبود سئو سایت جلوگیری شود. یک مطالعه نشان داده است که ترافیک جستجوی ارگانیک پس از حذف صفحات وب تکراری 22 درصد افزایش یافته است، در حالی که Moz افزایش 13.7 درصدی در ترافیک جستجوی ارگانیک پس از حذف صفحات کم ارزش را گزارش کرده است.
در ادامه با ما همراه باشید تا با راه های جلوگیری از ایندکس شدن سایت آشنا شوید.
کدام صفحات سایت نباید ایندکس شوند؟
همانطور که گفته شد، لازم نیست تمام صفحات وب سایت شما توسط موتورهای جستجو ایندکس شوند. به طور معمول، این صفحات شامل موارد زیر می شوند:
- صفحات فرود برای تبلیغات
- صفحات حریم خصوصی و سیاست
- صفحات ادمین
- صفحات تکراری (به عنوان مثال، محتوای مشابه ارسال شده در چندین وب سایت متعلق به یک شرکت)
- صفحات کم ارزش (به عنوان مثال محتوای قدیمی از سال ها قبل. اما توجه داشته باشید صفحات قدیمی ارزشمند نیازی به حذف شدن از وب سایت ندارند)
البته به شما پیشنهاد می کنیم پیش از حذف این صفحات از ایندکس گوگل، حتما یک فهرست ممیزی تهیه نمایید تا بتوانید رویکرد سیستماتیک داشته باشید.
راه های جلوگیری از ایندکس شدن سایت
چهار راه برای حذف فهرست صفحات وب از موتورهای جستجو وجود دارد: متاتگ noindex، تگ X-Robots، فایل robots.txt، و از طریق Google Webmaster Tools.
استفاده از متاتگ noindex
مؤثرترین و ساده ترین ابزار برای جلوگیری از ایندکس شدن برخی صفحات وب توسط گوگل، استفاده از متاتگ noindex است. این دستورالعمل به خزنده های موتورهای جستجو می گوید که یک صفحه وب را ایندکس نکنند؛ بنابراین در نتایج موتورهای جستجو نشان داده نخواهند شد.
نحوه اضافه کردن متاتگ noindex:
تنها کاری که باید انجام دهید این است که تگ زیر را در بخش <head> در کدهای HTML صفحه وارد کنید:
<meta name=”robots” content=”noindex”>
بسته به سیستم مدیریت محتوای شما (CMS)، درج این متاتگ می تواند آسان باشد. برای CMS هایی مانند وردپرس که به کاربران اجازه دسترسی به کد منبع را نمی دهند، از افزونه ای مانند Yoast SEO استفاده کنید. نکته ای که در اینجا باید به آن توجه داشت این است که شما باید این کار را برای هر صفحه ای که می خواهید از ایندکس خارج کنید، انجام دهید.
علاوه بر این، اگر می خواهید موتورهای جستجو هم صفحه وب را ایندکس نکنند و هم پیوندهای موجود در آن صفحه را دنبال نکنند، از "noindex" با متاتگ "nofollow" استفاده نمایید:
<meta name=”robots” content=”noindex,nofollow”>
استفاده از X-Robots-Tag در تگ هدر
یکی دیگر از راه های جلوگیری از ایندکس شدن سایت، استفاده از X-Robots-Tag است. شما می توانید این تگ را در هدر پاسخ HTTP یک URL اضافه نمایید. این کار اثر مشابه تگ "noindex" را دارد.
نحوه اضافه کردن برچسب X-Robots
بسته به مرورگر وب که استفاده می کنید، یافتن و ویرایش هدر پاسخ HTTP می تواند بسیار مشکل باشد. برای Google Chrome، می توانید از ابزارهای توسعه دهنده مانند ModHeader یا Modify Header Value استفاده نمایید. در زیر نمونه هایی از X-Robots-Tag برای عملکردهای خاص آورده شده است:
- برای حذف فهرست یک صفحه وب:
X-Robots-Tag: noindex
- برای تنظیم قوانین مختلف نمایه سازی برای موتورهای جستجوی مختلف:
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex، nofollow
استفاده از فایل robots.txt
فایل robots.txt عمدتا برای مدیریت ترافیک خزنده موتورهای جستجو برای جلوگیری بارگیری بیش از حد وب سایت با درخواست ها استفاده می شود. البته لازم به ذکر است که این نوع فایل برای مخفی کردن صفحات وب از گوگل نیست. بلکه برای جلوگیری از نمایش تصاویر، ویدئوها و سایر فایل های رسانه ای در نتایج جستجو مورد استفاده قرار می گیرد.
نحوه استفاده از فایل robots.txt برای مخفی کردن فایل های رسانه ای از گوگل
استفاده از robots.txt کار فنی است. اساسا، شما باید از یک ویرایشگر متن برای ایجاد یک فایل متنی استاندارد ASCII یا UTF-8 استفاده کنید و سپس آن فایل را به پوشه اصلی وب سایت خود اضافه نمایید.
استفاده از گوگل وبمستر تولز
از دیگر راه های جلوگیری از ایندکس شدن سایت، استفاده از گوگل وبمستر تولز است. شما می توانید با استفاده از ابزار Google Webmaster's Remove URLs، صفحات را از نتایج جستجوی گوگل به طور موقت خارج نمایید. توجه داشته باشید که این کار فقط برای موتور جست و جوی گوگل قابل اجرا است؛ سایر موتورهای جستجو ابزارهای خاص خود را دارند. همچنین مهم است بدانید که این حذف موقتی است.
نحوه استفاده از ابزار Google Remove URL برای حذف موقت صفحات
این روش بسیار آسان است. ابزار Remove URLs Tool را باز کنید و سایت مورد نظر را در Search Console انتخاب کنید. گزینه Temporarily Hide را انتخاب کرده و URL صفحه را وارد کنید. سپس، Clear URL from cache را انتخاب نمایید تا به طور موقت از Search حذف شود. این صفحه به مدت 90 روز از نتایج جستجوی گوگل پنهان می ماند و همچنین کپی ذخیره شده صفحه و ... را از فهرست گوگل پاک می کند.
ممکن است مدتی طول بکشد تا گوگل درخواست شما را برای حذف صفحه از فهرست بندی خود دریافت کند، که اغلب این مدت زمان می تواند تا چند هفته به طول انجامد.
سخن پایانی
همان طور که خواندید، گاهی لازم است که برخی از صفحات سایت را از فهرست صفحات ایندکس شده گوگل حذف نمایید. روش هایی که در بالا به آن ها اشاره شد، روش هایی آسان برای جلوگیری از ایندکس شدن سایت است که می توانید از آن ها استفاده نمایید. اما به شما پیشنهاد می کنیم برای جلوگیری از هرگونه خطا، حتما از یک مشاوره سئو حرفه ای در این زمینه کمک بگیرید.
