بودجه خزش Crawl Budget چیست و چگونه آن را بهینه کنیم؟

اگر مدیر سئو یک وبسایت هستید، احتمالا این موضوع برای شما پیش آمده که محتوای سایت را بروز رسانی کرده‌اید، اما به موقع توسط گوگل ایندکس نشده است. دلیل بروز این اتفاق، چیزی جز تمام شدن بودجه خزش سایت نیست. در این مقاله به طور کامل به شما خواهیم گفت که بودجه خزش چیست و چگونه به سئو سایت کمک می‌کند. تا انتها همراه محسن ام پی باشید.

بودجه خزش (Crawl Budget) چیست؟

همان طور که می‌دانید، گوگل برای بررسی وبسایت‌ها، از خزنده‌هایی استفاده می‌کند که به آنالیز تمامی صفحات و لینک‌های سایت می پردازند. بودجه خزش یا Crawl Budget به تعداد صفحاتی گفته می‌شود که در یک بازه مشخص، توسط خزنده‌های گوگل، ایندکس می‌شوند. عوامل متفاوتی در تعیین بودجه سایت توسط گوگل، تاثیرگذار هستند که در ادامه به بررسی آن‌ها می‌پردازیم.

بودجه خزش سایت چگونه تعیین می‌شود؟

برای مشخص کردن بودجه کراول، گوگل به نکاتی درمورد سایت توجه می‌کند که این نکات را در ادامه آورده‌ایم.

منابع هاست (Crawl limit/ Host load)

هر خزنده زمانی که به سایت شما سر می‌زند، دائما به سرور هاست سایت درخواست ارسال می‌کند. اگر هاست به اندازه کافی قوی نباشد و تعداد این نوع درخواست‌ها نیز زیاد شود، ممکن است سایت از دسترس خارج شود و به اصطلاح Down شود! به همین دلیل زمانی که گوگل می‌خواهد بودجه خزش شما را تعیین کند، ابتدا به میزان منابع سایتتان دقت می‌کند و مطمئن می‌شود که هاست، گنجایش ظرفیت بالای خزش را دارد یا خیر؟

گوگل برای اینکه بفهمد هاست وبسایتتان چه ظرفیتی دارد، دو مسئله را بررسی می‌کند:

1. بررسی دفعاتی که هاست در زمان خزش ربات‌ها با مشکل روبرو شده است.
2. بررسی تعداد سایت‌های مستقر بر روی سرور اصلی

میزان فعالیت در سایت و تولید محتوا (Crawl Demand/ Crawl Scheduling)

مورد بعدی که گوگل با توجه به آن، بودجه کراول یک سایت را مشخص می‌کند، میزان فعالیت‌های صورت گرفته در سایت است. درواقع گوگل با توجه به فعالیت‌های یک سایت، می‌فهمد که سایت مورد نظر لایق چه میزانی از بودجه است.

هر وبسایتی با افزایش فعالیت خود می‌تواند تقاضای خزش بیشتری از گوگل داشته باشد. زمانی که این موتور جستجو، تلاش‌های یک وبسایت برای بهتر شدن را ببیند، به عنوان جایزه، بودجه خزش بیشتری را به آن اختصاص می‌دهد. گوگل با بررسی لینک‌های خروجی و داخلی، نوع دسته بندی صفحات و میزان تولید محتوا در یک بازه مشخص، بودجه را تعیین می‌کند.

حتما بخوانید: سئو تکنیکال چیست و چگونه انجام می‌شود؟

چرا Crawl Budget مهم است؟

عدم توجه به بودجه خزش، سبب بروز مشکلاتی در بهینه سازی سایت می‌شود. در ادامه به شما خواهیم گفت چرا توجه به این مقوله اهمیت دارد.

دزدی محتوا

زمانی که بودجه کراول سایت کم باشد، محتواها به صورت منظم ایندکس نمی‌شوند. در فاصله انتشار محتوا و ایندکس شدن آن، ممکن است بسیاری از افراد سودجو محتوای شما را کپی کنند و در سایت خود که بودجه کراول بیشتری دارد، منتشر کنند. با این کار محتوای آنان زودتر ایندکس شده و محتوایی که شما تولید کرده‌اید، از نظر گوگل کپی شناخته می‌شود. بنابراین بودجه کراول به ایندکس شدن به موقع محتواهای شما و عدم دزدیده شده مطالبتان کمک بسیاری می‌کند.

جذب ترافیک بیشتر

زمانی که بودجه کراول سایت بالا باشد، با انتشار یک محتوا در مورد موضوعی جدید، سریعا ایندکس می‌شود. ایندکس سریع یک موضوع جدید که در بازه زمانی مشخص پرجستجو است، سبب می‌شود بازدیدکنندگان بالایی به سایت شما هدایت شوند. با انجام این کار حتی می‌توانید رتبه یک گوگل را به خود اختصاص دهید! این امر تاثیر مثبتی در بهینه سازی سایت شما خواهد داشت.

در صورت پایین بودن بودجه کراول، فعالیت‌ها و به روز رسانی‎هایی که درسایت انجام می‌دهید، به موقع توسط گوگل دیده نمی‌شود و همواره چند گام از رقبای خود عقب می‌مانید.

حتما بخوانید: ریدایرکت چیست و استفاده از انواع مختلف آن چگونه است؟

دلایلی که باعث هدر رفتن بودجه خزش سایت می‌شود، کدامند؟

همان‌طور که پیش از این هم اشاره کردیم، بهینه‌سازی بودجه خزش، یعنی آن‎که هیچ کراول باجتی را از دست ندهید. کارشناسان مربوطه، کراول سایت‌های گوناگونی را بررسی کردند و دریافتند که اکثر سایت‌های با بودجه خزش پایین، درگیر مشکلات مشابهی هستند؛ به همین دلیل بودجه آن‎ها هدر می‌رود. این مشکلات ساده اما بزرگ قادرند سایت شما را با کمبود بودجه خزش روبرو کنند. از طرفی، با برطرف کردن آن‎ها می‌توانید سایتتان را در سریع‎ترین زمان ممکن از نظر کراول بهینه‌سازی کنید تا صفحات مهمتان زودتر ایندکس شوند. عواملی که ممکن است شما را با این مشکلات روبرو کنند، به شرح زیر هستند:

وجود پارامترهای فیلتر محصولات در URL

آدرس اکثر وبسایت‌ها، مخصوصا سایت‌های فروشگاهی، پارامترهایی دارند که می‌توانید از آن‌ها به منظور فیلتر کردن محصولات یا محتوا استفاده نمایید. زمان استفاده از فیلترهای محصول در آنلاین شاپ‌ها، معمولا از urlهایی که پارامتر دارند، استفاده می‎شود. به‌کارگیری این ویژگی‌ها خیلی کارآمد است، فقط باید به این اطمینان برسید که برای موتورهای جستجو غیرقابل دسترس باشند. برای آن‎که این موارد را از چشم ربات‌های گوگل دور نگه دارید، می‎توانید از فایل robots.txt استفاده کنید و به آن‌ها بفهمانید که نباید این صفحات را کراول کنند.

اگر به هر دلیلی این مورد در دسترستان نبود، از تنظیمات مدیریت پارامتر URL در سرچ کنسول گوگل و Bing Webmaster Tools استفاده نمایید. علاوه بر این، می‎توان به لینک‌های فیلتر خود، خصوصیت nofollow نیز اضافه کنید. البته این نکته را به یاد داشته باشید که از مارس 2020 گوگل تصمیم گرفت که لینک‌های nofollow را نادیده بگیرد و کار خودش را انجام دهد. بنابراین توصیه می‎کنیم که تا حد امکان از روش اول استفاده نمایید.

وجود محتوای تکراری (Duplicate) در سایت

صفحاتی که محتواهای کاملا یکسان داشته باشند، با نام محتوای تکراری شناخته می‌شوند. به عنوان مثال، صفحات کپی شده، صفحات نتایج جستجوهای داخلی و تگ پیج‎ها از این دسته محتواها هستند. برای آن‎که ربات‌های موتورهای جستجو وقت خود را در صفحات تکراری تلف نکنند و بودجه خزش شما را هدر ندهند، باید تا حد امکان از ایجاد محتواهای تکراری جلوگیری کنید و یا میزان آن‌ها را کاهش دهید.

به منظور برطرف کردن مشکل صفحات تکراری در سایت‌هایی که با وردپرس طراحی شده‌اند، لازم است مطالبی که نسبت به سایرین کامل‎تر هستند را نگه دارید و بقیه را حذف کنید. سپس با استفاده از پلاگین Redirection و سایر افزونه‎های آن، مطلب قدیمی را به محتوای جدیدی که ایجاد کرده‌اید، ریدایرکت کنید.

لینک‌های شکسته

منظور از لینک‌های شکسته همان‌هایی هستند که منجر به باز شدن صفحاتی می‌شوند که دیگر وجود ندارند! این دسته از پیوندها، موتورهای جستجو را به بن‌بست می‌رسانند. به همین دلیل باید تلاش کنید تا جای ممکن، وجود آن‎ها را در سایت خود به حداقل برسانید. روشن است که با اصلاح این نوع آدرس‌ها، می‎توانید کسری بودجه خزش خود را مجددا به دست آورید. همچنین می‎توانید به صورت قابل توجهی تجربه کاربری بازدیدکنندگان سایت خود را نیز بهبود بخشید. علاوه بر موارد گفته شده، سایر مواردی که باعث از بین رفتن بودجه خزش سایت شما می‌شوند، عبارتند از:

• URLهای اشتباه در سایت مپ
• صفحاتی با سرعت بارگذاری پایین
• تعداد بالای صفحات غیرقابل ایندکس
• ساختار لینک بیلدینگ غیراستاندارد

جمع بندی پایانی

منظور از بودجه خزش، میزان صفحاتی است که در یک بازه مشخص توسط ربات‌های گوگل یا همان خزنده‌ها، ایندکس می‌شوند. چنان چه میزان بودجه اختصاص یافته به سایت شما کافی نباشد، در مقطعی از زمان با مشکل روبرو خواهید شد. مشکلی که این موضوع برای سایتتان ایجاد می‌کند، ایندکس نشدن به موقع محتواهای جدید و به روزرسانی‌ها می‌باشد. همین امر سبب دزدی محتوا از سایت، کاهش بازدیدکنندگان و در نتیجه آسیب به سئو سایت خواهد شد.

پیشنهاد ویژه: آموزش سئو پیشرفته و بهینه سازی وبسایت

امیدواریم این مقاله برای شما کاربردی و مفید بوده باشد. به نظر شما برای اینکه مطمئن شویم، بودجه سایت ما به هدر نمی رود و خزنده های گوگل به درستی تمام صفحات هدف ما را ایندکس می کنند، چه کارهایی را نباید انجام دهیم؟ نظرات ارزشمندتان را با ما به اشتراک بگذارید.