چیزی در رابطه با Crawl Budget یا بودجه خزش می‌دانید؟ تا به حال برای شما پیش آمده است که محتوای سایت خود را آپدیت کنید یا محتوایی جدید را منتشر کنید ولی خیلی دیر توسط کراول یا خزنده گوگل ایندکس شود؟ دلیل این اتفاق را می‌دانید؟ این اتفاق مربوط به Crawl Budget یا بودجه خزش است. در ادامه با مثالی ساده آن را برای شما باز خواهیم کرد.
Crawl Budget یا بودجه خزش چیست؟
یک شهر را در نظر بگیرید که شهردار آن هر روز یک تایم را برای سرکشی به شهر می‌رود. اینکه شهردار از کدام نقاط بازدید کند به نامه‌هایی که در طول روز دریافت می‌کند بستگی دارد.
Crawl Budget گوگل همان مدت زمانی است که شهردار برای بازدید از سایت می‌گذارد. بودجه خزش به میزان توجهی که کراول یا خزنده‌های گوگل برای سایت شما می‌گذارند است.
آیا Crawl Budget یا بودجه خزش محدودیت دارد؟
میزان نرخ خزیدن خزنده‌های موتورهای جستجو نسبت به موارد مختلف، متفاوت است. در نتیجه گوگل به کمک دو پارامتر Crawl Limit و Crawl Demand، بودجه‌ای مشخص را برای خزیدن در هر سایت بررسی می‌کند.
Crawl Limit
هر دفعه که خزنده‌های گوگل، صفحه‌ی سایت شما را بررسی می‌کنند، برای سرور درخواستی ارسال می‌شود که منابع سایت در دسترس هستند. در صورتی که تعداد درخواست‌های Googlebot زیاد باشد، سرور سایت شما نمی‌تواند همه درخواست‌ها را پاسخ دهد و در نهایت سایت شما از دسترس خارج می‌شود. سؤالی که پیش می‌آید این است که گوگل چگونه می‌فهمد که بودجه و ظرفیت خزیدن در سایت شما چقدر است؟ گوگل از دو راه زیر ظرفیت سایت شما را می‌سنجد:
خطاهای سرور: اگر سایت برای مدتی به سرعت پاسخ دهد، بودجه خزش افزایش پیدا می‌کند. در صورتی که سرعت سایت کاهش یابد یا با خطاهای سرور پاسخ دهد Crawl Budget کاهش می یابد و ربات گوگل کمتر می‌خزد.
سایت‌های فعال در هاست: برخی از سایت‌ها بر روی هاست‌های اشتراکی اجرا می‌شوند. به این صورت که بیش از ۱۰۰ سایت دیگر نیز بر روی این هاست فعال هستند. در نتیجه نرخ کراول سایت شما محدودیت‌های زیادی خواهد داشت.
پیشنهاد می‌کنیم اگر سایت شما بر روی هاست مشترک است، به جای آن از یک هاست اختصاصی استفاده کنید. در این صورت نرخ خزش و سرعت بالا آمدن صفحات شما افزایش می‌یابد.
Crawl Demand
گوگل با این پارامتر ارزش‌گذاری می‌کند که صفحه مورد نظر ارزش کراول شدن دارد یا خیر. گوگل بر چه اساسی بر روی سایت شما ارزش‌گذاری می‌کند؟
محبوبیت صفحه شما: صفحاتی که محبوبیت بیشتری دارند، نسبت به دیگر صفحات بیشتر کراول می‌شوند. تعداد لینک‌های داخلی و خارجی صفحه شما و همچنین جایگاه شما در کلمه کلیدی مورد نظر محبوبیت صفحه شما را نشان می‌دهد.
آپدیت بودن محتوا: برای گوگل به روز بودن سایت شما اهمیت زیادی دارد. در نتیجه لازم است چند وقت یک بار صفحات سایت خود را آپدیت کنید. ربات گوگل در صفحات قدیمی که آپدیت نمی‌شوند کمتر می‌خزد.
چگونه Crawl Budget یا بودجه خزش در سئو تاثیر گذار است؟
اگر خزنده گوگل صفحه شما را ایندکس نکند، هیچ رتبه‌ای به دست نخواهید آورد. در نتیجه اگر تعداد صفحاتی که دارید از بودجه خزیدن سایت شما بیشتر باشد، برخی از صفحات سایت شما ایندکس نمی‌شوند. در نتیجه در هیچ نتیجه‌ای از گوگل قرار نخواهید گرفت و سئو سایت شما کاهش می‌یابد.
هدف شما از سئو این است که موتورهای جستجو تا جایی که امکان دارد در صفحات شما بخزند. هر چقدر گوگل زودتر این کار را بکند، سریع‌تر نتیجه می‌گیرید. هدف از تولید محتوا به‌روز و یا آپدیت کردن محتوای قدیمی این است که خزنده‌های موتور جستجو زودتر صفحات شما را ایندکس کنند.
اما در صورتی که Crawl Budget یا بودجه خزش سایت خود را هدر دهید، موتورهای جستجو نمی‌توانند وب سایت شما را بررسی کنند.
شهردار شهری که گفتیم را به خاطر آورید. اگر نامه‌هایی که شهردار دریافت می‌کند، بازدید از نقاط بی‌اهمیت باشد، زمان بازدید شهردار در یک روز تمام می‌شود و فایده‌ای برای مردم شهر هم ندارد.
برای Crawl Budget نیز به همین صورت است. اگر بودجه خزش را هدر دهید، موتورهای جستجو نمی‌توانند وب سایت شما را به طور موثر بررسی کنند. در نتیجه زمانی که خزنده‌های گوگل روی سایت شما می‌گذارند بی‌تأثیر خواهد بود و سایت شما همچنان ناشناخته خواهد ماند.
مانند شهرداری که از نقاطی که خبر ندارد بازدید نمی‌کند، خزنده‌های گوگل هم صفحاتی که اطلاعی از آن‌ها ندارد را ایندکس نمی‌کنند. در نتیجه بازدیدکننده‌ای از نتایج گوگل وارد سایت شما نخواهد شد. همانطور که می‌بینید با هدر دادن بودجه خزش، به سئو سایت خود ضربه می‌زنید.
چگونه Crawl Budget یا بودجه خزش سایت خود را افزایش دهیم؟
با توجه به تجربه به دست آمده از کار با گوگل، می‌بینیم رابطه‌ای قوی بین اعتبار صفحه و بودجه خزش وجود دارد. هر چقدر اعتبار صفحه سایت شما بیشتر باشد بودجه خزش آن نیز بیشتر می‌شود. در نتیجه هر چقدر بودجه خزیدن سایت شما افزایش یابد، اعتبار سایت شما هم بیشتر می‌شود. در ادامه مواردی که موجب کاهش بودجه خزش در سایت شما می‌شود را بررسی می‌کنیم:
محتوای تکراری
مواظب باشید سایت شما محتوای تکراری و یا خیلی مشابه نداشته باشد. برای مثال محتوایی که در سایت خود منتشر می‌کنید نباید کپی باشد، عنوان آن مشابه با دیگری باشد و یا برچسب‌های آن تکراری و کپی باشند. از نظر ربات‌های گوگل محتوای تکراری ارزش کراول شدن را ندارد.
محتوای بی‌ارزش و بی‌کیفیت
به هیچ وجه محتوای بی‌کیفیت در سایت خود نگذارید. محتوایی که در سایت شما قرار می‌گیرد باید کامل و باکیفیت باشد. صفحات بی‌ارزش میزان Crawl Budget یا بودجه خزش سایت شما را تا حد زیادی هدر می‌دهند. در نتیجه پیشنهاد می‌کنیم اگر محتوایی کوتاه و بی‌کیفیت لازم است در سایت شما قرار بگیرد، آن را در دسترس ربات‌های گوگل نگذارید.
لینک‌های ریدایرکت شده
بودجه خزش خود را صرف ریدایرکت‌ها نکنید. ریدایرکت‌ها باعث می‌شوند ربات گوگل به اشتباه بیفتد و سردرگم شود. با سردرگم شدن خزنده‌های گوگل، میزان Crawl Budget سایت شما هدر می‌رود. در نتیجه پیشنهاد می‌کنیم تا جایی که امکان دارد از ریدایرکت و لینک‌های شکسته استفاده نکنید.
سرعت لود صفحات پایین
اگر سرعت بالا آمدن صفحات شما پایین است، زودتر برای اصلاح آن‌ها اقدام کنید. در صورتی سرعت سایت شما پایین باشد و یا لود نشوند، ربات‌های گوگل به این نتیجه می‌رسند که سایت شما نمی‌تواند پاسخگوی ربات‌های هوشمند گوگل باشند. در نهایت بودجه خزش سایت شما کاهش خواهد یافت.
سریع‌تر کردن سایت، تجربه کاربران سایت شما را بهبود می‌دهد و در نتیجه نرخ خزیدن صفحات سایت شما را بیشتر می‌کند. برای ربات گوگل سایتی که سرعت بیشتری داشته باشد نشان‌دهنده سرورهای سالم است.
لینک‌سازی غیراصولی در ساختار سایت
هنگام لینک‌سازی توجه داشته باشید که کدام صفحه اهمیت بیشتری دارد. برای مثال دسته‌بندی محصولات شما نسبت به درباره ما اهمیت بیشتری دارد. در صورتی که در لینک‌سازی بیشتر بر روی درباره ما تمرکز کنید، بودجه خزش سایت خود را هدر خواهید داد.
سؤالات شما درباره Crawl Budget یا بودجه خزش
اشتراک گذاری:
میزان پیشرفت :
خدمات ما
- آنالیز سئو
- خدمات سئو
- مشاوره سئو
- طراحی سایت
- استراتژی سئو
