بودجه خزش (Crawl Budget) مشخص می کند که کراولر گوگل چقدر سایت شما را کراول کند و آپدیت های آن را ایندکس کند. اگر سایتی فعالیت بالایی داشته باشد و در روز چندین بار آپدیت شود، بودجه بیشتری دریافت می کند و کراولر بیشتر به آن سر می زند. و همچنین اگر سایتی فعالیتش کم باشد، مثلا در ماه یکی دو بار آپدیت شود، کراولر دیرتر آن سایت را کراول می کند. به این صورت گوگل می تواند منابع کراولر خود را مدیریت کند و بهبود دهد.
حالا در این مقاله می خواهیم دقیق تر بودجه خزش (Crawl Budget) را تعریف کنیم، اهمیت آن را در سئو بگوییم و راهکار هایی را برای بهبود بودجه خزش مطرح کنیم. همچنین در دوره آموزش سئو نیز در این مورد و سایر نکات سئو صحبت کرده ایم که پیشنهاد می شود این دوره را هم ببینید.
فهرست عناوین مقاله
بودجه خزش (Crawl Budget) چیست؟
بودجه خزش (Crawl Budget) میزان کراول شدن سایت شما توسط گوگل در روز است. گوگل قرار نیست در هر لحظه که سایت را آپدیت می کنید، در سایت حضور داشته باشد. بسته به فعالیت و نوع سایت شما، ممکن است از چند دقیقه تا حتی چند هفته یک بار به سایت شما سر بزند و آن را کراول کند. پس هر چه کراولر گوگل سریع تر و بیشتر سایت شما را کراول کند، آپدیت های سایت شما هم سریع تر بررسی و ایندکس می شوند.
اما گوگل برای مدیریت فعالیت کراولر خود، برای هر سایت، یک نرخ خزش یا بودجه خزش در نظر می گیرید تا مطمئن شود کراولر خود، برای سایت هایی که در ماه یکی دو بار آپدیت می شوند، هر روز و هر ساعت کراول نکند و بودجه آن سایت را کم می کند تا بتواند منابع خود را مدیریت کند. اما اگر سایتی فعالیت زیادی دارد، مثل سایت های خبری که روزانه شاید بیش از 100 خبر هم در سایت منتشر کنند، بودجه خزش آن سایت بیشتر می شود تا صفحات جدید را سریع تر ایندکس کند.
کراولر چیست و چگونه کار می کند؟
کراولر یک ربات مثل ربات های گوگل (Googlebot) است و لینک های موجود در سایت ها کراول یا خزش می کند. ساده تر بگویم، کراول کردن یا خزش کردن همان بررسی کردن لینک ها و صفحات است. کراولر ابتدا فایل robots.txt را چک می کند تا مطمئن شود به چه قسمت هایی از سایت اجازه دسترسی دارد یا ندارد و سپس تمام لینک ها و صفحات سایت را بررسی می کند.
زمانی که کراولر وارد یک صفحه می شود، داخل آن صفحه باز هم لینک هایی وجود دارند، پس لینک های آن صفحه را هم بررسی می کند. باز هم آن صفحه لینک هایی دارد و باز هم کراولر آن صفحات را بررسی می کند و این کار ادامه پیدا می کند.
گوگل به دلایل مختلفی احساس می کند که لینکی باید کراول شود. مثلا شاید یک لینکی از سایت را در جایی دیده است و شروع به کراول کردن آن کرده است، یا لینک را در یک شبکه اجتماعی دیده است، یا حتی ممکن است آپدیتی در سایت مپ XML سایت انجام شده باشد و … . دلایل خیلی زیادی برای کراول کردن یک لینک وجود دارد.
چرا باید حواسمان به بودجه خزش سایت باشد؟
بودجه خزش تا زمانی که یک سایت تعداد صفحاتش زیاد نباشد، مهم نیست. اما اگر یک سایتی تعداد صفحاتش زیاد باشد، مثلا 250000 تا باشد، اما گوگل هر روز فقط 2500 صفحه از این سایت را کراول کند، اینجاست که مشکل وجود دارد. زمان زیادی باید بگذرد تا سایت کامل کراول شود و از آپدیت های جدید آن در صفحات مختلف با خبر شود. به همین دلیل باید سعی کنیم بودجه خزش را بهبود دهیم تا گوگل صفحات بیشتری از سایت ما را هر روز کراول کند.
حالا برای این که متوجه شویم وضعیت بودجه خزش سایت ما الان چطور است، کار های زیر را انجام دهید:
- ابتدا بدانید که سایت شما چه تعداد صفحه یا URL دارد. مثلا می توانید از سایت مپ خود این موضوع را متوجه شوید.
- به گوگل سرچ کنسول سایت خود مراجعه کنید.
- به بخش Legacy Tools و سپس Craw Stats بروید و عدد میانگین تعداد صفحاتی که در روز کراول می شود (Pages crawled per day) را ببینید.
- حالا تعداد کل صفحات سایتتان را بر این میانگین عدد کراول در روز تقسیم کنید.
- اگر عدد به دست آمده بالای 10 بود، یعنی باید بودجه خزش خود را بهبود دهید. این به این معناست که مثلا اگر این عدد 10 بود، یعنی گوگل 10 برابر بیش از تعداد صفحاتی که گوگل کراول می کند، شما صفحه در سایت دارید که در روز کراول نمی شود. اما اگر این عدد زیر 10 بود، تقریبا مشکلی ندارید و اگر زیر 3 بود، بودجه خزش شما به درستی بهینه است.
برای نمونه بالا فرض می کنیم یک سایت 7000 URL دارد و میانگین صفحات کراول شده توسط گوگل، طبق آمار گوگل سرچ کنسول، 1500 صفحه است. 7000 را تقسیم بر 1500 می کنیم و به عدد 4.6 می رسیم. پس بودجه خزش این سایت وضعیت خوبی دارد. حالا اگر یک سایتی 50000 هزار URL دارد و در روز 2000 صفحه کراول می شود، اگر 50000 را تقسیم بر 2000 کنیم، به عدد 25 می رسیم که این عدد به معنای بهینه نبودن کراول باجت یا همان بودجه خزش است و باید روی این سایت کار شود.
اگر می خواهید بدانید گوگل چه صفحاتی از سایت شما را در روز کراول می کند، می توانید log های سرور هاست خود را بررسی کنید.
راه های افزایش و بهینه سازی بودجه خزش (Crawl Budget)
خب و اما در اینجا می خواهیم بدانید که چطور می توانید بودجه خزش سایت خود را افزایش دهیم تا گوگل صفحات بیشتری از سایت را کراول کند و بیشتر و سریع تر، صفحات جدید و آپدیت های سایت ما را ایندکس کند.
ارور های سایت را برطرف کنید
صفحات سایت شما باید بدون ارور باشند. اگر بخواهم کمی فنی تر صحبت کنم، باید کد وضعیت 200 را برگردانند. کد وضعیت 200 بیان گر این است که این صفحه به درستی نمایش داده می شود و خطایی ندارد. اگر هم با کد 301 ریدایرکت شوند هم مشکلی نیست (به شرطی که زیاد نباشد). سایر کد ها به این معناست که یک خطا یا مشکلی در صفحه وجود دارد که باید رفع شود.
برای پیدا کردن این خطا ها می توانید از گوگل سرچ کنسول و نرم افزار هایی مانند Screaming Frog کمک بگیرید. در گوگل سرچ کنسول و بخش Coverage بخشی از این خطا ها وجود دارند (البته اگر خطا داشته باشید). نرم افزار Screaming Frog نیز تمام سایت شما را کراول می کند و مشکلات آن را به شما می گوید. می توانید تمام صفحاتی که کد وضعیتی به جز 200 دارند را ببینید و مشکل را شناسایی و رفع کنید. روش این کار را در دوره آموزش سئو گفته ایم.
شاید بپرسید چرا این اررو ها باعث ایجاد مشکل در بودجه خزش می شود. گفتیم وقتی کراولر گوگل وارد سایت می شود، تمام لینک های داخل سایت را بررسی می کند. حالا اگر کراولر مدام با انواع خطا ها مواجه شود، پس صفحات کمتری را کراول می کند تا منابع کراولر گوگل برای ارور ها هدر نرود.
بخش های اضافی سایت را ببندید
اگر بخش هایی از سایت شما قرار نیست داخل گوگل ایندکس شوند، پس آن ها را برای گوگل ببندید. این کار را می توانید از طریق فایل robots.txt انجام دهید. مثلا بعضی از فروشگاه های اینترنتی بزرگ، بخش هایی از URL هایی که مخصوص فیلتر محصولات در دسته بندی ها است را می بندند. چون قرار نیست این فیلتر ها در گوگل ایندکس شوند. به این صورت بودجه خزش آن ها بهبود پیدا می کند.
البته بستن این گونه URL ها یا حتی استفاده از فایل robots.txt بسیار حساس است و باید کامل به آن مسلط باشید. در صورت عدم آشنایی، ممکن است مشکل بزرگتری برای سایت خود ایجاد کنید!
زنجیره های ریدایرکت را کم کنید
گاهی وقت ها زمانی که یک ریدایرکت 301 ایجاد می کنیم، پس از مدتی به هر دلیلی آن لینک جدید را هم دوباره به یک صفحه دیگر ریدایرکت می کنیم. یعنی از صفحه A به B و از B به C ریدایرکت می شود! این یک مشکل است و به آن زنجیره ریدایرکت می گوییم. یا حتی بدتر از آن ممکن است از صفحه A به B و از B به A ریدایرکت کنیم! به این صورت یک حلقه ریدایرکت به وجود می آید که اصلا برای سایت خوب نیست.
همچنین زمانی که https یا www های دامین را می خواهیم کنترل کنیم نیز ممکن است مشکلاتی پیش بیاید. ما باید تمام این ریدایرکت های اضافی را شناسایی کنیم و آن ها را به ساده ترین شکل ممکن پیاده کنیم تا خزنده گوگل زمان زیادی را در این ریدایرکت ها هدر ندهد و صفحات با اهمیت را بیشتر کراول کند. از نرم افزار Screaming Frog نیز می توانید بخشی این ریدایرکت ها را پیدا کنید.
بک لینک های بیشتری دریافت کنید
گرفتن بک لینک های بیشتر نیز به خزش بیشتر سایت شما منتهی می شود. بک لینک داشتن علاوه بر افزایش اعتبار سایت و شناخته شدن بیشتر در محیط وب، به بهینه سازی بودجه خزش نیز کمک می کند و باعث می شود کراولر گوگل بیشتر به سایت شما سر بزند. مبحث لینک سازی بسیار گسترده است و نمی توان در یکی دو مقاله در مورد آن صحبت کرد. پیشنهاد می کنم حتما دوره آموزش سئو را تهیه کنید تا این مبحث را هم یاد بیگرید تا سئو سایت خود را روز به روز بهبود دهید.
جمع بندی
در این مقاله یاد گرفتیم که بودجه خزش (Crawl Budget) یعنی تعداد صفحاتی که در روز خزنده گوگل سایت ما را کراول می کند. گفتیم که اگر سایت شما خیلی بزرگ نیست و URL های زیادی ندارد، شاید نیازی به بهینه سازی بودجه خزش نداشته باشید. اما اگر سایتی بزرگ با چند هزار URL دارید، باید نرخ خزش را بهبود دهید.
برای بهینه سازی بودجه خزش نیز کافیست ارور های سایت را رفع کنید، زنجیره های ریدایرکت را برطرف کنید، بخش های اضافی سایت را بلاک کنید، بک لینک بیشتری نیز دریافت کنید. همچنین بهینه سازی سرعت و کم حجم نگه داشتن صفحات نیز می توانید به بهبود بودجه خزش کمک کند.
در آخر چند پیشنهاد ویژه هم برای شما داریم. شما می توانید کتاب آموزش سئو را به صورت رایگان از سایت دانلود کنید. همچنین یک چک لیست سئو سایت آماده کرده ایم که به بهینه سازی سئو سایت شما کمک می کند. همچنین اگر هدف شما این است که سئو را کامل یاد بگیرید، پیشنهاد ما دوره آموزش سئو است.
امیدوارم این مقاله برای شما مفید بوده باشد و اطلاعات خوبی در مورد بودجه خزش (Crawl Budget) و بهینه سازی آن به دست آورده باشید. اگر سوال یا نظری دارید، از بخش نظرات همین مطلب با ما در میان بگذارید.
منبع: Yoast
