برای اینکه در نتایج برتر گوگل رنک بگیرید، لازم است که سایت شما از لحاظ فنی و محتوایی، کیفیت بالایی داشت باشد. بسیاری از امور فنی با پلاگین ها و کد های برنامه نویس ها و ابزار ها قابل پیاده سازی است تا بتوانید روز به روز رنک سایت خود را بهتر کنید. اما بعضی از مفاهیم هستند که باید آن ها را بدانید تا بهتر این مباحث تکنیکال سئو را درک کنید و پیاده کنید. در این مطلب می خواهیم با مفهوم Crawlability یا قابلیت کراول سایت آشنا شویم. با فصل وردپرس همراه باشید.
فهرست عناوین مقاله
Crawl یا کراول چیست؟
یک موتور جستجو شامل کراول، ابزار ایندکس و الگوریتم است. کراول لینک های داخل وب را چک می کند. وقتی کراول یا همان گوگل بات ها سایت شما را پیدا می کنند، سایت را رندر می کنند، صفحات را می خوانند و ذخیره می کنند.
کراولر ها همان ربات هایی هستند که لینک های سطح وب را بررسی می کنند. در طول روز و هر دقیقه لینک هایی که سر راه خود می بینند را وارد می شوند، محتوای آن را بررسی و ایندکس (یا همان ذخیره) می کنند و باز هم وارد لینک های آن صفحه می شوند. هر بار که کراول یا ربات ها به صفحات تکراری برخورد کنند، باز هم محتوا را بررسی می کنند و اگر به روز رسانی انجام شده باشد، آن را به روز شده ذخیره می کنند. البته اینکه کراولر ها چقدر به سایت شما وارد شوند و چقدر از صفحات سایت شما را بررسی کنند، به پارامتر های مختلفی بستگی دارد. هر چه سایت فعالیت بیشتری داشته باشید و لینک های بیشتری از سایر سایت ها دریافت کرده باشند یا فعالیت خوبی در شبکه های اجتماعی داشته باشند، کراولر ها بیشتر به آن سایت سر می زنند.
اما Crawlability یا قابلیت کراول سایت یعنی چه؟
قابلیت کراول شدن سایت یعنی اینکه ما شرایط را برای کراول بهتر توسط گوگل یا ربات های سایر موتور های جستجو فراهم کنیم. این شرایط توسط موارد فنی در سایت قابل پیاده سازی است. حتی می توانید قابلیت کراول شدن را برای موتور های جستجو ببندید و دیگر به سایت شما سر نزنند! یعنی وقتی کراولر می خواهد وارد سایت شما شود، پیام ورود ممنوع را ببیند!
چند مورد است که باعث می شود کراولر سایت شما را کراول و در نتیجه ایندکس نکنند:
- اگر ربات های کراولر را توسط فایل robots.txt بسته باشید، گوگل وارد سایت شما نخواهد شد.
- قبل از کراول شدن سایت، کراولر به HTTP Header سایت نگاه می کند و کد وضعیت (Status Code) آن را بررسی می کند. اگر کدی برگردانده شود که نشان دهنده این باشد که این صفحه وجود ندارد، گوگل دیگر آن را کروال نمی کند.
- اگر از طریق متاتگ ها یک صفحه خاص را برای کراولر موتور های جستجو مانند گوگل بسته باشید. شما می توانید از طریق این متاتگ ربات، به گوگل بگویید صفحه را کراول کند یا خیر، و همچنین ایندکس کند یا خیر.
خب با توجه به موارد بالا، باید متوجه شده باشید که چه موارد مهمی را باید چک کنید تا سایت به خوبی کراول شود. ابتدا مطمئن شوید دسترسی ربات های گوگل را از طریق فایل robots.txt نبسته باشید. سپس وضعیت کد صفحات خود را چک کنید. همچنین متاتگ ربات صفحه را بررسی کنید تا مشکلی نباشد. این موارد را برای کل سایت خود می توانید با نرم افزار Screaming Frog انجام دهید.
اما اگر می خواهید سایت شما بهتر کراول شود و صفحات بیشتری از سایت شما توسط ربات های گوگل خزش یا کراول شود، چند نکته را (جدا از موارد بالا) باید به شما بگوییم.
- سعی کنید از سایت های معتبر بک لینک دریافت کنید. در این مورد خاص، سایت هایی که سریعتر کراول و ایندکس می شوند، در اولویت قرار دارند.
- سعی کنید فعالیت خوبی در شبکه های اجتماعی که می توان لینک قرار داد (مثل توییتر و فیسبوک) داشته باشید. البته فعالیت باید هدفمند باشد و صرفا گذاشته لینک نباشد. سعی کنید پیچ فعالی در آن شبکه اجتماعی داشته باشید.
- مشکلات فنی سایت خود را رفع کنید. خطا های سرچ کنسول خود را رفع کنید.
- سرعت سایت خود را بهینه سازی کنید تا کراولر بهتر و سریع تر صفحات بیشتری از سایت شما را بررسی کند.
- از لینک های داخلی به خوبی استفاده کنید. سعی کنید شبکه ای از لینک ها را در سایت خود داشته باشید. با مفهوم تاپیک کلاستر آشنا شوید.
- حتما سایت مپ سایت خود را بسازید و در گوگل سرچ کنسول ثبت کنید.
- سعی کنید یک روتین محتوایی داشته باشید و منظم و با برنامه پیش برید.
جمع بندی
در این مقاله با مفهوم کراول و Crawlability یا قابلیت کراول سایت آشنا شدیم. گفتیم ابتدا بررسی کنید که سایت برای کراولر ها به راحتی قابل دسترسی باشد و چند راهکار برای کراول بهتر و سریع تر گفتیم. با انجام این امور سایت شما وضعیت بهتری از این بابت خواهد داشت.
