نحوه عملکرد خزنده وب در صفحات سایت

نحوه عملکرد خزنده وب در صفحات سایت

نحوه عملکرد خزنده وب در صفحات سایت

 

خزنده وب چگونه کار می کند

خزنده وب ، همانطور که در مقاله خزنده وب چیست بیان کرده بودیم، نوعی نرم افزار است.

وظیفه آن خزیدن در میان صفحات وب و جستجو در میان لینک ها و مطالب است.

در همین حین محتویات سایت را پردازش، رتبه بندی و ذخیره می کند.

این داده ها در سرورهای موتورهای جستجو ذخیره می شود و این عمل به صورت مکرر انجام می گردد.

 

در ابتدا خزنده وب کار خود را با چند آدرس سایت که توسط سرور مشخص شده است شروع می کند.

برای اینکار متون مندرج در صفحات اصلی و لینک های متصل به آن را بررسی می نماید.

سپس لینکهای فرعی و متصل به سایت های دیگر را دنبال کرده تا تمام زنجیره را مشخص کند.

به این روش تجسس، مرز خزش یا Crowl Frontier گفته می شود.

مرز خزش در واقع محدوده ای است که جستجو در آن به طور منظم و دقیق صورت می گیرد.

 

معمولاً در صفحات سایت، لینکها خزنده وب را به صفحات دیگر سایت و سایهای متصل هدایت می کند.

گاهی اوقات نیز ممکن است خزنده را به طور کلی از سایت اولیه و هدف خارج کنند.

در این صورت خزنده وب آنقدر لینک های جدید را دنبال کرده تا به صفحه پایانی زنجیره لینک ها برسد.

سپس به صفحات قبل رجوع کرده و فرآیند را از شاخه ای دیگر از سر می گیرد.

این عمل را تا رتبه بندی و ثبت تمامی لینک های موجود در یک صفحه انجام می دهد.

درخواست مجوز

قبل از شروع بازدید و بررسی سایت، خزنده وب به سروری که سایت در آن راه اندازی شده درخواست ورود و بازدید میدهد.

این درخواست نوعی کسب مجوز جهت ایجاد دسترسی به داده ها و کدنویسی های سایت شماست.

این بازبینی همانند ورود شما به سایت از طریق صفحه مرورگر است.

اما تفاوتهایی بین موارد نمایش داده شده برای شما و خزنده وب وجود دارد.

آنچه که در اختیار خزنده قرار می گیرد فقط متن و کدنوسی است و هیچ عکس و ویدیو یا صوت در آن نیست.

این متون به صورت کد های HTML و مبتنی بر زبان برنامه نویسی java، c+، c و … است.

البته اگر شناختی از این زبان ها نداشته باشید برای شما کاملا نامفهوم هستند.

خزنده وب در مدت زمانی مشخص و به صورت مکرر درخواست بازدید را به سرور ارسال می کند.

 

حالت Over Load

در مواردی در خواست مجوز به سایت هایی داده می شود که برای بارگذاری اطلاعات انبوه و متمرکز آماده نبوده و برنامه نویسی نشده اند.

در این حالت عملیات دچار مشکل شده و سایت درگیر Over Load یا سر باره می شود.

سر باره یعنی بارگذاری و پردازش حجم داده بیشتر از پهنای باندی که سرور به سایت اختصاص داده است.

ایجاد حالت سر باره سبب کاهش شدید سرعت بارگذاری سایت و در مواقعی حتی باعث از کار افتادن سایت نیز می شود.

در این صورت خزنده وب به مدت محدود به ارسال درخواست ادامه می دهد.

در نهایت ممکن است پاسخ به درخواست آنقدر طول بکشد که خزنده از بازدید سایت منصرف می شود.

 

نمره منفی و اخراج

در این صورت خزنده وب از سایت خارج شده و به بازدید سایت های دیگر مشغول می شود.

این امر باعث کاهش رتبه و امتیاز سایت شما می شود.

البته خزنده برای تکمیل کار خود باز هم به سایتی که مشکل دارد برگشته و درخواست بازدید را ارسال می نماید.

در صورت بروز مشکل، باز هم به ارسال درخواست البته در مدت محدود ادامه می دهد.

 

اما اگر بازهم سایت در دادن مجوز به خزنده وب مشکل داشت، خزنده به کلی از بازدید سایت منصرف می شود.

سپس سایت را به عنوان اسپم شناسایی می کند.

این عمل منجر به مسدود شدن سایت شما میشود.

۱۳۹۷/۳/۱۶ ۶:۱۰:۵۵