💻 آخرین فرصت یادگیری برنامه‌نویسی با آفر ویژه قبل از افزایش قیمت در ۵ آذر ماه (🎁 به همراه یک هدیه ارزشمند )
۰ ثانیه
۰ دقیقه
۰ ساعت
۱ مصطفی کیانفرد
آیا در وب اسکرپینگ آی پی سرور بلاک می‌شود؟
امیر صالحی حل شده توسط امیر صالحی

سلام وقت بخیر

بنده درمورد وب اسکرپینگ یک سوال دارم

اینکه بفرض من روزانه هزارتا یا بیشتر بازدید صفحه دارم و باید هر بار اطلاعات رو از سایت موردنظر کپی کنم

آیا این امکان هست که با جاوا اسکریپت همچین درخواستی را به سایت مورد نظر زد؟ یا باید همه درخواست‌ها از سرور من زده بشه؟ تو این روش آی پی سرورم بلاک نمیشه که در طول روز چند هزاربار درخواست زده باشم؟

سلام و احترام

بله این امکان وجود داره که شما با جاوااسکریپت هم crawling کنید. به طور پیش فرض سایتی شما رو بلاک نمیکنه مگر اینکه سایت مقصد محدودیتی گذاشته باشه.

در خواست‌های شما زمانی خطر ناک میشود که سایت مقصد رو به قصد تخریب هدف گرفته باشید وگرنه Crawler شما مثل یک مرورگر رفتار میکنه و قصد تخریب به سایت مقصد رو نداره.

بهترین پاسخ
امیر صالحی ۰۴ آبان ۱۳۹۹، ۰۵:۵۵