سرمایه گذاری متفاوت در سال نو 🍎🌱 ۳۵٪ تخفیف نوروزی ➕ حضور رایگان در مسترمایند نخبگان صنعت نرم‌افزار 💻✅
۰ ثانیه
۰ دقیقه
۰ ساعت
۱ محمدرضا یادگاری
نحوه crawl سایتایی که با اسکرول محتوایشان آپدیت میشود
محسن موحد حل شده توسط محسن موحد

سلام وقتتون بخیر خواستم بدونم سایتایی مثل دیوار که محتواشون با اسکرول اپدیت میشه و تو url تغییری ایجاد نمیشه رو چجوری crawl کنیم؟

سلام،

با ابزار selenium این کارو میتونید انجام بدید.

همچنین بعضی سایت هارو هم میتونید از سربرگ network (inspect مرورگر) ریکوئست هارو چک کنید و درخواست‌های ajax رو endpoint هاشون رو بررسی کنید و تست درخواست مستقیم کنید.

بهترین پاسخ
محسن موحد ۱۸ خرداد ۱۴۰۳، ۲۱:۳۷