نحوه crawl سایتایی که با اسکرول محتوایشان آپدیت میشود
حل شده توسط
محسن موحد
سلام وقتتون بخیر خواستم بدونم سایتایی مثل دیوار که محتواشون با اسکرول اپدیت میشه و تو url تغییری ایجاد نمیشه رو چجوری crawl کنیم؟
سلام،
با ابزار selenium این کارو میتونید انجام بدید.
همچنین بعضی سایت هارو هم میتونید از سربرگ network (inspect مرورگر) ریکوئست هارو چک کنید و درخواستهای ajax رو endpoint هاشون رو بررسی کنید و تست درخواست مستقیم کنید.