html(); 1- من url سایت دیجی کالا را می‌دهم اما چیزی بر نمی‌گرداند. url سایت هایی دیگر به در ...' /> html(); 1- من url سایت دیجی کالا را می‌دهم اما چیزی بر نمی‌گرداند. url سایت هایی دیگر به در ...' />
۳ رضا محب
در مورد اسکرپینگ دیجی کالا
جامعه پی اچ پی ایجاد شده در ۲۳ اردیبهشت ۱۴۰۲

سلام خدمت شما

$crawler = $client->request('GET'$url );
echo  $crawler->html();

1- من url سایت دیجی کالا را می‌دهم اما چیزی بر نمی‌گرداند. url سایت هایی دیگر به درست کار می‌کنند.چه راه کاری پیشنهاد می‌دهید؟

2-بعضی از سایت ها  css شان را این کتابخانه به درستی لود نمی‌کند این را چطوری این سایتها هندل می‌کنند؟ مثل https://books.toscrape.com/

با تشکر

سلام،

صفحاتی رو میتونید بگیرید که داینامیک بصورت xhr محتواشون لود نشن. دیجی کالا در حال حاضر بصورت spa پیاده شده اما صفحات داخلی محصولات فک میکنم بشه درخواست ارسال کرد. (طبق تست چند ماه پیشم، شاید الان باز تغییرات داشته باشه. در کل محتوایی رو میتونید با curl بخونید که بصورت ajax لود نشه.)

محسن موحد ۲۳ اردیبهشت ۱۴۰۲، ۰۹:۳۷

آیا راه کاری برای سایت هایی که به صورت spa است وجود دارد؟ شما چه پیشنهاد می‌دهید؟

رضا محب ۲۳ اردیبهشت ۱۴۰۲، ۱۰:۱۷

میتونید از selenium استفاده کنید.

بهترین پاسخ
محسن موحد ۲۳ اردیبهشت ۱۴۰۲، ۱۰:۳۴