💻 آخرین فرصت یادگیری برنامه‌نویسی با آفر ویژه قبل از افزایش قیمت در ۱۵ آذر ماه (🎁 به همراه یک هدیه ارزشمند )
۰ ثانیه
۰ دقیقه
۰ ساعت
۳ hesam.mosaffa
دادن یک خبر جدید به الگوریتم
مسعود کاویانی حل شده توسط مسعود کاویانی

سلام استاد.

من می‌خوام یک متن خبر جدید به الگوریتم بدم.

الان چطور باید TFIDF رو برای 1 خبر برست بیارم؟ چون دیگه مجموعه داده نداریم فقط 1 سطر داریم و دیگه بنظر IDF معنی نداره.

میشه لطف کنید دادن یک خبر جدید رو توضیح بدین تا این مثال برام کاربردی جا بیفته.

ممنون

برای تکمیل و کامل‌تر شدن سوالی که پرسیدم شاید این توضیحات کمک کنه:
زمانی که داده‌های آموزش را وارد میکنیم تعداد خبر‌ها زیاد است و وقتی TFIDF انجام میشه IDF هر کلمه بدست میاد.
حالا ما یه خبر جدید می‌نویسیم و می‌خوایم به الگوریتم بدیم.
الان چجوری باید TFIDF رو محاسبه کرد؟ الان ۱ خبر داریم و مجموعه خبری نداریم که IDF را نسبت به اون مجموعه محاسبه کنیم.  
توی دیتای تست چون از دل دیتای اصلی بدست امده بود IDF قابل محاسبه هست ولی وقتی یک خبر جدید وارد الگوریتم میشود باید چیکار کرد که بتونیم ان را به الگوریتم برای پیشبینی بدهیم.

یا بصورت کلی من چجوری میتونم یک title و body جدیدی که توی مجموعه train و test نیست رو به الگوریتم بدم و پیش بینی کنه؟
من خیلی گیج شدم ممنون میشم راهنمایم کنید.

hesam.mosaffa ۱۱ اسفند ۱۴۰۲، ۲۳:۱۷

سلام آقای دکتر
من تصویر ۱ مطابق آموزش‌ها از داده‌های آموزشی متغییر X بدست امد و این ماتریس ۱۰۹۹۹ در ۶۰۵۵۵ بود.
در تصویر ۲ و ۳ من امدم یک اخبار جدید به مدل بدم برای پیش بینی.
همانطور که در تصویر ۳ مشخص است بعد از آماده سازی دیتا و vectorizer کردن ان برداری که بدست آمد ۱در ۱۹۴ است.
این بردار را نمی‌توتن به مدل داد چون تعداد feature هاش با انچیزی که مدل باهاش آموزش دیده فرق داره.
ممنون میشم راه حل این موضوع را آموزش بدین.

1-KVaN.png2-xA7g.png3-m4mm.png
hesam.mosaffa ۱۲ اسفند ۱۴۰۲، ۰۷:۴۵

سلام

خبر جدید رو نباید دیگه 
fit_transform

کنید. در واقع اخبار جدید که از راه میرسن، فقط باید با استفاده از vectorization قبلی 

transform
بشن. برای این موضوع در سرفصل

ساخت و انتشار نرم‌افزار مبتنی بر یادگیری م...

براتون مبحث داده‌های جدید رو باز کردم

بهترین پاسخ
مسعود کاویانی ۱۷ اسفند ۱۴۰۲، ۰۸:۲۳