سلام استاد خسته نباشید

تو ویدیو در واقع اومدین روی تمام متون train به tokenizer اموزش دادین. میخواستم بپرسم الان که ایندکس‌ها بر اساس کیورد‌های train ساخته شده آیا نباید روی دیتای test هم tokenizer زد؟ اگر مثلا کیورد جدیدی روی دیتای test باشه چجور tokenize میکنه؟ یا مثلا اگر یک نمونه review جدید بعدا به مدل داده شه که بخواد تشخیص بده و داخل review کلمات جدید باشه الگوریتم چجور کار میکنه؟؟؟