💻 آخرین فرصت یادگیری برنامه‌نویسی با آفر ویژه قبل از افزایش قیمت در ۱۵ آذر ماه (🎁 به همراه یک هدیه ارزشمند )
۰ ثانیه
۰ دقیقه
۰ ساعت
۱ Mahdi Nematshahi
اگز نودها توی سرورهای مجزای فیزیکی باشن
جامعه هوش مصنوعی ایجاد شده در ۲۳ اسفند ۱۴۰۲

با سلام

می خواستم بدونم اگر به عنوان مثال hdfsو hadoop  روی چند سرور مجزا باشد. name node یک سرور مجزا و data nodes چند سرور مجزای فیزیکی باشد. و spark master رو بخوایم روی name node قرار بدیم و data nodes‌ها را بخوایم به عنوان worker برای spark در نظر بگیریم. به چه شکلی تنطیمات انجام می‌شود.

و سوال بعدی اینکه. name node و spark master  امکان redundancy  دارن و اگر بله به چه شکل هست پارامتراش 

ممنونم

سلام

ببینید برای اون باید یه مقداری شبکه بدونید

اینجا توضیح کاملش رو داده:

https://www.youtube.com/watch?v=A-nK0xn7U8s

https://www.youtube.com/watch?v=7MYbar6FLS8

و اینکه name node و spark master را هم میشه به صورت ریداندنت نصب کرد.

برای اینکار باید در فایل xml

dfs.namenode.replication.min

در فایل

hdfs-site.xml

برابر عدد بالاتر قرار دهید.

برای spark master هم توی داکیومنتیشن توضیح داده:

https://docs.datastax.com/en/dse/5.1/docs/spark/auto-elect-spark-master.html

مسعود کاویانی ۰۲ فروردین ۱۴۰۳، ۱۹:۳۵