რა არის Emrfs?
რა არის Emrfs?

ვიდეო: რა არის Emrfs?

ვიდეო: რა არის Emrfs?
ვიდეო: What is AWS EMR | Introduction to Amazon EMR | Intellipaat 2024, ნოემბერი
Anonim

EMR ფაილური სისტემა ( EMRFS ) არის HDFS-ის იმპლემენტაცია, რომელსაც ყველა Amazon EMR კლასტერი იყენებს Amazon EMR-დან რეგულარული ფაილების წასაკითხად და პირდაპირ Amazon S3-ზე. მონაცემთა დაშიფვრა საშუალებას გაძლევთ დაშიფროთ ობიექტები, რომლებიც EMRFS წერს Amazon S3-ს და ჩართავს EMRFS Amazon S3-ში დაშიფრულ ობიექტებთან მუშაობისთვის.

ამასთან დაკავშირებით, რა არის Emrfs თანმიმდევრული შეხედულება?

The EMRFS თანმიმდევრული ხედი ქმნის და იყენებს მეტამონაცემებს Amazon DynamoDB ცხრილში ა თანმიმდევრული ხედვა თქვენი S3 ობიექტებიდან. ეს ცხრილი აკონტროლებს გარკვეულ ოპერაციებს, მაგრამ არ ინახავს თქვენს მონაცემებს.

რა განსხვავებაა s3 და s3a-ს შორის? Ეს არის შორის განსხვავება სამი: s3 არის ბლოკზე დაფუძნებული გადაფარვა ამაზონის თავზე S3 , ხოლო s3n/ s3a არ არის. ეს არის ობიექტზე დაფუძნებული. s3n მხარს უჭერს 5 გბ-მდე ობიექტებს, როდესაც ზომა შეშფოთებულია, ხოლო s3a მხარს უჭერს 5 ტბ-მდე ობიექტებს და აქვს უფრო მაღალი შესრულება.

შესაბამისად, იყენებს თუ არა EMR HDFS-ს?

EMR ფაილური სისტემა (EMRFS) თქვენ შეგიძლია გამოიყენო ან HDFS ან Amazon S3, როგორც ფაილური სისტემა თქვენს კლასტერში. ყველაზე ხშირად, Amazon S3 არის გამოიყენება შეყვანისა და გამომავალი მონაცემების შესანახად და შუალედური შედეგები ინახება HDFS.

რა არის s3a?

S3A (URI სქემა: s3a ) მემკვიდრე S3 მშობლიური, s3n fs, the S3a : სისტემა იყენებს ამაზონის ბიბლიოთეკებს ურთიერთობისთვის S3 . ეს საშუალებას იძლევა S3a უფრო დიდი ფაილების მხარდასაჭერად (არაუმეტეს 5 GB ლიმიტი), უფრო მაღალი ხარისხის ოპერაციები და სხვა.

გირჩევთ: