რა არის მონაცემთა დამუშავების ძრავა Amazon Elastic MapReduce-ის უკან?

2024 ავტორი: Lynn Donovan | [email protected]. ბოლოს შეცვლილი: 2023-12-15 23:49

Amazon EMR იყენებს Apache Hadoop-ს, როგორც მის განაწილებას მონაცემთა დამუშავების ძრავა . Hadoop არის ღია წყარო, Java პროგრამული უზრუნველყოფის ჩარჩო, რომელიც მხარს უჭერს მონაცემები - ინტენსიური განაწილებული აპლიკაციები, რომლებიც მუშაობენ დიდ კლასტერებზე დან სასაქონლო აპარატურა.

უფრო მეტიც, რა არის Amazon Elastic MapReduce?

Amazon Elastic MapReduce ( EMR ) არის ამაზონის ვებ სერვისები ( AWS ) ინსტრუმენტი დიდი მონაცემების დამუშავებისა და ანალიზისთვის. Amazon EMR ამუშავებს დიდ მონაცემებს ვირტუალური სერვერების Hadoop კლასტერში Amazon Elastic გამოთვლა ღრუბელი ( EC2 ) და ამაზონი მარტივი შენახვის სერვისი ( S3 ).

გარდა ამისა, სრულად იმართება Amazon EMR? Ეს არის სრულად მართავს მონაცემთა ტბის სერვისი, რომელსაც შეუძლია მონაცემთა შენახვის გამოთვლა გამოთვლითი რესურსებიდან და ამის ნაცვლად, გამოთვლის კლასტერებს გახდის მასშტაბურს, მისაწვდომს მოთხოვნისამებრ გამოსაყენებლად და მოიცავს მრავალ კლასტერს ერთსა და იმავე მონაცემთა ნაკრებებზე ერთდროულად წვდომის შესაძლებლობას.

შეიძლება ასევე იკითხოთ, როგორ მუშაობს AWS EMR?

ზოგადად, როდესაც თქვენ ამუშავებთ მონაცემებს Amazon EMR , შეყვანა არის ფაილების სახით შენახული მონაცემები თქვენს მიერ არჩეულ ძირითად ფაილურ სისტემაში, მაგ ამაზონი S3 ან HDFS. ეს მონაცემები გადადის ერთი საფეხურიდან მეორეზე დამუშავების თანმიმდევრობით. საბოლოო ნაბიჯი წერს გამომავალ მონაცემებს მითითებულ ადგილას, როგორიცაა ამაზონი S3 bucket.

რა განსხვავებაა ec2-სა და EMR-ს შორის?

განსხვავებით EMR , EC2 არ ანაწილებს სლავურ კვანძებს ძირითად და ამოცანების კვანძებად. ეს ზრდის HDFS მონაცემების დაკარგვის რისკს კვანძის წაშლის/დაკარგვის შემთხვევაში. EC2 იყენებს Apache ბიბლიოთეკებს (s3a) s3-ზე მონაცემებზე წვდომისთვის. Მეორეს მხრივ, EMR იყენებს AWS საკუთრების კოდს s3-ზე უფრო სწრაფი წვდომისთვის.