როგორ მიიღწევა მონაცემთა ლოკალიზაცია Hadoop-ში?

2024 ავტორი: Lynn Donovan | [email protected]. ბოლოს შეცვლილი: 2023-12-15 23:49

მონაცემთა ლოკალიზაცია in ჰადოპ . მიიღეთ Wordcount მაგალითი, სადაც სიტყვების უმეტესობა მეორდება 5 ლაკზე ან მეტჯერ. ამ შემთხვევაში Mapper-ის ფაზის შემდეგ, რუკების თითოეულ გამომავალს ექნება სიტყვები 5 Lacs-ის დიაპაზონში. Mapper გამომავალი LFS-ში შენახვის ამ სრულ პროცესს ეწოდება მონაცემთა ლოკალიზაცია.

ამის გათვალისწინებით, რა არის მონაცემთა ლოკალიზაცია Hadoop-ში?

კონცეფცია მონაცემები ლოკაციაში Hadoop Data ლოკაციაში MapReduce ეხება გამოთვლის რეალურთან ახლოს გადატანის შესაძლებლობას მონაცემები ცხოვრობს კვანძზე, დიდი გადაადგილების ნაცვლად მონაცემები გამოთვლებამდე. ეს ამცირებს ქსელის გადატვირთულობას და ზრდის სისტემის მთლიან გამტარუნარიანობას.

ასევე, როგორ ინახება დიდი მონაცემები? ადამიანების უმეტესობა ავტომატურად აკავშირებს HDFS-ს ან Hadoop Distributed File System-ს Hadoop-თან მონაცემები საწყობები. HDFS ინახავს ინფორმაციას კლასტერებში, რომლებიც შედგება პატარა ბლოკებისგან. ეს ბლოკები არის შენახული ადგილზე ფიზიკურად შენახვა ერთეულები, როგორიცაა შიდა დისკის დისკები.

ასე რომ, როგორ ინახება მონაცემები Hadoop-ში?

Ზე ჰადოპ კასეტური, მონაცემები HDFS-ში და MapReduce სისტემა განთავსებულია კლასტერის ყველა მანქანაზე. მონაცემები არის შენახული in მონაცემები ბლოკები DataNodes-ზე. HDFS იმეორებს მათ მონაცემები ბლოკებს, ჩვეულებრივ 128 მბ ზომით, და ანაწილებს მათ ისე, რომ ისინი მრავლდება კლასტერში რამდენიმე კვანძში.

როგორ ინახება ფაილები HDFS-ში?

HDFS ამხელს ა ფაილი სისტემის სახელთა სივრცე და საშუალებას აძლევს მომხმარებლის მონაცემები იყოს შენახული in ფაილები . შინაგანად, ა ფაილი იყოფა ერთ ან მეტ ბლოკად და ეს ბლოკები არის შენახული მონაცემთა კვანძების ნაკრებში. NameNode ახორციელებს ფაილი სისტემის სახელთა სივრცის ოპერაციები, როგორიცაა გახსნა, დახურვა და სახელის გადარქმევა ფაილები და დირექტორიები.