Სარჩევი:

რა არის ძირითადი კონფიგურაციის პარამეტრები, რომლებიც მომხმარებელმა უნდა მიუთითოს MapReduce სამუშაოს გასაშვებად?
რა არის ძირითადი კონფიგურაციის პარამეტრები, რომლებიც მომხმარებელმა უნდა მიუთითოს MapReduce სამუშაოს გასაშვებად?

ვიდეო: რა არის ძირითადი კონფიგურაციის პარამეტრები, რომლებიც მომხმარებელმა უნდა მიუთითოს MapReduce სამუშაოს გასაშვებად?

ვიდეო: რა არის ძირითადი კონფიგურაციის პარამეტრები, რომლებიც მომხმარებელმა უნდა მიუთითოს MapReduce სამუშაოს გასაშვებად?
ვიდეო: Example of MapReduce Program 2024, ნოემბერი
Anonim

ძირითადი კონფიგურაციის პარამეტრები, რომლებიც მომხმარებლებმა უნდა მიუთითონ "MapReduce" ჩარჩოში, არის:

  • ჯობს შეყვანის ადგილები განაწილებულ ფაილურ სისტემაში.
  • ჯობს გამომავალი ადგილმდებარეობა განაწილებულ ფაილურ სისტემაში.
  • მონაცემთა შეყვანის ფორმატი.
  • მონაცემთა გამომავალი ფორმატი.
  • კლასი, რომელიც შეიცავს რუკის ფუნქციას.
  • კლასი, რომელიც შეიცავს შემცირების ფუნქციას.

აქ, რა არის ძირითადი კონფიგურაციის პარამეტრები MapReduce პროგრამაში?

"MapReduce" ჩარჩოს ძირითადი კონფიგურაციის პარამეტრებია:

  • შეიყვანეთ სამუშაოების მდებარეობა განაწილებულ ფაილურ სისტემაში.
  • სამუშაოების გამომავალი მდებარეობა განაწილებულ ფაილურ სისტემაში.
  • მონაცემთა შეყვანის ფორმატი.
  • მონაცემთა გამომავალი ფორმატი.
  • კლასი, რომელიც შეიცავს რუკის ფუნქციას.
  • კლასი, რომელიც შეიცავს შემცირების ფუნქციას.

შეიძლება ისიც იკითხოს, რა პარამეტრები აქვს მაპერები და რედუქტორები? რუკების მწარმოებლებისთვის ოთხი პარამეტრია:

  • LongWritable (შეყვანა)
  • ტექსტი (შეყვანა)
  • ტექსტი (შუალედური გამომავალი)
  • IntWritable (შუალედური გამომავალი)

ასევე კითხვაა, რა არის MapReduce სამუშაოს ძირითადი კომპონენტები?

  • დრაივერის ძირითადი კლასი, რომელიც უზრუნველყოფს სამუშაოს კონფიგურაციის პარამეტრებს.
  • Mapper კლასი, რომელიც უნდა გაფართოვდეს org. აპაჩი. ჰადოპ. რუკის შემცირება. Mapper კლასი და უზრუნველყოს map () მეთოდის განხორციელება.
  • რედუქტორი კლასი, რომელიც უნდა გაგრძელდეს ორგ. აპაჩი. ჰადოპ. რუკების შემცირება. შემცირების კლასი.

რა არის partitioner და როგორ ეხმარება ის MapReduce სამუშაო პროცესში?

გამყოფი in MapReduce სამუშაო execution აკონტროლებს შუალედური რუქის გამოსავლების კლავიშების დაყოფას. Ერთად დახმარება ჰეშის ფუნქციის, კლავიშის (ან კლავიშის ქვეჯგუფი) გამომდინარეობს დანაყოფი . ჩანაწერები, როგორც ერთი და იგივე გასაღების მნიშვნელობის მქონე, იგივეა დანაყოფი (თითოეული რუქის ფარგლებში).

გირჩევთ: