Სარჩევი:

როგორ დავიწყო ჩემი spark History სერვერი?
როგორ დავიწყო ჩემი spark History სერვერი?

ვიდეო: როგორ დავიწყო ჩემი spark History სერვერი?

ვიდეო: როგორ დავიწყო ჩემი spark History სერვერი?
ვიდეო: Introduction to Spark History Server and how to keep it running 2024, მაისი
Anonim

Spark ისტორიის სერვერის ჩასართავად:

  1. შექმენით დირექტორია მოვლენების ჟურნალებისთვის DSEFS ფაილურ სისტემაში: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. როდესაც მოვლენის აღრიცხვა ჩართულია, ნაგულისხმევი ქცევა არის ყველა ჟურნალის შენახვა, რაც იწვევს მეხსიერების ზრდას დროთა განმავლობაში.

ამის გარდა, როგორ დავაყენო spark History სერვერი?

Spark ისტორიის სერვერის ჩასართავად:

  1. შექმენით დირექტორია მოვლენების ჟურნალებისთვის DSEFS ფაილურ სისტემაში: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. როდესაც მოვლენის აღრიცხვა ჩართულია, ნაგულისხმევი ქცევა არის ყველა ჟურნალის შენახვა, რაც იწვევს მეხსიერების ზრდას დროთა განმავლობაში.

ანალოგიურად, როგორ ვიპოვო ჩემი Spark History სერვერის URL? მაგ., ამისთვის ისტორიის სერვერი , ისინი ჩვეულებრივ ხელმისაწვდომი იქნება სერვერი - url >:18080/api/v1 და გაშვებული აპლიკაციისთვის, მისამართზე https://localhost:4040/api/v1. API-ში აპლიკაციის მითითება ხდება მისი აპლიკაციის ID-ით, [app-id].

ანალოგიურად, რა არის Spark History სერვერი?

The Spark history სერვერია მონიტორინგის ინსტრუმენტი, რომელიც აჩვენებს ინფორმაციას დასრულებული ნაპერწკალი აპლიკაციები. Ეს ინფორმაცია არის ამოღებულია მონაცემებიდან, რომლებსაც აპლიკაციები ნაგულისხმევად წერენ Hadoop Distributed File System (HDFS) დირექტორიაში.

რა არის სპარკუი?

Spark Web UI გაძლევთ საშუალებას იხილოთ განრიგის ეტაპებისა და ამოცანების სია, გარემოსდაცვითი ინფორმაცია, ინფორმაცია გაშვებული შემსრულებლების შესახებ და სხვა. უყურეთ ამ 30-წუთიან დემო ვერსიას, რათა შეიტყოთ: Spark პროგრამის კომპონენტები და სიცოცხლის ციკლი. როგორ მუშაობს თქვენი Spark აპლიკაცია Hadoop კლასტერზე.

გირჩევთ: