Სარჩევი:

როგორ დავგეგმო სასტიკ სამუშაო oozie-ში?
როგორ დავგეგმო სასტიკ სამუშაო oozie-ში?

ვიდეო: როგორ დავგეგმო სასტიკ სამუშაო oozie-ში?

ვიდეო: როგორ დავგეგმო სასტიკ სამუშაო oozie-ში?
ვიდეო: Oozie job scheduling | Big data jobs with Oozie and Shell script 2024, მაისი
Anonim

რომ განრიგი Hive სამუშაო გამოყენებით ოოზი , თქვენ უნდა დაწეროთ ა Hive - მოქმედება.

hql) მასში.

  1. შექმენით დირექტორია HDFS-ში ქვემოთ მოცემული ბრძანების გასროლით.
  2. hadoop fs -mkdir -p /user/ ოოზი /სამუშაო ნაკადები/
  3. განათავსეთ სამუშაო პროცესი. xml, Hive სკრიპტი (create_table. hql) და სკაია - საიტი. xml მე-2 ნაბიჯში შექმნილ დირექტორიაში. შეგიძლიათ გამოიყენოთ ქვემოთ მოცემული ბრძანება.

უბრალოდ, როგორ გავუშვა Hive სკრიპტი oozie-ში?

გაუშვით Hive Jobs Oozie-თან ერთად

  1. მიუთითეთ სკამების ადგილი. xml job-xml პარამეტრში.
  2. მიუთითეთ სკრიპტის სახელი (მაგალითად, სკრიპტი. q), რომელიც შეიცავს hive მოთხოვნას სკრიპტის პარამეტრში.
  3. სურვილისამებრ, დაამატეთ თვისებები, რომლებიც გამოიყენება Oozie გამშვების სამუშაოს მიერ. დაამატეთ პრეფიქსი oozie. გამშვები ქონების სახელებისთვის.

გარდა ამისა, როგორ გავუშვა oozie workflow? Oozie Workflow-ის გაშვება ბრძანების ხაზიდან

  1. შედით ვებ კონსოლში.
  2. დააკოპირეთ oozie მაგალითები თქვენს მთავარ დირექტორიაში ვებ კონსოლში: cp /usr/hdp/current/oozie-client/doc/oozie-examples. tar. გზ.
  3. ამოიღეთ ფაილები tar tar -zxvf oozie-examples.tar.gz-დან.
  4. დააკოპირეთ მაგალითების დირექტორია HDFS hadoop fs -copyFromLocal მაგალითებში.

ამასთან დაკავშირებით, როგორ დავგეგმო Hadoop სამუშაო?

Როგორ სამუშაოების დაგეგმვა in ჰადოპ - კვორა. უმარტივესი გზაა თქვენი კოდის შეფუთვა shell სკრიპტში და განრიგი ის როგორც კრონი სამუშაო ზღვარზე კვანძზე (კვანძი, სადაც ჩვეულებრივ წარადგენთ თქვენს სამუშაო ადგილები ). ჩვეულებრივ, კოდის შეფუთვა სკრიპტში და გაშვება როგორც a სამუშაო ძნელია გამართვა. ტესტირება და შენარჩუნება.

რა არის oozie სამუშაო პროცესი?

ოოზი არის სამუშაო პროცესი გრაფიკის სისტემა Apache Hadoop სამუშაოების მართვისთვის. Oozie Workflow სამუშაოები არის მოქმედებების მიმართული აციკლური გრაფიკები (DAGs). ოოზი კოორდინატორის სამუშაოები განმეორებადია Oozie Workflow სამუშაოები გამოწვეული დროით (სიხშირით) და მონაცემთა ხელმისაწვდომობით. ოოზი არის მასშტაბირებადი, საიმედო და გაფართოებადი სისტემა.

გირჩევთ: