რას იყენებს sqoop მონაცემთა იმპორტისა და ექსპორტისთვის?

2024 ავტორი: Lynn Donovan | [email protected]. ბოლოს შეცვლილი: 2023-12-15 23:49

Sqoop არის ინსტრუმენტი, რომელიც განკუთვნილია გადასატანად მონაცემები Hadoop-სა და რელაციურ მონაცემთა ბაზებს შორის. სკუპი ავტომატიზირებს ამ პროცესის უმეტესობას, ეყრდნობა მონაცემთა ბაზა სქემის აღწერისთვის მონაცემები ყოფნა იმპორტირებული . Sqoop იყენებს MapReduce to მონაცემების იმპორტი და ექსპორტი , რომელიც უზრუნველყოფს პარალელურ მუშაობას და ასევე ხარვეზების ტოლერანტობას.

აქედან გამომდინარე, როგორ გამოვიტანო მონაცემები sqoop-დან?

Ვიწყებთ

1. ნაბიჯი 1: შექმენით ახალი მონაცემთა ბაზა MySQL ინსტანციაში. მონაცემთა ბაზის შექმნა db1;
2. შექმენით ცხრილი სახელად აკად.
3. ნაბიჯი 3: ექსპორტი input.txt და input2.txt ფაილი HDFS-დან MySQL-ში. sqoop ექსპორტი – დაკავშირება jdbc:mysql://localhost/db1 – მომხმარებლის სახელი sqoop – პაროლის ფესვი – ცხრილი acad –export-dir /sqoop_msql/ -m 1.

ასევე, როგორ მუშაობს sqoop-ის ექსპორტი? სკუპი - ექსპორტი Sqoop ექსპორტი ბრძანება ამზადებს INSERT განცხადებებს შეყვანის მონაცემების ნაკრებით, შემდეგ ხვდება მონაცემთა ბაზაში. ეს არის ექსპორტს ახალი ჩანაწერები, თუ ცხრილს აქვს უნიკალური მნიშვნელობის მუდმივი ძირითადი გასაღებით, ექსპორტი სამუშაო მარცხდება, როგორც ჩასმის განცხადება ვერ ხერხდება. თუ თქვენ გაქვთ განახლებები, შეგიძლიათ გამოიყენოთ --update-key ვარიანტი.

ანალოგიურად, ხალხი კითხულობს, როგორ შემიძლია იმპორტირებული მონაცემები sqoop-ში?

აი, რას ნიშნავს Sqoop ბრძანების თითოეული ვარიანტი:

1. დაკავშირება – უზრუნველყოფს jdbc სტრიქონს.
2. მომხმარებლის სახელი – მონაცემთა ბაზის მომხმარებლის სახელი.
3. -P - ითხოვს პაროლს კონსოლში.
4. ცხრილი – ეუბნება კომპიუტერს, რომელი ცხრილის იმპორტი გსურთ MySQL-დან.
5. split-by – განსაზღვრავს თქვენს გამყოფ სვეტს.
6. target-dir – HDFS დანიშნულების დირექტორია.

რა არის sqoop იმპორტი?

სკუპი ინსტრუმენტი' იმპორტი ' გამოიყენება იმპორტი ცხრილის მონაცემები ცხრილიდან Hadoop ფაილურ სისტემაში ტექსტური ან ორობითი ფაილის სახით. შემდეგი ბრძანება გამოიყენება იმპორტი emp ცხრილი MySQL მონაცემთა ბაზის სერვერიდან HDFS-მდე.