SQOOP

Apa itu SQOOP di Hadoop?

Apache SQOOP(SQL-to-Hadoop)adalah alat yang dirancang untuk mendukung ekspor dan impor data massal ke dalam HDFS dari penyimpanan data terstruktur seperti database relasional,gudang data perusahaan,dan sistem NoSQL.Ini adalah alat migrasi data berdasarkan arsitektur konektor yang mendukung plugin untuk menyediakan konektivitas ke sistem eksternal baru.
Contoh kasus penggunaan Hadoop Sqoop adalah perusahaan yang menjalankan impor Sqoop setiap malam untuk memuat data hari itu dari RDBMS transaksional produksi ke dalam gudang data Hive untuk analisis lebih lanjut.

Arsitektur Sqoop

Semua sistem manajemen basis data yang ada dirancang dengan standar SQL.Namun,setiap DBMS berbeda sehubungan dengan dialek sampai batas tertentu. Jadi,perbedaan ini menimbulkan tantangan dalam hal transfer data di seluruh sistem.Konektor Sqoop adalah komponen yang membantu mengatasi tantangan ini.

Transfer data antara Sqoop Hadoop dan sistem penyimpanan eksternal dimungkinkan dengan bantuan konektor Sqoop.

Sqoop memiliki konektor untuk bekerja dengan berbagai database relasional populer,termasuk MySQL,PostgreSQL,Oracle,SQL Server,dan DB2.Masing-masing konektor ini tahu bagaimana berinteraksi dengan DBMS yang terkait.Ada juga konektor JDBC generik untuk menghubungkan ke database apa pun yang mendukung protokol JDBC Java.Selain itu,Sqoop big data menyediakan konektor MySQL dan PostgreSQL yang dioptimalkan yang menggunakan API khusus database untuk melakukan transfer massal secara efisien.
Selain itu,Sqoop dalam data besar memiliki berbagai konektor pihak ketiga untuk penyimpanan data,mulai dari gudang data perusahaan(termasuk netezza,teradata,dan oracle)hingga toko NoSQL(seperti Couchbase).Namun,konektor ini tidak disertakan dengan bundel Sqoop;yang perlu diunduh secara terpisah dan dapat ditambahkan dengan mudah ke instalasi Sqoop yang ada.

Bersambung ...