Untuk menghentikan pengenaan biaya, hapus alur Anda. Menghapus alur Anda akan menghapus definisi alur dan semua objek terkait.
Bagian Dua: Ekspor Data dari DynamoDB
Untuk menghapus alur Anda
1. Pada halaman Daftar Alur, pilih alur Anda.
2. Klik Tindakan, lalu pilih Hapus.
3. Saat diminta konfirmasi, pilih Delete (Hapus).
Bagian Dua: Ekspor Data dari DynamoDB
Ini adalah yang kedua dari dua bagian tutorial yang menunjukkan bagaimana untuk membawa bersama-sama beberapa fitur AWS untuk memecahkan masalah dunia nyata dengan cara yang terukur melalui skenario umum: memindahkan data skema-kurang masuk dan keluar dari DynamoDB menggunakan AWS Data Pipeline.
Tugas
• Sebelum Anda Memulai (p. 99)
• Langkah 1: Buat Alur (p. 100)
• Langkah 2: Simpan dan Validasi Alur Anda (p. 102)
• Langkah 3: Mengaktifkan Alur Anda (p. 102)
• Langkah 4: Pantau Alur Berjalan (p. 103)
• Langkah 5: Memverifikasi File Ekspor (p. 103)
• Langkah 6: Hapus Alarm Anda (Opsional) (p. 103)
Sebelum Anda Memulai
Anda harus menyelesaikan bagian salah satu tutorial ini untuk memastikan bahwa tabel DynamoDB Anda berisi data yang diperlukan untuk melakukan langkah-langkah di bagian ini. Untuk informasi selengkapnya, lihat Bagian Satu: Impor Data ke DynamoDB (p. 94).
Selain itu, pastikan Anda telah menyelesaikan langkah-langkah berikut:
• Selesaikan tugas dalam Pengaturan untuk AWS Data Pipeline (p. 14).
• Buat topik dan berlanggananlah untuk menerima notifikasi dari AWS Data Pipeline mengenai status komponen alur Anda. Untuk informasi lebih lanjut, lihat Buat Topik di Panduan Memulai Amazon SNS.
• Pastikan bahwa Anda memiliki tabel DynamoDB yang dibuat dan diisi dengan data di bagian salah satu tutorial ini. Tabel ini akan menjadi sumber data Anda untuk bagian dua dari tutorial. Untuk informasi selengkapnya, lihat Bagian Satu: Impor Data ke DynamoDB (p. 94).
Waspadai hal-hal berikut:
Biaya layanan yang mendasarinya
Waspadai adanya biaya. AWS Data Pipeline mengelola proses impor/ekspor untuk Anda, tetapi Anda masih membayar untuk layanan AWS dasar yang digunakan. Alur impor dan ekspor akan membuat klaster Amazon EMR untuk membaca dan menulis data dan ada biaya per-instans untuk setiap simpul di klaster. Anda dapat membaca lebih lanjut tentang detail Harga Amazon EMR. Konfigurasi klaster default adalah salah satu simpul master instans m1.small dan satu simpul tugas instans m1.xlarge, meskipun Anda dapat mengubah konfigurasi ini dalam definisi alur. Ada juga biaya untuk AWS Data Pipeline. Untuk informasi selengkapnya, lihat AWS Data PipelineHarga dan Harga Amazon S3.
Mengimpor dapat menimpa data
Ketika Anda mengimpor data dari Amazon S3, impor dapat menimpa item di tabel DynamoDB Anda.
Pastikan bahwa Anda mengimpor data yang tepat dan ke tabel yang tepat. Berhati-hatilah untuk tidak sengaja menyiapkan alur impor berulang yang akan mengimpor data yang sama beberapa kali.
Bagian Dua: Ekspor Data dari DynamoDB
Mengekspor dapat menimpa data
Ketika Anda mengekspor data ke Amazon S3, Anda dapat menimpa ekspor sebelumnya jika Anda menulis ke alur bucket yang sama. Perilaku default dari templat Ekspor DynamoDB ke S3 akan menambahkan jadwal tugas untuk jalur bucket Amazon S3, yang akan membantu Anda menghindari masalah ini.
Tugas mengonsumsi kapasitas throughput
Tugas Impor dan Ekspor akan mengonsumsi beberapa kapasitas throughput yang ditetapkan tabel DynamoDB Anda. Bagian ini menjelaskan cara menjadwalkan tugas impor atau
ekspor menggunakan Amazon EMR. Klaster Amazon EMR akan mengonsumsi beberapa kapasitas baca selama kapasitas ekspor atau menulis selama mengimpor. Anda dapat mengontrol persentase kapasitas yang ditetapkan bahwa tugas impor/ekspor mengonsumsi dengan dengan pengaturan M yImportJob.myDynamoDBWriteThroughputRatio dan
MyExportJob.myDynamoDBReadThroughputRatio. Sadarilah bahwa pengaturan ini menentukan berapa banyak kapasitas untuk mengonsumsi pada awal proses impor/ekspor dan tidak akan beradaptasi secara langsung jika Anda mengubah kapasitas ditetapkan tabel Anda di tengah proses.
Kapasitas Sesuai Permintaan hanya berfungsi dengan EMR 5.24.0 atau yang lebih baru
Tabel DynamoDB dikonfigurasi untuk kapasitas Sesuai Permintaan didukung hanya bila menggunakan Amazon EMR rilis versi 5.24.0 atau yang lebih baru. Ketika Anda menggunakan templat untuk
membuat alur untuk DynamoDB, pilih Edit di Arsitek lalu pilih Sumber Daya untuk mengonfigurasi klaster Amazon EMR yang disediakan AWS Data Pipeline. Untuk Label rilis, pilih emr-5.24.0 atau yang lebih baru.
Langkah 1: Buat Alur
Pertama, buat alur.
Untuk membuat alur
1. Buka konsol AWS Data Pipeline di https://console.aws.amazon.com/datapipeline/.
2. Layar pertama yang Anda lihat bergantung pada apakah Anda telah membuat alur di wilayah saat ini.
a. Jika Anda belum membuat alur di wilayah ini, konsol tersebut akan menampilkan layar perkenalan. Pilih Mulai Sekarang.
b. Jika Anda telah membuat alur di wilayah ini, konsol akan menampilkan halaman yang mencantumkan alur Anda untuk wilayah tersebut. Pilih Buat alur baru.
3. Di Nama, masukkan nama untuk alur Anda.
4. (Opsional) Di Deskripsi, masukkan deskripsi untuk alur Anda.
5. UntukSumber, pilihMembangun menggunakan template, dan kemudian pilih template berikut: Ekspor tabel DynamoDB ke S3.
6. Di bawah Parameter, atur Nama tabel DynamoDB untuk nama tabel Anda. Klik ikon folder di sebelah Folder output S3, pilih salah satu bucket Amazon S3 Anda, lalu klik Pilih.
7. Di bawah Jadwal, pilih aktivasi pada alur.
8. Di bawah Konfigurasi Alur, biarkan pencatatan diaktifkan. Pilih ikon folder di bawah lokasi S3 untuk log, pilih salah satu bucket atau folder Anda, lalu pilih Pilih.
Jika mau, Anda dapat menonaktifkan pencatatan sebagai gantinya.
9. Di bawah Keamanan/Akses, biarkan IAM role diatur ke Default.
10. Klik Edit di Arsitek.
Bagian Dua: Ekspor Data dari DynamoDB
Selanjutnya, konfigurasi tindakan notifikasi Amazon SNS yang dilakukan AWS Data Pipeline tergantung pada hasil aktivitas.
Untuk mengonfigurasi keberhasilan, kegagalan, dan tindakan notifikasi terlambat 1. Di panel kanan, klik Aktivitas.
2. Dari Menambahkan bidang opsional, pilih Berhasil.
3. Dari yang baru ditambahkanPada keberhasilan, pilihBuat: Tindakan.
4. Dari Menambahkan bidang opsional, pilih Gagal.
5. Dari yang baru ditambahkanPada Gagal, pilihBuat: Tindakan.
6. Dari Menambahkan bidang opsional, pilih Pada Tindakan Terlambat.
7. Dari yang baru ditambahkanPada Tindakan Late, pilihBuat: Tindakan.
8. Di panel kanan, klik Lainnya.
9. Untuk DefaultAction1, lakukan hal berikut:
a. Ubah namanya menjadi SuccessSnsAlarm.
b. Dari Jenis, pilih SnsAlarm.
c. Di Topik Arn, masukkan ARN topik yang Anda buat. Lihat Nama sumber daya ARN untuk Amazon SNS.
d. Masukkan subjek dan pesan.
10. Untuk DefaultAction2, lakukan hal berikut:
a. Ubah namanya menjadi FailureSnsAlarm.
b. Dari Jenis, pilih SnsAlarm.
c. Di Topik Arn, masukkan ARN topik yang Anda buat (lihat Nama sumber daya ARN untuk Amazon SNS.
d. Masukkan subjek dan pesan.
11. Untuk DefaultAction3, lakukan hal berikut:
Bagian Dua: Ekspor Data dari DynamoDB
a. Ubah namanya menjadi LateSnsAlarm.
b. Dari Jenis, pilih SnsAlarm.
c. Di Topik Arn, masukkan ARN topik yang Anda buat (lihat Nama sumber daya ARN untuk Amazon SNS.
d. Masukkan subjek dan pesan.
Langkah 2: Simpan dan Validasi Alur Anda
Important
Jika pipa Anda menggunakan versi rilis Amazon EMR dalam seri 6.x, Anda harus menambahkan tindakan bootstrap untuk menyalin file Jar berikut ke classpath Hadoop di manaMyRegionadalahAWSWilayah tempat pipa Anda berjalan:
s3://dynamodb- dpl-MyRegion/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar. Untuk informasi selengkapnya, lihat Amazon EMR 6.1.0 Rilis dan Hadoop 3.x Jar Dependensi (p. 236).
Selain itu, Anda harus mengubah argumen pertama di bidang langkah di EmrActivitydengan nama TableBackupActivity dari
s3://dynamodb-dpl-MyRegion/emr-ddb- storage-handler/4.11.0/emr-dynamodb-tools-4.11.0-SNAPSHOT-jar-with-dependencies.jar ke s3://dynamodb-dpl-MyRegion/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar.
Anda dapat menyimpan definisi alur Anda di setiap titik selama proses pembuatan. Segera setelah Anda menyimpan definisi alur Anda, AWS Data Pipeline mencari kesalahan sintaks dan nilai yang hilang dalam definisi alur Anda. Jika alur Anda tidak lengkap atau salah, AWS Data Pipeline menghasilkan kesalahan validasi dan peringatan. Pesan peringatan hanya bersifat informasi, namun Anda harus memperbaiki pesan kesalahan sebelum Anda dapat mengaktifkan alur Anda.
Untuk menyimpan dan memvalidasi alur Anda 1. Pilih Simpan alur.
2. AWS Data Pipeline memvalidasi definisi alur Anda dan mengembalikan baik keberhasilan atau kesalahan atau pesan peringatan. Jika Anda menerima pesan kesalahan, pilih Tutup dan kemudian, di panel kanan, pilih Kesalahan/Peringatan.
3. Panel Kesalahan/Peringatan memuat daftar objek yang gagal validasi. Pilih tanda nilai tambah (+) di sebelah nama objek dan cari pesan kesalahan dalam warna merah.
4. Bila Anda melihat pesan kesalahan, buka panel objek tertentu di mana Anda melihat kesalahan dan perbaiki kesalahan tersebut. Misalnya, jika Anda melihat pesan kesalahan di objek DataNodes, buka panel DataNodes untuk memperbaiki kesalahan.
5. Setelah Anda memperbaiki kesalahan yang tercantum dalam panel Kesalahan/Peringatan, pilih Simpan Alur.
6. Ulangi proses sampai alur Anda berhasil memvalidasi.
Langkah 3: Mengaktifkan Alur Anda
Aktifkan alur Anda untuk mulai membuat dan memproses berjalan. Alur dimulai berdasarkan jadwal dan periode dalam definisi alur Anda.
Important
Jika aktivasi berhasil, alur Anda berjalan dan mungkin dikenakan biaya penggunaan. Untuk informasi lebih lanjut, lihat AWS Data Pipeline harga. Untuk menghentikan timbulnya biaya penggunaan untuk AWS Data Pipeline, hapus alur Anda.
Bagian Dua: Ekspor Data dari DynamoDB
Untuk mengaktifkan alur Anda 1. Pilih Aktifkan.
2. Di kotak dialog konfirmasi, pilih Tutup.
Langkah 4: Pantau Alur Berjalan
Setelah Anda mengaktifkan alur Anda, Anda akan dibawa ke halaman Detail eksekusi di mana Anda dapat memantau kemajuan alur Anda.
Untuk memantau kemajuan alur Anda berjalan
1. Pilih Perbarui atau tekan F5 untuk memperbarui status yang ditampilkan.
Tip
Jika tidak ada proses berjalan yang terdaftar, pastikan bahwa Mulai (dalam UTC) dan Akhir (dalam UTC) mencakup awal dan akhir yang dijadwalkan dari alur Anda, lalu pilih Perbarui.
2. Ketika status setiap objek dalam alur Anda adalah FINISHED, alur Anda telah berhasil menyelesaikan tugas yang dijadwalkan. Jika Anda membuat notifikasi SNS, Anda harus menerima email tentang keberhasilan menyelesaikan tugas ini.
3. Jika alur Anda tidak berhasil diselesaikan, periksa pengaturan alur Anda untuk masalah. Untuk
informasi selengkapnya tentang pemecahan masalah yang gagal atau tidak lengkapnya proses instans dari alur Anda, lihat Menyelesaikan Masalah Umum (p. 314).