Pemrosesan Paralel. Haddad Sammir, M.Kom. Arsitektur Memori Komputer Paralel. March 4, 2015

(1)

Pemrosesan Paralel Haddad Sammir, M.Kom

Pemrosesan Paralel

Arsitektur Memori Komputer Paralel

Haddad Sammir, M.Kom

(2)

Proses dan Memori

•

Program dan proses

• Program: File executable atau source code pada bahasa pemrograman tertentu.

• Proses/task: Konsep sistem operasi tentang program yang sedang berjalan.

• Program yang dijalankan (pada shell / command prompt) akan membuat proses baru (spawn/fork).

(3)

Proses dan Memori

•

Program dan proses

(4)

Proses dan Memori

•

Program dan proses

(5)

Proses dan Memori

•

Program dan proses

(6)

Proses dan Memori

•

Program dan proses

(7)

Tinjauan Pembuatan Program

•

Kompiler menterjemahkan kode program ke instruksi yang

dimengerti oleh komputer sesuai dengan spesifikasi

komputer.

•

Linker membuat file executable dan menghimpun instruksi

dan data di segmen yang berbeda.

• Instrusi dimasukkan ke segmen text.

• Data terinisialiasi, data static dan konstanta masuk ke segmen data.

• Data tidak terinisialisasi dimasukkan ke BSS (block started from symbol).

(8)

Tinjauan Pembuatan Program

•

Kompiler menterjemahkan kode program ke instruksi yang

dimengerti oleh komputer sesuai dengan spesifikasi

komputer.

•

Linker membuat file executable dan menghimpun instruksi

dan data di segmen yang berbeda.

(9)

Tinjauan Pembuatan Program

•

Kompiler menterjemahkan kode program ke instruksi yang

dimengerti oleh komputer sesuai dengan spesifikasi

komputer.

•

Linker membuat file executable dan menghimpun instruksi

dan data di segmen yang berbeda.

(10)

Tinjauan Pembuatan Program

•

Kompiler menterjemahkan kode program ke instruksi yang

dimengerti oleh komputer sesuai dengan spesifikasi

komputer.

•

Linker membuat file executable dan menghimpun instruksi

dan data di segmen yang berbeda.

(11)

Tinjauan Pembuatan Program

•

Kompiler menterjemahkan kode program ke instruksi yang

dimengerti oleh komputer sesuai dengan spesifikasi

komputer.

•

Linker membuat file executable dan menghimpun instruksi

dan data di segmen yang berbeda.

(12)

Peta Memory

•

Saat sebuah program dijalankan, text dan dua segmen

lainnya dimuat ke memori.

•

Segmen text menempati lokasi pada bagian terbawah

dengan segment data dan BSS diatasnya.

(13)

Peta Memory

•

Saat sebuah program dijalankan, text dan dua segmen

lainnya dimuat ke memori.

•

Segmen text menempati lokasi pada bagian terbawah

dengan segment data dan BSS diatasnya.

(14)

Peta Memory

•

Saat sebuah program dijalankan, text dan dua segmen

lainnya dimuat ke memori.

•

Segmen text menempati lokasi pada bagian terbawah

dengan segment data dan BSS diatasnya.

(15)

Hirarki Memori

•

Kode yang berjalan seringkali hanya membutuhkan

10-20% kapasistas prosesor.

•

Sebagian besar waktu dihabiskan pada sistem memori.

•

Memindahkan data membutuhkan waktu lebih lama dari

(16)

Hirarki Memori

•

Kode yang berjalan seringkali hanya membutuhkan

10-20% kapasistas prosesor.

•

Sebagian besar waktu dihabiskan pada sistem memori.

•

Memindahkan data membutuhkan waktu lebih lama dari

pada proses aritmatika maupun logika.

(17)

Hirarki Memori

•

Kode yang berjalan seringkali hanya membutuhkan

10-20% kapasistas prosesor.

•

Sebagian besar waktu dihabiskan pada sistem memori.

•

Memindahkan data membutuhkan waktu lebih lama dari

(18)

Hirarki Memori

•

Kode yang berjalan seringkali hanya membutuhkan

10-20% kapasistas prosesor.

•

Sebagian besar waktu dihabiskan pada sistem memori.

•

Memindahkan data membutuhkan waktu lebih lama dari

(19)

Latensi Memori

•

Latensi memori adalah delay saat pengiriman data dari

memori ke prosesor.

•

Kecepatan akses data pada memori lebih rendah dari

prosesor.

•

Berakibat pada delay yang terjadi apa bila sebuah proses

melakukan operasi pengambilan data dari memori.

•

Untuk mengatasi latensi memori:

• Membatasi operasi memori dengan menyimpan data pada memori yang cepat (cache).

• Memanfaatkan locality.

• Temporal locality: Memanfaatkan kembali data sepesifik untuk lokasi memori yang sebelumnya pernah digunakan jika data pada lokasi tersebut diminta kembali.

• Spatial locality: Menggunakan data spesifik dari lokasi memori yang pernah digunakan sebelumnya untuk menentukan lokasi memori jika ada permintaan data pada lokasi momori yang berdekatan dengan lokasi memori tersebut.

(20)

Latensi Memori

•

Latensi memori adalah delay saat pengiriman data dari

memori ke prosesor.

•

Kecepatan akses data pada memori lebih rendah dari

prosesor.

•

Berakibat pada delay yang terjadi apa bila sebuah proses

melakukan operasi pengambilan data dari memori.

•

Untuk mengatasi latensi memori:

(21)

Latensi Memori

•

Latensi memori adalah delay saat pengiriman data dari

memori ke prosesor.

•

Kecepatan akses data pada memori lebih rendah dari

prosesor.

•

Berakibat pada delay yang terjadi apa bila sebuah proses

melakukan operasi pengambilan data dari memori.

•

Untuk mengatasi latensi memori:

(22)

Latensi Memori

•

Latensi memori adalah delay saat pengiriman data dari

memori ke prosesor.

•

Kecepatan akses data pada memori lebih rendah dari

prosesor.

•

Berakibat pada delay yang terjadi apa bila sebuah proses

melakukan operasi pengambilan data dari memori.

•

Untuk mengatasi latensi memori:

(23)

Latensi Memori

•

Latensi memori adalah delay saat pengiriman data dari

memori ke prosesor.

•

Kecepatan akses data pada memori lebih rendah dari

prosesor.

•

Berakibat pada delay yang terjadi apa bila sebuah proses

melakukan operasi pengambilan data dari memori.

•

Untuk mengatasi latensi memori:

(24)

Latensi Memori

•

Latensi memori adalah delay saat pengiriman data dari

memori ke prosesor.

•

Kecepatan akses data pada memori lebih rendah dari

prosesor.

•

Berakibat pada delay yang terjadi apa bila sebuah proses

melakukan operasi pengambilan data dari memori.

•

Untuk mengatasi latensi memori:

(25)

Latensi Memori

•

Latensi memori adalah delay saat pengiriman data dari

memori ke prosesor.

•

Kecepatan akses data pada memori lebih rendah dari

prosesor.

•

Berakibat pada delay yang terjadi apa bila sebuah proses

melakukan operasi pengambilan data dari memori.

•

Untuk mengatasi latensi memori:

(26)

Latensi Memori

•

Latensi memori adalah delay saat pengiriman data dari

memori ke prosesor.

•

Kecepatan akses data pada memori lebih rendah dari

prosesor.

•

Berakibat pada delay yang terjadi apa bila sebuah proses

melakukan operasi pengambilan data dari memori.

•

Untuk mengatasi latensi memori:

(27)

Arsitektur Memori Paralel

•

Shared memory: Beberapa prosesor dapat mengakses

memori global bersama.

• Uniform Memory Access (UMA) • Non Uniform Memory Access (NUMA)

•

Distributed memory: Setiap prosesor memiliki memori

lokal sendiri.

•

Hybrid distributed-shared memory: menggunakan

arsitektur memori shared dan distributed.

(28)

Arsitektur Memori Paralel

•

Shared memory: Beberapa prosesor dapat mengakses

memori global bersama.

• Uniform Memory Access (UMA)

• Non Uniform Memory Access (NUMA)

•

Distributed memory: Setiap prosesor memiliki memori

lokal sendiri.

•

Hybrid distributed-shared memory: menggunakan

arsitektur memori shared dan distributed.

(29)

Arsitektur Memori Paralel

•

Shared memory: Beberapa prosesor dapat mengakses

memori global bersama.

•

Distributed memory: Setiap prosesor memiliki memori

lokal sendiri.

•

Hybrid distributed-shared memory: menggunakan

arsitektur memori shared dan distributed.

(30)

Arsitektur Memori Paralel

•

Shared memory: Beberapa prosesor dapat mengakses

memori global bersama.

•

Distributed memory: Setiap prosesor memiliki memori

lokal sendiri.

•

Hybrid distributed-shared memory: menggunakan

arsitektur memori shared dan distributed.

(31)

Arsitektur Memori Paralel

•

Shared memory: Beberapa prosesor dapat mengakses

memori global bersama.

•

Distributed memory: Setiap prosesor memiliki memori

lokal sendiri.

•

Hybrid distributed-shared memory: menggunakan

arsitektur memori shared dan distributed.

(32)

Shared Memory UMA

•

Karakteristik:

• Semua prosesor dapat mengakses memori sebagai ruang alamat bersama.

• Setiap prosesor dapat bekerja secara independent namun saling berbagi memori.

• Perubahan pada suatu lokasi memori oleh sebuah prosesor dapat diketahui oleh prosesor lain.

(33)

Shared Memory UMA

•

Karakteristik:

(34)

Shared Memory UMA

•

Karakteristik:

(35)

Shared Memory UMA

•

Karakteristik:

(36)

Shared Memory UMA

•

Karakteristik:

(37)

Shared Memory NUMA

•

Karakteristik:

• Sejumlah prosesor memiliki bank alamat memory sendiri. • Prosesor dapat mengakses memory lokal dengan cepat,

namun mengakses memory remote lebih lambat.

• Sering kali dibuat dengan menggabungkan dua atau lebih prosesor SMP.

• Satu prosesor SMP dapat mengakses memori prosesor SMP lainnya secara langsung.

• SMP: Symmetric Multiprocessing, yaitu arsitektur yang menggabungkan dua atau lebih prosesor identik yang terhubung ke satu memori bersama.

(38)

Shared Memory NUMA

•

Karakteristik:

• Sejumlah prosesor memiliki bank alamat memory sendiri.

• Prosesor dapat mengakses memory lokal dengan cepat, namun mengakses memory remote lebih lambat.

(39)

Shared Memory NUMA

•

Karakteristik:

(40)

Shared Memory NUMA

•

Karakteristik:

(41)

Shared Memory NUMA

•

Karakteristik:

(42)

Shared Memory NUMA

•

Karakteristik:

(43)

Shared Memory NUMA

•

Karakteristik:

(44)

Kelebihan dan Kekurangan Shared Memory

•

Kelebihan:

• Ruang alamat memori global memberikan kemudahan akses memori dari perspektif pemrograman.

• Berbagi data antar task lebih lebih cepat dan seragam karena dekatnya memori ke cpu.

•

Kelemahan:

• Tidak scalable. Penambahan CPU dapat menambah trafik pada jalur shared memory.

• Programmer bertanggung jawab untuk sinkronisasi yang memastikan akses yang tepat ke memori global.

• Bertambah kompleks dan bertambah mahal seiring degan bertambahnya prosesor.

(45)

Kelebihan dan Kekurangan Shared Memory

•

Kelebihan:

•

Kelemahan:

(46)

Kelebihan dan Kekurangan Shared Memory

•

Kelebihan:

•

Kelemahan:

(47)

Kelebihan dan Kekurangan Shared Memory

•

Kelebihan:

•

Kelemahan:

(48)

Kelebihan dan Kekurangan Shared Memory

•

Kelebihan:

•

Kelemahan:

(49)

Kelebihan dan Kekurangan Shared Memory

•

Kelebihan:

•

Kelemahan:

(50)

Kelebihan dan Kekurangan Shared Memory

•

Kelebihan:

•

Kelemahan:

(51)

Distributed Memory

•

Karakteristik:

• Setiap prosesor memiliki memori lokal sendiri.

• Perubahan pada memori lokal tidak mempengaruhi memori lain.

• Jika memerlukan pemrosesan interprosesor, tugas

programmer menentukan bagaimana dan kapan data akan dikomunikasikan.

(52)

Distributed Memory

•

Karakteristik:

(53)

Distributed Memory

•

Karakteristik:

(54)

Distributed Memory

•

Karakteristik:

(55)

Kelebihan dan Kekurangan Distributed Memory

•

Kelebihan:

• Scalable. Jumlah prosesor dan jumlah memori dapat dengan mudah ditingkatkan.

• Tiap prosesor dapat mengakses memorinya tanpa interferensi dan overhead.

• Cost effective. Dapat menggunakan komputer komoditas.

•

Kekurangan:

• Tugas programmer semakin sulit terkait detail komunikasi data.

(56)

Kelebihan dan Kekurangan Distributed Memory

•

Kelebihan:

•

Kekurangan:

(57)

Kelebihan dan Kekurangan Distributed Memory

•

Kelebihan:

•

Kekurangan:

(58)

Kelebihan dan Kekurangan Distributed Memory

•

Kelebihan:

•

Kekurangan:

(59)

Kelebihan dan Kekurangan Distributed Memory

•

Kelebihan:

•

Kekurangan:

(60)

Kelebihan dan Kekurangan Distributed Memory

•

Kelebihan:

•

Kekurangan:

(61)

Hybrid Memory

•

Terdiri dari arsitektur memory shared dan distributed.

•

Komponen shared memory adalah komputer SMP

koheren.

• Prosesor pada mesin SMP memiliki akses global ke memori pada mesin tersebut.

•

Komponen distributed memory adalah jaringan komputer

SMP.

• Setiap komputer SMP hanya mengenal memory miliknya saja.

• Komunikasi jaringan dibutuhkan untuk memindahkan data dari satu komputer SMP ke komputer SMP lainnya.