Implementasi (Implementation)

BAB 4. HASIL DAN PEMBAHASAN

4.6.3 Implementasi (Implementation)

1. Proses Mengganti Tipe File

Pada tahap pengambilan data suara menghasilkan banyak data suara dengan format mp3. Namun, format mp3 harus dikonversi ke format WAV untuk melanjutkan pemrosesan. WAV banyak digunakan dalam rekaman musik dan pembuatan film. Pengeditan sangat mudah dan kualitas suaranya juga tinggi. WAV juga mendukung perekaman multi-layer dan paling sering digunakan di pengeditan non-liner (NLE).

Untuk merubah file dengan format mp3 menjadi format WAV, pada penelitian ini menggunakan matlab dengan source code:

Gambar 4. 2 Source code mengganti tipe file

Gambar 4. 3 File data suara format mp3 mp3filename = 'D:\Helmione\PCD\Ba.mp3';

wavfilename = 'D:\Helmione\PCD\Ba.wav'; sinyal = audioread(mp3filename);

info = audioinfo(mp3filename); Fs = info.SampleRate;

Gambar 4. 4 File data suara format wav

2. Proses Akuisisi Suara (Voice Acquisition Process). Rumus sampling :

---4.1

Dimana : X = Jumlah data sampel FS = Frekuensi Sampling (Hz) Dt = Durasi (detik)

Bit = Jumlah data tiap sampel

J = Channel (mono = 1 dan stereo =2) Analisis ini menggunakan contoh durasi rekaman 1 detik.

Tabel 4. 3 Akuisisi suara

Frekuensi (Hz)

Bits / Sample

Channel Perhitungan Jumlah

data sample (byte) 8000 16 Mono 8000*1*(16/8)*1 16000 11025 16 Mono 11025*1*(16/8)*1 22050 22025 16 Mono 22025*1*(16/8)*1 44100 44100 16 Mono 44100*1(16/8)*1 88200 X=FS.dt(^𝑏ⅈ𝑡₈ ).J

3. Ekstraksi Ciri (feature extraction)

Dalam penelitian ini, rekaman suara yang dimiliki telah masuk ke dalam sistem lalu diekstraksi menggunakan metode MFCC untuk dikenali oleh komputer.

Pada penelitian ini, proses MFCC dapat diamati dengan menggunakan bahasa Python, yang mana menggunakan beberapa library yang terdapat pada python untuk memudahkan proses MFCC. Library yang dipakai dapat dilihat pada Gambar 4.11

Gambar 4. 5 Library MFCC

Library di atas berfungsi untuk proses pembacaan file, penulisan file, menyimpan file dan proses perhitungan. Penjelajasan dari library tersebut yaitu:

a. Library numpy yang digunakan sebagai pengambil nilai numerik untuk dijadikan perhitungan selanjutnya.

b. Library librosa digunakan sebagai pembaca file audio dan juga sebagai pengambil nilai dari MFCC feature.

Library tersebut digunakan pada proses yang dilakukan pada tahap selanjutnya. Proses selanjutnya yang dilakukan setelah deklarasi library tersebut adalah membuat fungsi untuk mendapatkan MFCC feature dari file wav.

import librosa

import librosa.display

import IPython.display as ipd import matplotlib.pyplot as plt import numpy as np

Pada proses pengambilan nilai dari MFCC feature tahap pertama yang dilakukan adalah pembacaan file audio dengan menggunakan library librosa. File audio tersebut dapat diambil panjang gelombang atau amplitudo dan waktu

rambat dari gelombang tersebut. Kedua parameter tersebut bisa disebut juga dengan frekuensi. Visualisasi dari file audio tersebut dapat dilihat pada Gambar 4.15

Gambar 4. 6 Visualisasi file audio

Hasil MFCC tersebut dapat dilihat pada Gambar 4.16

Gambar 4. 7 Hasil MFCC

Berikut ini adalah perhitungan manual dari proses ekstraksi fitur yang mana data sampel yang digunakan menggunakan data dummy.

b. DC-Removal

Berdasarkan perhitungan DC-Removal, berikut adalah contohnya dari beberapa sampel data yang akan digunakan untuk perhitungan dengan

menggunakan rumus-rumus yang terdapat pada metode MFCC. Data sampel terdiri dari 10,11,13,14,15,12,17,18,9,8 dihitung sebagai data referensi.

𝑥̅ =^{10+11+13+14+15+12+17+18+9+8}

10 = 12.7

Setelah diketahui nilai rata-rata, maka nilai sinyal awal adalah dikurangi dengan hasil DC Removal, sehingga dihasilkan nilai sinyal sebagai berikut. ---4.2 y0 = 10-12.7 = -2.7 y5 = 12-12.7 = -0.7 y1 = 11-12.7 = -1.7 y6 = 17-12.7 = 4.3 y2 = 13-12-7 = 0.3 y7 = 18-12.7 = 5.3 y3 = 14-12.7 = 1.3 y8 = 9-12.7 = -3.7 y4 = 15-12.7 = 2.3 y9 = 8-12.7 = -4.7

Jadi, hasil data sinyal setelah DC Removal adalah -2.7, -1.7, 0.3, 1.3, 2.3, -0.7, 4.3, 5.3, -3.7, -4.7

c. Pre-emphazise

Jika hasil DC Removal adalah (2.7, 1.7, 0.3, 1.3, 2.3, 0.7, 4.3, 5.3, -3.7, -4.7) maka emphasize dihitung menggunakan rumus

pre-emphasize dan nilai α = 0.97 sebagai berikut.

---4.3 Y0 = -2.7 Y1 = (-1.7 − (-2.7* 0.97)) = 0.919 Y2 = (0.3 − (-1.7* 0.97)) = 1.949 Y3 = (1.3 − (0.3 * 0.97)) = 1.009 Y4 = (2.3 − (1.3 * 0.97)) = 1.039 Y5 = (-0.7 − (2.3 * 0.97)) = -2.931 Y6 = (4.3 − (-0.7 * 0.97)) = 4.979 Y7 = (5.3 − (4.3 * 0. 97)) = 1.129

Y8 = (-3.7) − (5.3 * 0.97)) = -8.841 Y9 = (-4.7) − (-3.7* 0.97)) = -1.111

Sinyal baru setelah pre-emphasize diperoleh dari data DC-Removal yang ditambahkan dengan data pre-emphasize menggunakan rumus sinyal baru yaitu ---4.4 N0 = -2.7 + (-2.7) = -5.4 N5 = -0.7 + (-2.931) = -3.631 N1 = -1.7 + (0.919) = -0.781 N6 = 4.3 + (4.979) = 9.279 N2 = 0.3 + (1.949) = 2.249 N7 = 5.3 + (1.129) = 6.429 N3 = 1.3 + (1.009) = 2.309 N8 = -3,7 + (-8.841) = -12.541 N4 = 2.3 + (1.039) = 3.339 N9 = -4.7 + (-1.111) = -5.811

Jadi nilai sinyal setelah pre-emphasize sebagai berikut (-5.4, -0.781, 2.249, 2.309, 3.339, -3.631, 9.279, 6.429, -12.541, -5.811).

d. Frame Blocking

Dalam penelitian ini, suara dipotong sepanjang 20 ms di setiap shift. Rumus Frame Blocking digunakan untuk menghitung jumlah frame dan jumlah sampel per frame. Dalam penelitian ini didapatkan jumlah frame dengan waktu = 20 ms, dan laju sampel = 88200 Hz, N = 88200 * 0,02 = 1764 titik sampel dan M = 1764/2 = 882. Dihitung menggunakan rumus

frame blocking yaitu sebagai berikut.

---4.5 Waktu : 20ms (milidetik) = 0.02 s (detik)

I : laju sampel = 88200 Hz N : titik sampel

Jumlah frame yaitu = ((88200-1764)/882+1) = 99 e. Windowing

Proses windowing menggunakan jendela hamming dengan contoh titik 1764 sebagai berikut.

W(n) = 0.54-0.46*cos(2*phi*j/(M-1)) ---4.6 𝑊₀ = 0.54 − 0.46 𝑐𝑜𝑠^2×3.14×0 882−1 = 0.08 𝑊₁ = 0.54 − 0.46 𝑐𝑜𝑠^2×3.14×1 882−1 = 0.08 𝑊₂ = 0.54 − 0.46 𝑐𝑜𝑠^2×3.14×2 882−1 = 0.08 𝑊₃ = 0.54 − 0.46 𝑐𝑜𝑠^2×3.14×3 882−1 = 0.08 𝑊₄ = 0.54 − 0.46 𝑐𝑜𝑠^2×3.14×4 882−1 = 0.08 𝑊₅ = 0.54 − 0.46 𝑐𝑜𝑠^2×3.14×5 882−1 = 0.08 𝑊₆ = 0.54 − 0.46 𝑐𝑜𝑠^2×3.14×6 882−1 = 0.08 𝑊₇ = 0.54 − 0.46 𝑐𝑜𝑠^2×3.14×7 882−1 = 0.08 𝑊₈ = 0.54 − 0.46 𝑐𝑜𝑠^2×3.14×8 882−1 = 0.08 𝑊₉= 0.54 − 0.46 𝑐𝑜𝑠^2×3.14×9 882−1 = 0.08

Hasil proses pre-emphasize (-5.4, -0.781, 2.249, 2.309, 3.339, -3.631, 9.279, 6.429, -12.541, -6.921) akan dilakukan proses windowing

menggunakan rumus sebagai berikut.

---4.7 X0 = -5.4 * 0.08 = -0.43 X5 = -3.631 * 0.08 = -0.29 X1 = -0.781 * 0.08 = -0.06 X6 = 9.279 * 0.08 = 0.74 X2 = 2.249 * 0.08 = 0.18 X7 = 6.429 * 0.08 = 0.51 X3 = 2.309 * 0.08 = 0.18 X8 = -12.541 * 0.08 = -1,012 X4 = 3.339 * 0.08 = 0.26 X9 = -5.811 * 0.08 = -0.47

Pada proses windowing diperoleh nilainilai sebagai berikut (0.43, -0.06, 0.18, 0.18, 0.26, -0.29, 0.74, 0.51, -1.012, -0.47).

--- ---4.8 𝑓0 =¹ 4[−0.43 (𝑐𝑜𝑠 (^{2𝑝ℎⅈ∗0∗0} 10 ))] - j (sin (^{2𝑝ℎⅈ∗0∗0} 10 )) + [−0.06 (𝑐𝑜𝑠 (^{2𝑝ℎⅈ∗0∗1} 10 ))] - j (sin (^{2𝑝ℎⅈ∗0∗1} 10 )) + [0.17 (𝑐𝑜𝑠 (^{2𝑝ℎⅈ∗0∗2} 10 ))] - j (sin (^{2𝑝ℎⅈ∗0∗2} 10 )) + [0.18 (𝑐𝑜𝑠 (^{2𝑝ℎⅈ∗0∗3} 10 ))] - j (sin (^{2𝑝ℎⅈ∗0∗3} 10 )) + [0.18 (𝑐𝑜𝑠 (^{2𝑝ℎⅈ∗0∗4} 10 ))] - j (sin (^{2𝑝ℎⅈ∗0∗4} 10 )) + [−0.29 (𝑐𝑜𝑠 (^{2𝑝ℎⅈ∗0∗5} 10 ))] - j (sin (^{2𝑝ℎⅈ∗0∗5} 10 )) + [0.74 (𝑐𝑜𝑠 (^{2𝑝ℎⅈ∗0∗6} 10 ))] - j (sin (^{2𝑝ℎⅈ∗0∗6} 10 )) + [0.51 (𝑐𝑜𝑠 (^{2𝑝ℎⅈ∗0∗7} 10 ))] - j (sin (^{2𝑝ℎⅈ∗0∗7} 10 )) + [−1.003 (𝑐𝑜𝑠 (^{2𝑝ℎⅈ∗0∗8} 10 ))] - j (sin (^{2𝑝ℎⅈ∗0∗8} 10 )) + [−0.55 (𝑐𝑜𝑠 (^{2𝑝ℎⅈ∗0∗9} 10 ))] - j (sin (^{2𝑝ℎⅈ∗0∗9} 10 )) = −0.103 - 0 j = −0.103

Untuk perhitungan F1 sampai F9 sama dengan F0 hanya berbeda pada bagian F seperti F1 = ² 4 , F2 = ³ 4 , F3 = ⁴ 4 , F4 = ⁵ 4 , F6 = ⁷ 4 , F7 = ⁸ 4 , F8 = ⁹ 4 , F9 = ¹⁰ 4

Jadi, data yang diperolah dari hasil sinyal FFT sebagai berikut (F0 = -0.108, F1 = -0.031, F2 = 0.135, F3 = 0.184, F4 = 0.334, F5 = -0.43, F6 = 1.305, F7 = 1.036, F8 = -2.27, F9 = -1.175)

g. Mel Frequency Warping

Untuk mendapatkan 𝐻_ⅈ menggunakan rumus

---4.9 H0 = 2595 * log (1+1000/700) /−0.108/2 = -4629.56

H1 = 2595 * log (1+1000/700) /−0.031/2 = -16002.6 H2 = 2595 * log (1+1000/700) /0.135/2 = 3703.133

H3 = 2595 * log (1+1000/700) /0.184//2 = 2703.206 H4 = 2595 * log (1+1000/700) /0.334/2 = 1493.941 H5 = 2595 * log (1+1000/700) /−0.43/2 = -1142.33 H6 = 2595 * log (1+1000/700) /1.305/2 = 382.8749 H7 = 2595 * log (1+1000/700) /1.036//2 = 482.6177 H8 = 2595 * log (1+1000/700) /−2.27/2 = -219.441 H9= 2595 * log (1+1000/700) /−1.175//2 = -425.183

Kemudian perhitungan filterbank dapat menggunakan rumus sebagai berikut. ---4.10 Y0 = −0.108 * -4629.56= 499.99 Y5 = −0.437* -1143.33= 499.99 Y1 = −0.031* -16002.6= 499.99 Y6 = 1.305* 382.8749= 499.99 Y2 = 0.135* 3703.133= 499.99 Y7 = 1.036* 482.6177= 499.99 Y3 = 0.184* 2703.206 = 499.99 Y8 = −2.2784* -219.441= 499.99 Y4 = 0.334* 1493.941= 499.99 Y9 = −1.175* -425.183= 499.99 h. Discrete Cosine Transform

---4.11 C0 = log (499.99) cos[0(0-1/2)3.14/10] + log (499.99) cos[0(1-1/2)3.14/10] + log (499.99) cos[0(2-1/2)3.14/10] + log (499.99) cos[0(3-1/2)3.14/10] + log (499.99) cos[0(4-1/2)3.14/10] + log (499.99) cos[0(5-1/2)3.14/10] + log (499.99) cos[0(6-1/2)3.14/10] + log (499.99) cos[0(7-1/2)3.14/10] + log (499.99) cos[0(8-1/2)3.14/10] + log (499.99) cos[0(9-1/2)3.14/10] = 26.989

Jadi nilai DCT = 26,989 i. Cepstrum (Cepstral Liftering)

Hasil dari proses DCT adalah Cepstrum yang merupakan hasil akhir dari fitur proses ekstraksi. Cepstrum adalah istilah kebalikan dari spektrum. Itu sudah biasa memperoleh informasi dari sinyal suara ucapan manusia. Untuk dapat meningkatkan kualitas proses pengenalan, maka hasil dari proses DCT haruslah melalui proses Cepstral Liftering.

Rumus DCT sebagai berikut.

---4.12

4. Pengenalan Pola (pattern recognition)

Merupakan proses akhir pada Speech Recognition yaitu tahap pencocokan data baru dengan data suara (pencocokan tata bahasa) pada template. Metode yang digunakan dalam pengenalan pola adalah metode Hidden Markov Model (HMM). Pola yang didapat akan dicocokkan dengan berbagai macam model.

a. Hidden Markov Model

Hidden Markov Model (HMM) adalah suatu model statistik dari sebuah

sistem yang diasumsikan sebuah proses Markov dengan parameter yang tak diketahui. Hidden Markov Model juga merupakan sebuah metode yang tugasnya mengelompokkan sifat-sifat spectral dari bagian suara dengan beberapa pola berdasarkan nilai probabilitas kemiripan (likelihood). Berikut adalah beberapa elemen dalam HMM, yaitu sebagai berikut:

1. Jumlah state (N)

State dilabelkan {1,2,3,...N} dan state pada waktu dinotasikan dengan 𝑞_𝑡.

9. Parameter model (M) 10. Menginisalkan state awal

𝝅_𝒊= 𝑷(𝒒_𝒕− 𝒊) 𝟏 ≤ 𝒊 ≤ 𝑵 ---4.13 Keterangan :

𝜋 = state awal P = probabilitas

𝑞_𝑡= label state pada waktu t N = jumlah state 11. Probabilitas transisi (A = [𝑎_ⅈ𝑗]) 𝒂_𝒊𝒋 = 𝑷(𝒒_𝒕+ 𝟏 = 𝒋|𝒒_𝒕 = 𝒋) 𝟏 ≤ 𝒊, 𝒋 ≤ 𝑵 ---4.14 Keterangan : 𝑎_ⅈ𝑗 = probabilitas transisi P = probabilitas

𝑞_𝑡= label state pada waktu t N = jumlah state

12. Probabilitas simbol observasi (B = {bj(k)}) bj(k) = P(= 𝒐_𝒕 = vk | 𝒒_𝒕 = j)

𝟏 ≤ 𝒋 ≤ 𝑵, ≤ 𝒌 ≤ 𝑴 ---4.15 Keterangan :

B = probabilitas simbol observasi P = probabilitas

𝑜_𝑡 = label observasi pada waktu t 𝑞_𝑡 = label state pada waktu t N = jumlah state

M = parameter model

Diketahui : N = 3 M = 3 𝜋₁ = ½ 𝜋₂ = ½ 𝜋₃ = 0 𝑎₁₁ = 0 𝑎₁₂ =1/3 𝑎₃₁ = 2/3 𝑎₁₂ = 1/3 𝑎₂₂ = 0 𝑎₃₂ = 2/3 𝑎₁₃ = 1/3 𝑎₃₂ = 1/3 𝑎₃₃ = 1/3 𝑏₁ (X) = 1/2 𝑏₁ (Y) = 1/2 𝑏₁ (X) = 0 𝑏₂ (X) = 0 𝑏₂ (Y) = 1/2 𝑏₂ (X) = 1/2 𝑏₃ (X) = 1/2 𝑏₃ (Y) = 0 𝑏₃ (X) = 1/2

5. Pembuatan model training dan testing

Hal pertama yang harus dilakukan untuk menjalankan proses pemodelan pada Google Colab yaitu menyimpan file audio wav didalam folder yang telah tersedia di Google Colab. Setelah itu import packages yang diperlukan di dalam proses pemodelan.

File audio wav berada di folder var/local. Folder var/local hanya berisi 27 folder yang masing-masing folder berisi 10 suara berbeda

Periksa statistik dasar tentang kumpulan data

Ekstrak file audio ke dalam daftar

Pisahkan file menjadi set pelatihan, validasi, dan pengujian. import os import pathlib import matplotlib.pyplot as plt import numpy as np import seaborn as sns import tensorflow as tf

from tensorflow.keras.layers.experimental import preprocessing from tensorflow.keras import layers

from tensorflow.keras import models from IPython import display

from google_drive_downloader import GoogleDriveDownloader as g dd

# Set seed for experiment reproducibility seed = 42

tf.random.set_seed(seed) np.random.seed(seed)

data_dir='/var/local'

commands = np.array(tf.io.gfile.listdir(str(data_dir))) commands = commands[commands != 'README.md'] print('Commands:', commands)

filenames = tf.io.gfile.glob(str(data_dir) + '/*/*') filenames = tf.random.shuffle(filenames)

num_samples = len(filenames)

print('Number of total examples:', num_samples) print('Number of examples per label:',

len(tf.io.gfile.listdir(str(data_dir)))) print('Example file tensor:', filenames[0])

File audio awalnya akan dibaca sebagai file biner, yang ingin diubah menjadi tensor numerik. Untuk memuat file audio akan menggunakan tf.audio.decode_wav yang mengembalikan audio yang disandikan WAV sebagai Tensor dan laju sampel

Label untuk setiap file WAV adalah direktori induknya

Definisikan metode yang akan mengambil nama file dari file WAV

Penerapan process_path untuk membangun set pelatihan train_files = filenames[:216]

val_files = filenames[216: 216 + 40] test_files = filenames[-40:]

print('Training set size', len(train_files)) print('Validation set size', len(val_files)) print('Test set size', len(test_files))

def decode_audio(audio_binary):

audio, _ = tf.audio.decode_wav(audio_binary) return tf.squeeze(audio, axis=-1)

def get_label(file_path):

parts = tf.strings.split(file_path, os.path.sep) return parts[-2]

def get_waveform_and_label(file_path): label = get_label(file_path)

audio_binary = tf.io.read_file(file_path) waveform = decode_audio(audio_binary) return waveform, label

AUTOTUNE = tf.data.AUTOTUNE

files_ds = tf.data.Dataset.from_tensor_slices(train_files)

waveform_ds = files_ds.map(get_waveform_and_label, num_paral lel_calls=AUTOTUNE)

Periksa beberapa bentuk gelombang audio dengan label yang sesuai waktu

Menerapkan FFT untuk mengubah audio menjadi domain frekuensi

Bandingkan bentuk gelombang, spektogram dan audio sebenernya dari satu cont

rows = 10 cols = 3 n = rows*cols

fig, axes = plt.subplots(rows, cols, figsize=(10, 12)) for i, (audio, label) in enumerate(waveform_ds.take(n)): r = i // cols c = i % cols ax = axes[r][c] ax.plot(audio.numpy()) ax.set_yticks(np.arange(-1.2, 1.2, 0.2)) label = label.numpy().decode('utf-8') ax.set_title(label) plt.show() def get_spectrogram(waveform):

zero_padding = tf.zeros([111216] - tf.shape(waveform), dtype=tf. float32)

waveform = tf.cast(waveform, tf.float32)

equal_length = tf.concat([waveform, zero_padding], 0) spectrogram = tf.signal.stft(

equal_length, frame_length=255, frame_step=128) spectrogram = tf.abs(spectrogram)

return spectrogram

for waveform, label in waveform_ds.take(1): label = label.numpy().decode('utf-8') spectrogram = get_spectrogram(waveform) print('Label:', label)

print('Waveform shape:', waveform.shape) print('Spectrogram shape:', spectrogram.shape) print('Audio playback')

Ubah dataset bentuk gelombang untuk memiliki gambar spektogram dan label yang sesuai sebagai id bilangan bulat

Periksa gambar spektogram untuk sampel yang berbeda dari kumpulan data

def plot_spectrogram(spectrogram, ax): log_spec = np.log(spectrogram.T) height = log_spec.shape[0]

width = log_spec.shape[1]

X = np.linspace(0, np.size(spectrogram), num=width, dtype=int) Y = range(height)

ax.pcolormesh(X, Y, log_spec)

fig, axes = plt.subplots(2, figsize=(12, 8)) timescale = np.arange(waveform.shape[0]) axes[0].plot(timescale, waveform.numpy()) axes[0].set_title('Waveform') axes[0].set_xlim([0, 111216]) plot_spectrogram(spectrogram.numpy(), axes[1]) axes[1].set_title('Spectrogram') plt.show()

def get_spectrogram_and_label_id(audio, label): spectrogram = get_spectrogram(audio)

spectrogram = tf.expand_dims(spectrogram, -1) label_id = tf.argmax(label == commands) return spectrogram, label_id

spectrogram_ds = waveform_ds.map(

get_spectrogram_and_label_id, num_parallel_calls=AUTOTUNE )

rows = 10 cols = 3 n = rows*cols

fig, axes = plt.subplots(rows, cols, figsize=(10, 10))

for i, (spectrogram, label_id) in enumerate(spectrogram_ds.take(n)) : r = i // cols c = i % cols ax = axes[r][c] plot_spectrogram(np.squeeze(spectrogram.numpy()), ax) ax.set_title(commands[label_id.numpy()]) ax.axis('off') plt.show()

Sebelum membangun dan melatih model harus mengulangi

prepocessing set pelatihan pada set validasi dan pengujian

def preprocess_dataset(files):

files_ds = tf.data.Dataset.from_tensor_slices(files)

output_ds = files_ds.map(get_waveform_and_label, num_paralle l_calls=AUTOTUNE) output_ds = output_ds.map( get_spectrogram_and_label_id, num_parallel_calls=AUTOT UNE) return output_ds train_ds = spectrogram_ds val_ds = preprocess_dataset(val_files) test_ds = preprocess_dataset(test_files) batch_size = 64 train_ds = train_ds.batch(batch_size) val_ds = val_ds.batch(batch_size)

for spectrogram, _ in spectrogram_ds.take(1): input_shape = spectrogram.shape

print('Input shape:', input_shape) num_labels = len(commands) norm_layer = preprocessing.Normalization() norm_layer.adapt(spectrogram_ds.map(lambda x, _: x)) model = models.Sequential([ layers.Input(shape=input_shape), preprocessing.Resizing(32, 32), norm_layer, layers.Conv2D(32, 3, activation='relu'), layers.Conv2D(64, 3, activation='relu'), layers.MaxPooling2D(), layers.Dropout(0.25), layers.Flatten(), layers.Dense(128, activation='relu'), layers.Dropout(0.5), layers.Dense(num_labels), ]) train_ds = train_ds.cache().prefetch(AUTOTUNE) val_ds = val_ds.cache().prefetch(AUTOTUNE)

Periksa kurva pelatihan dan validasi untuk melihat peningkatan model selama pelatihan

model.compile( optimizer=tf.keras.optimizers.Adam(), loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits =True), metrics=['accuracy'], ) EPOCHS = 10 history = model.fit( train_ds, validation_data=val_ds, epochs=EPOCHS, callbacks=tf.keras.callbacks.EarlyStopping(verbose=1, patience =2), ) metrics = history.history

plt.plot(history.epoch, metrics['loss'], metrics['val_loss']) plt.legend(['loss', 'val_loss'])

Jalankan model pada set pengujian dan periksa kinerjanya test_audio = []

test_labels = []

for audio, label in test_ds:

test_audio.append(audio.numpy()) test_labels.append(label.numpy()) test_audio = np.array(test_audio) test_labels = np.array(test_labels)

y_pred = np.argmax(model.predict(test_audio), axis=1) y_true = test_labels

test_acc = sum(y_pred == y_true) / len(y_true) print(f'Test set accuracy: {test_acc:.0%}')

confusion_mtx = tf.math.confusion_matrix(y_true, y_pred) plt.figure(figsize=(10, 8))

sns.heatmap(confusion_mtx, xticklabels=commands, yticklabels =commands,

annot=True, fmt='g') plt.xlabel('Prediction') plt.ylabel('Label') plt.show()

confusion_mtx = tf.math.confusion_matrix(y_true, y_pred) plt.figure(figsize=(10, 8))

sns.heatmap(confusion_mtx, xticklabels=commands, yticklabels =commands,

annot=True, fmt='g') plt.xlabel('Prediction') plt.ylabel('Label') plt.show()

2. Implementasi Program a. Tampilan Splash Screen

Gambar 4. 8 Tampilan splash screen

b. Tampilan Halaman Utama

Pada halaman utama terdapat empat menu, yaitu menu tentang yanbu’a, menu belajar al-qur’an, menu latihan dan menu soal.

Gambar 4. 9 Tampilan halaman utama

c. Tampilan Menu Tentang Yanbu’a

Pada menu ini berisikan informasi singkat mengenai pengertian metode yanbu’a

Gambar 4. 10 Tampilan menu tentang yanbu’a

d. Tampilan Menu Belajar Al-Qur’an

Pada menu ini berisikan informasi betapa pentingnya mempelajari al-Qur’an. Pentingnya belajar Al-Qur’an dijelaskan dalam Al-Qur’an surah Al-Faathir ayat 20

e. Tampilan Menu Latihan

Pada menu ini terdapat 29 huruf hijaiyah yang apabila hurufnya ditekan akan mengeluarkan suara. Menu ini menerapkan text to

speech.

Gambar 4. 12 Tampilan menu latihan

f. Tampilan Menu Soal

Menu ini menampilkan beberapa soal huruf hijaiyah secara acak yang terdiri dari 35 soal yang 6 diantaranya merupakan gabungan tiga huruf hijaiyah.

Gambar 4. 13 Tampilan menu soal

Gambar 4. 15 Tampilan jawaban salah

Gambar 4. 16 Tampilan jawaban benar

4.6.4 Pengujian (Testing)