Shortcut Aplikasi Komputer Dengan Ucapan
(Speech Shortcut)
Nur Rokhman ,S.Si1 Muhammad Fuad DR2
Fajri Kurniawan2 Cipta Atsahlantusay2
Abstrak
Dalam jurnal ini, kami akan mengeksplorasi penggunaan voice command3). Dimana untuk membangun voice command tersebut, dibutuhkan speech recognizer. Speech recognizer adalah satu sistem dimana sistem tersebut dapat mengenali ucapan (speech) sehingga user dan sistem dapat berkomunikasi. Hal yang memotivasi kami untuk mengeksplorasi speech recognizer adalah karena penggunaan speech recognizer saat ini belum maksimal, khususnya di Indonesia. Sebagai tambahan, dari hasil eksplorasi tersebut kami membuat sebuah aplikasi yang kami beri nama Myna, dimana aplikasi tersebut digunakan sebagai alternatif perintah masukkan (input command) ke komputer lewat ucapan (dalam hal ini ucapan manusia).
1 Kaprodi dan Dosen Ilmu Komputer UGM. 2
Mahasiswa S1 Ilmu Komputer UGM. 3
Mengeksekusi suatu preintah, dalam hal ini perintah komputer, dengan ucapan atau perintah melalui suara.
Pengantar
Shortcut adalah sebuah berkas (file) yang memiliki link ke sebuah aplikasi. Pengguna komputer biasanya lebih suka memanggil/mengeksekusi program dengan shortcut dibandingkan dengan mengeksekusi program langsung dari direktori tempat program disimpan, biasanya terletak jauh di dalam sistem berkas komputer (misal “c:\program
files\openoffice.org\writer.exe”). Bagi para pemula, shortcut sangat membantu karena bagi mereka mengeksplorasi sistem berkas komputer adalah sesuatu yang sangat asing (terutama di sistem operasi GNU/Linux) dan membingungkan. Sedang bagi yang sudah mahir meski telah familiar dengan sistem berkas pada komputer tetap saja penggunaan shortcut lebih efisien. Shortcut ini dapat berupa icon pada desktop, icon pada desktop toolbar, menu pada start menu, ataupun
kombinasi pada keyboard.
Walaupun shotcut dapat membantu penggunaan komputer, tetap saja ada keadaan-keadaan dimana
penggunaan shortcut konvensional (shortcut sesuai dengan definisi di atas) tidak efisien. Untuk pekerjaan-pekerjaan yang menyibukkan tangan dan mata, seperti pengetikan, pengeditan video, pendesainan dll, penggunaan shortcut konvensional cukup mengganggu pekerjaan-pekerjaan tersebut. Misalnya saat sedang mengetik sebuah dokumen, ada sebuah file spreadsheet yang mesti dibuka, sebagai data pendukung pengetikan dokumen tadi. Saat seperti ini file biasanya dibuka dengan membuka program pada tempat aslinya ataupun dengan menggunakan shortcut konvensional. Hal ini tentunya akan cukup mengganggu pekerjaan pengetikkan tadi. Untuk pekerjaan yang tidak diburu waktu, hal seperti ini biasanya bisa ditolerir, tetapi untuk pekerjaan yang dikejar deadline
keadaan tersebut sangatlah tidak menguntungkan. Bayangkan saat kita sedang mengerjakan sebuah dokumen
penting yang akan
dirapatkan setengah jam kemudian. Saat ide-ide penulisan muncul dengan lancarnya di kepala kita, lalu seperti situasi diatas file spreadsheet dibuka
Mulai
Panggil
shorcut
Pemanggilan
aplikasi
Selesai
dengan cara konvensional. Bisa-bisa ide-ide yang tadinya muncul seperti air yang mengalir, bisa lenyap tak tersisa.
Jika melihat flowchart diatas, perbedaan mendasar antara shortcut konvensional dengan speech shortcut adanlah pada bagian input “Panggil shortcut”, pada shortcut konvensional pemanngilan dilakukan dengan cara mengklik icon atau dengan kombinasi keyboard (misal ctrl+alt+o), sedang pada speech shortcut pemanggilan dilakukan dengan ucapan manusia, misal “jalankan word”
Proses Pengenalan Ucapan
dengan Neural Network
Gambar Flowchart proses pengenalan ucapan
Kami tidak akan membahas proses pengenalan ucapan terlalu mendetail, sebab ini bukan tujuan paper ini dibuat. Ada 4 langkah dasar dalam proses pengenalan. Setiap langkah akan kami jelaskan secara singkat disini.
Mula-mula, kita mendigitalkan ucapan yang ingin kita kenali, misalnya dengan microphone. Kedua, kita menghitung ciri yang menggambarkan isi domain-spektrum dari ucapan (bagian dengan energi kuat pada frekuensi khusus). Ciri-ciri ini dihitung setiap 10 mili detik, dengan setiap 10 mili detik disebut frame. Ketiga, sebuah
neural network (juga disebut ANN, multi-layer perceptron atau MLP) digunakan untuk mengklasifikasi sekumpulan ciri
tadi menjadi kategori yang didasarkan pada fonetis pada setiap frame untuk menentukan kata yang paling mirip dengan yang diucapkan.
Selain itu, dimungkinkan juga untuk menganalisa hasil dengan melihat skor keyakinan yang kita punya pada kata dengan skor tertinggi. Kata bisa ditolak sebagai diluar perbendaharaan jika skor kepercayaan jauh dibawah ambang batas yang ditentukan sebelumnya. Nilai keyakinan selalu di hitung dengan peralatan CSLU (Center for Spoken Language Understanding) selama pengenalan ucapan, tetapi sekarang ini kita tidak menggunakan peralatan CSLU untuk pengenalan ucapan secara umum.
Speech Shortcut
Speech shortcut adalah suatu shortcut yang memanfaatkan ucapan manusia (human speech) untuk memanggil sebuah aplikasi, bukan dengan mengklik icon atau kombinasi keyboard misalnya. Sebelum membahas lebih jauh mengenai speech shortcut, lebih baik kita bahas lebih dahulu tentang kelebihan penggunaan suara.
Menurut penelitian, sebagian besar hidup manusia dihabiskan untuk berkomunikasi dengan manusia yang lain (yang tentunya dengan suara), dari riset yang dilakukan pada pegawai kantor ditemukan bahwa 60%-85% dari waktu mereka bekerja, dihabiskan untuk berkomunikasi antar sesama pegawai. Bicara adalah hal yang lebih natural daripada menulis atau membaca, kita tahu cara untuk berbicara lebih dahulu daripada cara untuk menulis atau membaca. Bicara juga lebih efisien dibanding menulis atau mengetik. Orang dapat berbicara sepuluh kali lebih cepat dibandingkan dengan menulis dan lima kali lebih cepat dibandingkan dengan mengetik.
Speech shortcut bisa mengatasi atau paling tidak mengurangi kerugian yang diakibatkan oleh masalah pengeksekusian aplikasi dengan shortcut konvensional di atas. Dengan memanggil aplikasi melalui ucapan, aktivitas yang sedang kita kerjakan tidak akan terganggu.
Jika menghadapi masalah seperti di atas, dimana kita sedang mengetik sebuah dokumen dan harus membuka sebuah aplikasi penting. Kita tinggal membuat speech shortcut untuk
aplikasi tersebut dan tinggal memanggilnya dengan ucapan. Misal bila aplikasi “OpenOffice.org Spreadsheet” yang ingin dibuka, kita
tinggal membuat speech shortcut dengan kata kunci “office” ataupun “spreadsheet”.
Myna, Aplikasi Speech Shortcut
Pada paper ini, kami akan memperkenalkan aplikasi yang dapat memberi gambaran tentang penggunaan speech shortcut. Kami menyebutnya Myna, diambil dari kosa kata bahasa Inggris yang artinya burung Beo. Myna dibangun menggunakan mesin Microsoft Speech To Text &
Speech Recognizer serta bahasa
pemrogramman Java dengan memanfaatkan API javax.speech yang menggunakan library4) TalkingJava SDK buatan CloudGarden, sedang untuk penyimpanan data-data program digunakan database open source5) MySQL.
Myna menyediakan 4 (empat) layanan perintah untuk mengolah
4
Kumpulan/pengkapsulan prosedur dan fungsi yang saling terkait dalam satu tempat, gunanya untuk mempermudah penggunaannya.
5
Seluruh kode sumber yang membangun aplikasi yang bersangkutan boleh disebar, dilihat dan diubah.
database grammar speech shortcut, yaitu:
1. Add Grammar, digunakan untuk membuat speech shortcut. 2. Update Grammar, digunakan
untuk mengubah ucapan pada speech shortcut yang telah ada di database.
3. Update Command, digunakan
untuk mengubah
perintah/aplikasi pada speech shortcut yang telah ada di database.
4. Delete Gramar, digunakan untuk menghapus speech shortcut yang ada di database.
Berikut ini merupakan tampilan pembuka Myna. Dengan sebuah menubar dan sebuah text area, Myna memang terlihat sangat simpel tapi hal tersebut tidaklah mengurangi fitur-fiturnya.
Untuk saat ini, Myna hanya mendukung spelling bahasa Inggris, sedang untuk spelling bahasa Indonesia masih dalam tahap pengembangan. Selama pembuatan dan pengeksekusian speech shortcut, Myna harus dijalankan terlebih dahulu. Ucapan–ucapan speech shortcut pada Myna haruslah unik atau tidak boleh ada yang sama.
Myna dapat berjalan secara background, maksudnya walaupun user sedang bekerja dengan aplikasi selain Myna, Myna tetap dapat digunakan untuk pemanggilan speech shortcut.
Pembuatan dan pengeksekusian speech shortcut ditangani sepenuhnya oleh Myna. Untuk membuat speech shortcut, user tinggal mengucapkan “add grammar” , setelah itu secara otomatis dialog “add grammar” akan tampil, seperti pada gambar 5. Pada dialog tersebut user diharuskan memasukkan command (aplikasi yang ingin dijalankan/dieksekusi), kemudian kata unik yang ingin diucapkan serta kata alternatif
(optional) misalnya please, run atau yang lainnya. Jika sudah user tinggal mengucapkan “ok” atau menekan
tombol ok, setelah itu speech shortcut sudah bisa digunakan. Selama dialog pada Myna muncul (misal dialog “add grammar”) maka speech shortcut tidak akan dapat dieksekusi.
Untuk menanganni perubahan pada pemakaian speech shortcut, Myna menyediakan fasilitas update. Fasilitas update ini terdiri atas dua jenis yaitu: update grammar untuk meng-update kata speech shortcut (kata unik) dan update command untuk meng-update command (aplikasi yang ingin dijalankan).
Gambar Dialog Myna untuk meng-update kata pada speech shortcut
untuk pemanggilannya, user tinggal mengucapkan “update grammar” atau ”update grammar please” secara otomatis Myna akan menampilkan dialog seperti yang terlihat di gambar 6, sedang untuk membuka dialog yang terlihat di gambar 7, cukup dengan mengucapkan “update command” atau
”update comamnd please”, penggunannya hampir sama dengan dialog ”add grammar” tadi. Untuk mengupadate kata, user diharuskan memasukkan command yang ingin diganti katanya, lalu memasukkan kata dan kata alternatif pengganti, setelah selesai tinggal mengucapkan “update” atau menekan tombol update. Untuk meng-update command, user diharuskan memasukkan kata yang akan diganti command/programnya, setelah memasukkan command pengganti lalu mengucapkan “update” atau menekan tombol update, setelah itu speech shortcut tadi akan ter-update.
Penghapusan speech shortcut dapat dilakukan dengan mengucapkan ”hapus grammar” atau “hapus grammar please” (dengan spelling English). Setelah dialog seperti
terlihat pada gambar 8 muncul, user tinggal memasukkan kata kunci yang bisa dipilih, apakah itu berupa kata, command/program yang dipanggil, atau kata alternatifnya, setelah diisi user tinggal mengucapkan kata “Ok” atau menekan tombol ok.
Semua dialog di atas, baik itu dialog menambah, menghapus, ataupun
meng-update grammar, dapat dibatalkan pemanggilannya dengan mengucapkan “cancel” atau “exit”.
Pengaplikasian Myna
Myna dapat digunakan untuk banyak hal karena Myna hanya sebagai shortcut ke aplikasi lain. Misal bagi anda yang mempunyai rutinitas pemanggilan aplikasi yang sama setiap harinya (misalnya OpenOffice.org writer) anda bisa mempermudah pemaggilan dengan speech shortcut dengan ucapan “writer” lalu secara otomatis OpenOffice.org writer akan dipanggil. Rutinitas lainnya seperti membuka file explorer atau file
browser dapat dipersingkat dengan
speech shortcut, sehingga setiap kali anda ingin mecari file lewat explorer
anda tinggal mengucapkan “explorer” lalu window explorer pun muncul.
Penggunaan lainnya misalnya anda sedang membuat suatu artikel, lalu anda ingin mendengarkan musik, dengan tangan tetap mengetik di keyboard anda tinggal mengucapkan “music” pada microphone lalu music
player kesayangan anda pun akan
Bahkan Myna pun dapat digunakan untuk menutup aplikasi yang sedang berjalan, misal anda sudah selesai mengetik di OpenOffice.org writer, anda tinggal mengucapkan “close writer”, lalu OpenOffice.org writer pun ditutup tanpa harus mengklik icon close.
Selain itu Myna juga dapat mematikan dan merestart komputer, dengan membuat speech shortcut untuk shutdown atau reboot komputer, anda bisa dengan mudah mematikan komputer misal dengan ucapan “shutdown” atau “restart”.
Tidak hanya itu saja, dengan sedikit kreatifitas anda, anda dapat membuat file batch atau shell script untuk meng-copy seluruh isi disket atau membuat backupnya ke dalam harddisk anda, hanya dengan mengucapkan “backup please” misalnya. Jika anda pengguna GNU/Linux anda akan bisa lebih banyak bereksperimen dengan speech shortcut.
Daftar Pustaka
[1] Suparman. Mengenal Artificial Intelligence. Andi Offset, Yogyakarta, 1991.
[2] J-P. Hosom, R. Cole dan M. Fanty. Speech Recognition Using Neural Networks at the Center for Spoken Language Understanding. Oregon Graduate Institue of Science and Technology, Oregon, 1999.
[3] Augmenting Conversation Using Dual-Purpose Speech
[4] Talking with Your Computer
