Trong cả ba thực nghiệm Exp0, Exp1 và Exp2, do độ dài của các lần thử không cố định (4 - 20s), luận văn sử dụng các đoạn tín hiệu EEG từ bộ dữ liệu HMI EEG-ET với 28/32 kênh, có độ dài 2s (khoảng cách giữa hai đoạn tín hiệu EEG liên tiếp là 0.5s, tỉ lệ chồng lấn75%) theo phương pháp phân tách tín hiệucropped. Tín hiệu EEG được lọc trong khoảng tần số 8 - 30Hz, bao gồm hai dải tần số chính của MI là Mu/Alpha (8 - 12Hz) và Beta (12 - 30Hz).
Mô hình CNN được sử dụng là EEGNet, với (K, n, d) = (64,8,4) của hai lớp tích chập đầu tiên theo hình 3.4 và EEG-ITNet, với(K, n, d) = {(16,2,2),(32,4,2),(64,8,2)}
và 3 lớp tích chập phần dư (Residual block) trong TCN vớiK = 4 theo hình 3.5. Kích thước của các lớp tích chập được lựa chọn dựa trên tần số lấy mẫu của tín hiệu EEG (ở đây là 128Hz) và mức độ ưu tiên của đặc trưng tại các dải tần số thấp của tín hiệu.
Mô hình được huấn luyện với 50 epochs, sử dụng thuật toán tối ưuAdam (lr = 3e−4), Dropout(p= 0.25, p= 0.2) (theo hình 3.5). Tên các mô hình được đặt bằng các phương pháp căn chỉnh dữ liệu được áp dụng theo thứ tự (nếu có) và mô hình học sâu tương ứng.
Thực nghiệm Exp0
Trong thực nghiệm Exp0, luận văn sử dụng lần lượt dữ liệu từ 85 đối tượng khỏe mạnh để huấn luyện mô hình và đánh giá trên 5 đối tượng còn lại (hình 4.6). Tín hiệu EEG của 90 đối tượng được căn chỉnh bằng EA trước khi được sử dụng. Kết quả của mô hình CNN cũng được so sánh với một mô hình học máy khác là CSP-BP-SVM trong hai trường hợp sử dụng EA và không sử dụng EA.
Bảng 4.3: Kết quả phân loại trung bình trên bộ dữ liệu HMI EEG-ET trong thực nghiệm Exp0
CSP-BP-SVM [EA] CSP-BP-SVM [EA] EEGNet 8,4 [EA] EEG-ITNet BAC Kappa BAC Kappa BAC Kappa BAC Kappa LR0 0.6939 0.5882 0.7558 0.6573 0.6926 0.5705 0.7065 0.5949 LRF0 0.5518 0.5054 0.6254 0.5688 0.6028 0.5539 0.6043 0.5466
(a) LR0 (b) LRF0
Hình 4.9: Ma trận lỗi trung bình của mô hình [EA] EEG-ITNet trên bộ dữ liệu HMI EEG-ET trong thực nghiệm Exp0
Hình 4.10: Các mẫu không gian của tín hiệu EEG được học từ mô hình [EA] EEG-ITNet
Qua thực nghiệm Exp0, mô hình học sâu CNN có khả năng phân biệt các trạng thái tưởng tượng ảnh vận động khác nhau của các đối tượng khỏe mạnh, đặc biệt giữa trạng thái nghỉ và thực hiện tưởng tượng ảnh vận động, đặc biệt giữa trạng thái nghỉ (rest) và các trạng thái tưởng tượng ảnh vận động khác. Kết quả này có thể có nguyên nhân từ thiết kế thí nghiệm phiên thu dữ liệu của bộ dữ liệu HMI EEG-ET, khi trong quá trình tưởng tượng ảnh vận động, các đối tượng nhắm mắt (hình 4.5). Khi nhắm mắt, tín hiệu EEG có sự xuất hiện của nhịp sóng Alpha (8 - 12Hz) rất rõ ràng, đặc biệt ở phía nửa sau đầu (thùy đỉnh và thùy chẩm), so với khi đối tượng đang nghỉ ngơi (mở mắt) (hình 4.11).
Hình 4.11: Mật độ phổ năng lượng của tín hiệu EEG (8 - 30Hz)
Ngoài ra, luận văn so sánh kết quả của mô hình CNN với các nhóm kênh khác nhau trong 32 kênh của tín hiệu EEG (hình 4.12). Kết quả cho thấy mô hình CNN hiệu quả hơn cả khi sử dụng toàn bộ các kênh của tín hiệu EEG.
(a)Toàn bộ các vùng trên vỏ não
(28 kênh) (b)Vùng thùy trán và vùng vận động
(16 kênh) (c)C3, Cz, C4
(3 kênh)
Hình 4.12: Vị trí các nhóm điện cực của bộ dữ liệu HMI EEG-ET
Bảng 4.4: Kết quả phân loại trung bình của mô hình học sâu với các nhóm kênh trên bộ dữ liệu HMI EEG-ET trong thực nghiệm Exp0
Toàn bộ các vùng trên vỏ não
Vùng thùy trán và
vùng vận động C3, Cz, C4 BAC Kappa BAC Kappa BAC Kappa [EA] EEGNet 8,4 LR0 0.6926 0.5705 0.6585 0.5225 0.5986 0.4521 LRF0 0.6028 0.5539 0.5665 0.5044 0.4695 0.4376 [EA] EEG-ITNet LR0 0.7065 0.5949 0.6509 0.5072 0.5981 0.4410 LRF0 0.6043 0.5466 0.5734 0.4929 0.4757 0.4326
Thực nghiệm Exp1
Trong thực nghiệm Exp2, luận văn sử dụng dữ liệu từ 90 đối tượng khỏe mạnh để huấn luyện mô hình và đánh giá trên từng phiên thu của các bệnh nhân ALS (hình 4.7).
Kết quả phân loại của mô hình là trung bình tất cả phiên thu với từng bệnh nhân ALS.
Tín hiệu EEG của 90 đối tượng khỏe mạnh và các phiên thu của 4 bệnh nhân ALS được căn chỉnh bằng EA trước khi sử dụng.
Bảng 4.5: Kết quả phân loại trung bình của mô hình [EA] EEG-ITNet trên bộ dữ liệu HMI EEG-ET trong thực nghiệm Exp1
ALS01 ALS02 ALS04 ALS05 ALS∗
BAC Kappa BAC Kappa BAC Kappa BAC Kappa BAC Kappa LR0 0.6466 0.4350 0.5239 0.2695 0.5999 0.3605 0.6269 0.3880 0.5900 0.3605 LRF0 0.4896 0.3293 0.3652 0.1526 0.3936 0.2077 0.4328 0.2924 0.4204 0.2422
∗trung bình tính theo phiên thu của tất cả bệnh nhân ALS
Thực nghiệm Exp2
Tương tự như thực nghiệm Exp1, luận văn sử dụng dữ liệu từ 90 đối tượng khỏe mạnh để huấn luyện mô hình và đánh giá lần lượt trên từng phiên thu của các bệnh nhân ALS (hình 4.8). Với mỗi bệnh nhân ALS, luận văn sử dụng dữ liệu từ một phiên thu để đánh giá và dữ liệu từ 90 đối tượng khỏe mạnh được căn chỉnh bằng LA với nhãn từ dữ liệu 9/10 phiên thu còn lại của cùng bệnh nhân ALS. Sau đó, dữ liệu từ tất cả các phiên thu của bệnh nhân ALS và dữ liệu từ 90 đối tượng khỏe mạnh (được căn chỉnh trước đó bằng LA) được căn chỉnh bằng EA trước khi sử dụng. Bước tiền xử lý dữ liệu tín hiệu EEG bao gồm [LA,EA].
Bảng 4.6: Kết quả phân loại trung bình của mô hình [LA,EA] EEG-ITNet trên bộ dữ liệu HMI EEG-ET trong thực nghiệm Exp2
ALS01 ALS02 ALS04 ALS05 ALS∗
BAC Kappa BAC Kappa BAC Kappa BAC Kappa BAC Kappa LR0 0.6869 0.5217 0.6571 0.4781 0.6007 0.3678 0.6012 0.3612 0.6427 0.4443 LRF0 0.5834 0.4819 0.5279 0.3498 0.4723 0.3399 0.4683 0.3457 0.5206 0.3856
∗trung bình tính theo phiên thu của tất cả bệnh nhân ALS
Ngoài ra, để so sánh kết quả của mô hình CNN, luận văn sử dụng mô hình [EA]
CSP-BP-SVM được huấn luyện và đánh giá lần lượt trên từng phiên thu của bệnh nhân ALS, không sử dụng dữ liệu của các đối tượng khỏe mạnh (thực nghiệm Exp2-ALS).
Bảng 4.7: Kết quả phân loại trung bình của mô hình [EA] CSP-BP-SVM trên bộ dữ liệu HMI EEG-ET trong thực nghiệm Exp2-ALS
ALS01 ALS02 ALS04 ALS05 ALS∗
BAC Kappa BAC Kappa BAC Kappa BAC Kappa BAC Kappa LR0 0.7766 0.6456 0.7240 0.5724 0.6728 0.4761 0.6981 0.5064 0.7229 0.5596 LRF0 0.6067 0.4946 0.5849 0.4366 0.5370 0.3947 0.5316 0.3977 0.5706 0.4370
∗trung bình tính theo phiên thu của tất cả bệnh nhân ALS
(a) LR0 (b) LRF0
Hình 4.13: So sánh kết quả thực nghiệm Exp1, Exp2 và Exp2-ALS
Từ thực nghiệm Exp1 và Exp2 (bảng 4.5, 4.6), sử dụng dữ liệu từ các đối tượng khỏe mạnh được căn chỉnh theo một phần dữ liệu từ bệnh nhân ALS cho kết quả tốt hơn
sử dụng trực tiếp dữ liệu từ các đối tượng khỏe mạnh để huấn luyện mô hình phân loại trong đa số thử nghiệm (ngoại trừ bệnh nhân ALS05 - phân loại LR0) (hình 4.13).
Từ thực nghiệm Exp0 và Exp2-ALS (bảng 4.3, 4.7), kết quả phân loại trung bình tính theo phiên thu (không phân biệt đối tượng) cho thấy bệnh nhân ALS có khả năng tưởng tượng ảnh vận động kém hơn so với các đối tượng khỏe mạnh. Tuy nhiên, sự khác biệt giữa đối tượng khỏe mạnh và bệnh nhân ALS có thể đến từ chênh lệch độ tuổi thay vì tình trạng bệnh lý (đa số các đối tượng khỏe mạnh có độ tuổi 19 - 20 tuổi). Trong 4 bệnh nhân ALS được thực nghiệm, bệnh nhân ALS01 có kết quả phân loại tốt nhất với nhiều phương pháp khác nhau.
Bảng 4.8: Kết quả phân loại trung bình của mô hình [EA] CSP-BP-SVM trên bộ dữ liệu HMI EEG-ET giữa đối tượng khỏe mạnh và bệnh nhân ALS (theo phiên thu)
ALS Đối tượng khỏe mạnh BAC Kappa BAC Kappa LR0 0.7229 0.5596 0.7558 0.6573 LRF0 0.5706 0.4370 0.6254 0.5688
Nhận xét
Qua các thực nghiệm được thực hiện trên bộ dữ liệu HMI EEG-ET, các phương pháp căn chỉnh tín hiệu điện não EEG (EA, LA) giúp cải thiện độ chính xác của các mô hình phân loại, sử dụng dữ liệu từ nhiều phiên thu, đối tượng khác nhau để khắc phục hạn chế về dữ liệu của từng đối tượng. Tuy nhiên, mô hình học sâu CNN được thử nghiệm có độ chính xác thấp hơn so với mô hình học máy CSP-PB-SVM, nguyên nhân có thể do số lượng dữ liệu cho mỗi phiên thu, đối tượng còn rất ít (3 lần thử liên tục / phiên thu) nên các đặc trưng của tín hiệu EEG học được từ mô hình CNN không đủ tính tổng quát.
CHƯƠNG 5
Kết luận
Chương này trình bày các kết luận của luận văn sau khi thực hiện các thực nghiệm, các hạn chế và các hướng phát triển tiếp theo của luận văn trong tương lai.
1 Kết luận
Luận văn đã xây dựng và thử nghiệm mô hình học sâu, kết hợp phương pháp căn chỉnh dữ liệu cho tín hiệu EEG để phân loại tín hiệu điện não cho tác vụ tưởng tượng ảnh vận động. Qua thực nghiệm, các mô hình học sâu có tiềm năng sử dụng trong các hệ thống đánh vần, kết hợp với hệ thống theo dõi ánh mắt để cải thiện khả năng nhập liệu.
Với thực nghiệm trên bộ dữ liệu HMI EEG-ET bao gồm dữ liệu của các đối tượng khỏe mạnh và bệnh nhân ALS, mô hình CNN được thử nghiệm đạt độ chính xác 0.7065 trên 3 nhãn, 0.6043 trên 4 nhãn với các đối tượng khỏe mạnh và 0.6427 trên 3 nhãn và 0.5206 trên 4 nhãn với bệnh nhân ALS. So với mô hình học máy khác (CSP-BP-SVM), mô hình CNN chưa đạt được độ chính xác cần thiết. Với dữ liệu của bệnh nhân ALS, sử dụng thêm dữ liệu từ các đối tượng khỏe mạnh khác cũng chưa đem lại cải tiến về độ chính xác so với chỉ sử dụng dữ liệu từ bệnh nhân đó. Ngoài ra, qua thực nghiệm luận văn thu được một số kết luận sau:
- Các học chuyển tiếp và căn chỉnh dữ liệu hiệu quả trong trường hợp dữ liệu cho một đối tượng hạn chế. Các phương pháp này có thể được áp dụng theo cách thích hợp để cải thiện độ chính xác của các mô hình phân loại, đặc biệt từ dữ liệu của các đối tượng khỏe mạnh cho bệnh nhân ALS.
- Mô hình học sâu CNN hiệu quả nhất khi sử dụng toàn bộ số kênh của tín hiệu EEG thay vì lựa chọn một số kênh nhất định dựa theo đặc trưng của tác vụ tưởng tượng ảnh vận động.
- Bệnh nhân ALS có khả tưởng tượng ảnh vận động kém hơn các đối tượng bình thường (tính trung bình theo các phiên thu).
Hạn chế của luận văn
Trong quá trình thực nghiệm, luận văn tồn tại một vài hạn chế:
- Dữ liệu thực nghiệm từ bộ dữ liệu HMI EEG-ET đang trong quá trình thu thập, phân bố độ tuổi của các đối tượng khỏe mạnh và bệnh nhân ALS không đồng đều, các đối tượng khỏe mạnh chỉ có 1 phiên thu duy nhất và số lượng bệnh nhân ALS hạn chế.
- Các mô hình học sâu được luận văn thử nghiệm (bao gồm các mô hình CNN) không đạt kết quả cao hơn so với các mô hình học máy với lượng dữ liệu hạn chế, bao gồm sử dụng và không các phương pháp căn chỉnh dữ liệu từ nhiều đối tượng khác nhau.
- Luận văn chưa chỉ ra được ảnh hưởng của việc nhắm mắt lên quá trình tưởng tượng ảnh vận động và tính liên tục của quá trình tưởng tượng ảnh vận động trong thời gian dài (khoảng 10s).
2 Hướng phát triển trong tương lai
Trong tương lai, ngoài khắc phục, bổ sung những hạn chế của luận văn, mô hình phân loại tín hiệu điện não EEG cho tác vụ tưởng tượng ảnh vận động có thể được mở rộng và cải tiến theo nhiều hướng khác nhau. Một số hướng luận văn dự kiến thực hiện bao gồm:
- Bổ sung dữ liệu với nhiều đối tượng khác nhau, bao gồm bệnh nhân bị tổn thương chức năng vận động. Sử dụng dữ liệu từ các phiên thu khi đối tượng sử dụng hệ thống đánh vần trong điều kiện thực tế. Luận văn tìm cách xây dựng mô hình có thể phân biệt nhiều nhãn hơn, thay cho hạn chế chỉ 4 nhãn phổ biến: tay trái, tay phải, hai chân và nghỉ ngơi.
- Tìm kiếm và thử nghiệm các phương pháp học chuyển tiếp và căn chỉnh tín hiệu điện não EEG khác, thay vì hạn chế hai phương pháp được đề cập trong luận văn cho các mô hình học sâu. Các phương pháp học chuyển tiếp và căn chỉnh hướng tới việc sử dụng hiệu quả hơn dữ liệu từ các đối tượng khỏe mạnh cho việc huấn luyện các mô hình phân loại cho bệnh nhân bị tổn thương chức năng vận động.
- Thử nghiệm một số mô hình học sâu khác phù hợp với tín hiệu EEG như mạng nơ-ron tích chập trên đồ thị có thể học các đặc trưng về không gian (mối liên kết giữa các tín hiệu tại từng điện cực) tốt hơn. Đặc biệt các mô hình học sâu trên không gian Riemannian thay vì giới hạn ở các mô hình trên không gian Euclidean như hiện tại.
Sau cùng, để mô hình phân loại tín hiệu điện não EEG có thể sử dụng trong điều kiện thực tế và kết hợp với hệ thống đánh vần bằng ánh mắt đã có, luận văn sửa đổi và phát triển hệ thống có thể hoạt động trong thực tế, xử lý tín hiệu EEG liên tục theo thời gian thay vì sử dụng toàn bộ đoạn tín hiệu như hiện tại.
TÀI LIỆU THAM KHẢO
[1] J. Mercier-Ganady, “Contribution to the study of the use of brain-computer inter- faces in virtual and augmented reality”, 2015.
[2] A. L. Goldberger, L. A. N. Amaral, L. Glass, et al., “PhysioBank, PhysioToolkit, and PhysioNet: components of a new research resource for complex physiologic signals”,Circulation, vol. 101, 2000.
[3] J. Knierim, “Neuroscience Online, Section 3: Motor Systems”, in 2020, ch. 3:
Motor Cortex.
[4] G. Pfurtscheller and C. Neuper, “Motor imagery activates primary sensorimotor area in humans”,Neuroscience Letters, vol. 239, 1997.
[5] G. Pfurtscheller and C. Neuper, “Motor Imagery and Direct Brain-Computer Com- munication”,Proceedings of the IEEE, vol. 89, 2001.
[6] G. Pfurtscheller, C. Brunner, A. Schlogl, and F. L. da Silva, “Mu rhythm (de)synchronization and EEG single-trial classification of different motor imagery tasks”,NeuroImage,
vol. 31, 2005.
[7] G. Pfurtscheller, C. Neuper, C. Andrew, and G. Edlinger, “Foot and hand area mu rhythms”,International Journal of Psychophysiology, vol. 26, 1997.
[8] K. K. Ang, Z. Y. Chin, C. Wang, C. Guan, and H. Zhang, “Filter bank common spatial pattern algorithm on BCI competition IV Datasets 2a and 2b”,Frontiers in Neuroscience, vol. 6, 2012.
[9] N. Brodu, F. Lotte, and A. L´ecuyer, “Comparative study of band-power extraction techniques for Motor Imagery classification”,IEEE Symposium on Computational Intelligence, Cognitive Algorithms, Mind, and Brain, 2011.
[10] P. Herman, G. Prasad, T. M. McGinnity, and D. Coyle, “Comparative Analysis of Spectral Approaches to Feature Extraction for EEG-Based Motor Imagery Classi- fication”,IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 16, 2008.
[11] A. Barachant, S. Bonnet, M. Congedo, and C. Jutten, “Multiclass Brain-Computer Interface Classification by Riemannian Geometry”,IEEE Transactions on Biomed- ical Engineering, vol. 59, 2012.
[12] M. Congedo, A. Barachant, and R. Bhatia, “Riemannian geometry for EEG-based brain-computer interfaces; a primer and a review”, Brain-Computer Interfaces, vol. 4, 2017.
[13] R. T. Schirrmeister, J. T. Springenberg, L. D. J. Fiederer, et al., “Deep learning with convolutional neural networks for EEG decoding and visualization”,Human Brain Mapping, vol. 38, 2017.
[14] V. J. Lawhern, A. J. Solon, N. R. Waytowich, S. M. Gordon, C. P. Hung, and B. J. Lance, “EEGNet: a compact convolutional neural network for EEG-based brain-computer interfaces”,Journal of Neural Engineering, vol. 15, 2018.
[15] X. Wang, M. Hersche, B. T¨omekce, B. Kaya, M. Magno, and L. Benini, “An Ac- curate EEGNet-based Motor-Imagery Brain–Computer Interface for Low-Power Edge Computing”, IEEE International Workshop on Medical Measurement and Applications (MEMEA), 2020.
[16] P. Zanini, M. Congedo, C. Jutten, S. Said, and Y. Berthoumieu, “Transfer learn- ing: a Riemannian geometry framework with applications to Brain-Computer In- terfaces”,IEEE Transactions on Biomedical Engineering, vol. 65, 2018.
[17] H. He and D. Wu, “Transfer Learning for Brain–Computer Interfaces: A Euclidean Space Data Alignment Approach”, IEEE Transactions on Biomedical Engineer- ing, vol. 67, 2020.
[18] H. He and D. Wu, “Different Set Domain Adaptation for Brain-Computer Inter- faces: A Label Alignment Approach”,IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 28, 2020.
[19] L. Xu, M. Xu, Y. Ke, X. An, S. Liu, and D. Ming, “Cross-Dataset Variability Prob- lem in EEG Decoding With Deep Learning”, Frontiers in Human Neuroscience, vol. 14, 2020.
[20] H. Dose, J. S. Møller, H. K. Iversen, and S. Puthusserypady, “An end-to-end deep learning approach to MI-EEG signal classification for BCIs”,Expert Systems With Applications, vol. 114, 2018.
[21] X. Wei, A. A. Faisal, M. Grosse-Wentrup, et al., “2021 BEETL Competition:
Advancing Transfer Learning for Subject Independence & Heterogenous EEG Data Sets”, in Proceedings of the NeurIPS 2021 Competitions and Demonstra- tions Track, D. Kiela, M. Ciccone, and B. Caputo, Eds., 2022.