Chương 3: Ứng dụng phân lớp tàu thuyền ở cảng biển Việt Nam trên ảnh viễn
3.2 Kết quả và thảo luận
3.2.2 Kết quả phân lớp
a) Nhận dạng tàu với Mô hình BoF
Như đã trình bày trong phần a – mục 3.1.3, thuật toán BoF được sử dụng dựa trên hai thuật toán trích chọn đặc trưng SIFT và SURF. Từ một hình ảnh, chúng tôi thu được một tập các đặc trưng thu được bằng thuật toán SIFT hoặc SURF. Các đặc trưng này được biểu diễn bằng các vector có độ dài 128 (như đã trình bày trong lý thuyết của thuật toán SIFT và SURF). Các vector đặc trưng của mỗi hình ảnh được được phân cụm trong thuật toán Kmean với số cụm là 250. Để biểu diễn đặc trưng của hình ảnh, một vector có độ dài 250 được tạo ra với giá trị mỗi ô tương ứng với số đặc trưng (trích từ thuật toán SIFT và SURF) của ảnh thuộc cụm tương ứng (trong thuật toán Kmean). Vector mới này chính là đặc trưng của mỗi hình ảnh để đưa vào huấn luyện trong thuật toán SVM.
Để hình dung trực quan hơn và kiểm tra tính khả tách của dữ liệu, chúng tôi đã dùng thuật toán TSNE của thư viện Scikit-learn để mô tả các vector đặc trưng của hình ảnh. Thuật toán TSNE là một thuật toán cho phép tìm kiếm biểu diễn của dữ liệu theo một không gian mới với số chiều ít hơn. Để có thể thể hiện dữ liệu là các vector đặc trưng có độ dài 250, chúng tôi chọn số chiều là 3 (tương ứng với tọa độ không gian ba chiều) và biểu diễn chúng trên đồ thị như hình sau.
Hình 3. 9 Biểu đồ mô tả vecto đặc trưng tàu thuyền sử dụng phương pháp SIFT
Hình 3. 10 Biểu đồ mô tả vecto đặc trưng tàu thuyền sử dụng phương pháp SURF
Từ 2 biểu đồ trên, ta có thể thấy được mối tương quan giữa các chiều của dữ liệu và phân bố của dữ liệu theo một chiều nhất định. Từ biểu đồ, ta có thể thấy phân bố dữ liệu theo chiều thu được từ mô hình BoF khi sử dụng thuật toán SIFT có biến động cao hơn so với khi dùng thuật toán SURF. Nhưng đồng thời dữ liệu của SIFT lại có xu hướng co cụm lại hơn so với dữ liệu khi dùng SURF.
Với đặc điểm thứ nhất thì ta có thể dự đoán mô hình SVM huấn luyện với SIFT có thể sẽ cho kết quả phân tách tốt hơn. Với đặc điểm thứ hai thì có thể do thuật toán SIFT đưa ra nhiều đặc trưng gần giống nhau hơn so với thuật toán SURF.
Sau khi huấn luyện mô hình SVM và đã tìm ra tham số tốt nhất (đã được trình bày trong mục a – 3.1.3), kết quả tốt nhất của các mô hình phân lớp thu được bằng phương pháp này trên tập dữ liệu được trình bày trong các hình ảnh và bảng dưới đây:
Hình 3. 11 Hình ảnh các lớp tàu thuyền được nhận dạng chính xác
Hình 3. 12 Hình ảnh các lớp tàu thuyền nhận dạng chưa chính xác Bảng 3. 2 Bảng kết quả kiểm chứng bộ phân lớp bằng máy học SVM sử dụng
thuật toán SIFT
Nhãn
Precision Recall F1-score
Huấn
luyện Kiểm tra Huấn
luyện Kiểm tra Huấn
luyện Kiểm tra Tau dau 0.900 0.92 0.779 0.779 0.835 0.844 Tau cong
ten no 0.938 0.876 0.818 0.907 0.874 0.891 Tàu van
tai 0.729 0.776 0.921 0.88 0.814 0.825
Tổng 0.855 0.858 0.839 0.855 0.841 0.853 Bảng 3. 3 Bảng kết quả kiểm chứng bộ phân lớp bằng máy học SVM sử dụng
thuật toán SURF
Nhãn
Precision Recall F1-score
Huấn
luyện Kiểm tra Huấn
luyện Kiểm tra Huấn
luyện Kiểm tra Tàu dầu 0.870 0.849 0.870 0.656 0.767 0.740 Tàu công
ten nơ 0.942 0.808 0.942 0.855 0.842 0.831 Tàu vận
tải 0.610 0.671 0.610 0.820 0.728 0.738
Tổng 0.807 0.776 0.807 0.777 0.779 0.770
Mặc dù đã sử dụng phương pháp xác thực chéo để tìm bộ tham số tốt nhất và tránh hiện tượng overfitting, chúng tôi vẫn thực hiện kiểm tra lại mô hình với cả dữ liệu huấn luyện và dữ liệu kiểm tra. Phân tích kết quả thu được, chúng tôi thấy mô hình không bị hiện tượng overfitting. Có một sự trái ngược khi mô hình huấn luyện bằng dữ liệu từ mô hình BoF sử dụng thuật toán SIFT lại có kết quả kiểm tra trên tập kiểm tra cao hơn và ngược lại với mô hình huấn luyện bằng dữ liệu thu được từ mô hình BoF sử dụng thuật toán SURF. Tuy nhiên, sự chênh lệch giữa kết quả kiểm tra trên tập huấn luyện và tập kiểm tra không chênh lệch quá đáng kể (~ 0.003 – 0.031). Điều này có thể thể hiện thuật toán SVM đã học dữ liệu từ mô hình BoF sử dụng thuật toán SIFT một cách phổ quát hơn (có thể xử lý những dữ liệu chưa nhìn thấy tốt hơn) so với dữ liệu từ mô hình BoF sử dụng thuật toán SURF.
So sánh trên bảng kết quả, chúng tôi dễ dàng có thể thấy mô hình BoF hoạt động với thuật toán SIFT cho kết quả tốt hơn đáng kể so với khi dùng thuật toán SURF. Mặc dù ưu điểm của thuật toán SURF là chạy nhanh hơn nhưng các đặc trưng đưa ra từ thuật toán này có lẽ không tốt hơn so với thuật toán SIFT (với tập dữ liệu được sử dụng trong luận văn này). Điều này có thể giải thích do các bước xác định và lọc điểm đặc trưng (đặc biệt là các điểm có độ tương phản thấp) của thuật toán SURF được rút gọn hơn so với thuật toán SIFT (đã được trình bày trong phần lý thuyết). Tuy nhiên, bộ dữ liệu ảnh chúng tôi xây dựng lại có độ phân giải khá thấp. Điều này có thể là nguyên nhân khiến đặc trưng thu được từ thuật toán SIFT cho kết quả tốt hơn.
b) Nhận dạng tàu với đặc trưng LBP và thuật toán SVM
Phương pháp sử dụng cũng như các tham số tốt nhất đã được trình bày trong phần b – mục 3.1.3. Phiên bản thuật tuán LBP được chúng tôi sử dụng trong luận văn này được cài đặt trong thư viện skimage phiên bản 0.16.2. Sau khi thu được ảnh đặc trưng bằng thuật toán LBP, chúng tôi thực hiện tính biểu đồ giá trị điểm ảnh của ảnh đặc trưng và thu được một vector có độ dài là 18 biểu diễn đặc trưng cho mỗi ảnh. Thực hiện tương tự phần trước, chúng tôi sử dụng thuật toán TSNE của thư viện Scikit-learn để mô tả các vector đặc trưng của hình ảnh. Số chiều được chọn cũng là ba và thu được biểu đồ quan hệ như hình 3.13.
Hình 3. 13 Biểu đồ mô tả vecto đặc trưng tàu thuyền sử dụng thuật toán LBP Dựa theo biểu đồ, dữ liệu được phân bố khá rộng và có biển động lớn.
Điều này có thể dự đoán kết quả thu được sẽ tốt và có thể tốt hơn so với mô hình BoF khi sử dụng SIFT.
Sau khi huấn luyện và thu được kết quả các tham các tham số tốt nhất cho phương pháp (đã được trình bày trong mục b – 3.1.3), kết quả tốt nhất của mô hình phân lớp thu được bằng phương pháp này trên tập dữ liệu được trình bày trong các hình ảnh và bảng dưới đây.
Hình 3. 14 Hình ảnh các lớp tàu thuyền được nhận dạng chính xác
Hình 3. 15 Hình ảnh các lớp tàu thuyền được nhận dạng chưa chính xác Bảng 3. 4 Bảng kết quả kiểm chứng bộ phân lớp bằng máy học SVM sử dụng
thuật toán LPB
Nhãn
Precision Recall F1-score
Huấn
luyện Kiểm tra Huấn
luyện Kiểm tra Huấn
luyện Kiểm tra Tàu dầu 0.642 0.711 0.78 0.816 0.708 0.760 Tàu công
ten nơ 0.704 0.752 0.679 0.864 0.691 0.804 Tàu vận
tải 0.689 0.774 0.544 0.543 0.608 0.638
Tổng 0.679 0.745 0.671 0.741 0.669 0.734 Tương tự với phương pháp sử dụng mô hình BoF, chúng tôi cũng thực hiện kiểm tra mô hình huấn luyện được với cả dữ liệu huấn luyện và dữ liệu kiểm tra. Kết quả cho thấy kết quả trên tập kiểm tra cao hơn so với kết quả trên tập huấn luyện (~0.065 – 0.07). Mức chênh lệch này không quá đáng kể và vẫn là biểu hiện bình thường. Đây là dấu hiệu cho thấy mô hình huấn luyện bằng dữ liệu LBP có khả năng phổ quát khá tốt.
Trái với dự đoán khi phân tích biểu đồ dữ liệu, kết quả thu được từ phương pháp này kém hơn khá nhiều so với phương pháp dùng mô hình BoF.
Sau khi phân tích, chúng tôi nhận thấy nguyên nhân biểu đồ dữ liệu của LBP có vẻ phân tách tốt hơn nhưng thực tế lại tệ có thể là do sự khác biệt về số chiều của vector đặc trưng gốc. Như đã trình bày từ phần trước, mô hình BoF cho vector có chiều dài là 250 để biểu diễn đặc trưng của ảnh. Trong khi đó, phương pháp này chỉ sử dụng vector có chiều dài 18 để biểu diễn ảnh. Khi cùng sử dụng thuật toán TSNE để thu gọn chiều, với số chiều dài hơn rất nhiều lần, có thể hiểu độ mất mát thông tin của hai phương pháp là khác biệt. Đây có lẽ là nguyên nhân khiến cho biểu đồ đặc trưng của phương pháp này tốt hơn so với phương pháp dùng mô hình BoF.
b) Nhận dạng tàu với đặc trưng kết hợp (của BoF và LBP) và thuật toán SVM
Nội dung phương pháp và các tham số tốt nhất cho phương pháp đã được trình bày trong phần c – mục 3.1.3. Sau khi kết hợp các đặc trưng của mô hình BoF và đặc trưng LBP, chúng tôi sẽ thu được một vector dài 268 biểu diễn cho mỗi hình ảnh. Tương tự các phương pháp trước, để phân tích dữ liệu, chúng tôi sử dụng thuậ toán TSNE để thu gọn và biểu diễn dữ liệu trên biểu đồ. Số chiều sử dụng cũng là ba (tương tự các phương pháp trước). Để tiện theo dõi, chúng tôi gọi phương pháp dùng mô hình BoF sử dụng SIFT kết hợp với LBP là BoF – SIFT + LBP và mô hình BoF sử dụng SURT kết hợp với LBP là BoF – SURT + LBP. Biểu đồ mối quan hệ giữa các chiều và phân bố dữ liệu trên các chiều được thể hiện trong hình dưới đây..
Hình 3. 16 Biểu đồ mô tả vecto đặc trưng tàu thuyền sử dụng phương pháp SIFT kết hợp LBP
Hình 3. 17 Biểu đồ mô tả vecto đặc trưng tàu thuyền sử dụng phương pháp BOF - SURF kết hợp LBP.
Dựa vào hai biểu đồ, ta có thể thấy phương pháp BoF – SIFT + LBP có độ biến động dữ liệu kém hơn hẳn so với phương pháp BoF – SURT + LBP.
Đồng thời, do kế thừa lại dữ liệu, sự phân bố dữ liệu của phương pháp BoF – SIFT + LBP cũng hẹp (các điểm dữ liệu co cụm lại) hơn so với phương pháp BoF – SURT + LBP. Từ các dấu hiệu này có thể đưa ra dự đoán kết quả của phương pháp BoF – SIFT + LBP sẽ kém hơn so với phương pháp BoF – SURT + LBP.
Sau khi huấn luyện và thu được các tham số tốt nhất (đã được trình bày trong mục c – 3.1.3), kết quả tốt nhất của các mô hình phần lớp tốt nhất thu được bằng phương pháp được trình bày trong các hình ảnh và bảng dưới đây.
Hình 3. 18 Hình ảnh các lớp tàu thuyền được nhận dạng chính xác
Hình 3. 19 Hình ảnh các lớp tàu thuyền được nhận dạng không chính xác Kết quả kiểm chứng bộ phân lớp bằng máy học SVM sử dụng thuật toán trích chọn đặc trưng SIFT kết hợp với LBP được trình bày theo bảng 3.5
Bảng 3. 5 Bảng kết quả kiểm chứng bộ phân lớp bằng máy học SVM sử dụng thuật toán SIFT kết hợp LBP
Nhãn
Precision Recall F1-score
Huấn
luyện Kiểm tra Huấn
luyện Kiểm tra Huấn
luyện Kiểm tra Tàu dầu 0.900 0.889 0.853 0.834 0.876 0.861 Tàu công
ten nơ 0.956 0.853 0.858 0.914 0.904 0.883 Tàu vận
tải 0.801 0.840 0.924 0.840 0.858 0.840
Tổng 0.886 0.861 0.878 0.863 0.879 0.861 Kết quả kiểm chứng bộ phân lớp bằng máy học SVM sử dụng thuật toán trích chọn đặc trưng SURF kết hợp với LBP được trình bày theo bảng 3.6.
Bảng 3. 6 Bảng kết quả kiểm chứng bộ phân lớp bằng máy học SVM sử dụng thuật toán SURF kết hợp LBP
Nhãn
Precision Recall F1-score
Huấn
luyện Kiểm tra Huấn
luyện Kiểm tra Huấn
luyện Kiểm tra Tàu dầu 0.865 0.872 0.782 0.708 0.821 0.781 Tàu công
ten nơ 0.953 0.822 0.771 0.870 0.853 0.845 Tàu vận
tải 0.667 0.699 0.889 0.820 0.762 0.755
Tổng 0.829 0.798 0.814 0.799 0.812 0.794
Tương tự với các phương pháp trước, chúng tôi thực hiện kiểm tra mô hình huấn luyện được trên cả tập dữ liệu huấn luyện và kiểm tra. Kết quả so sánh cho ra cùng một xu hướng. Mô hình huấn luyện bằng dữ liệu từ hai phương pháp BoF – SIFT + LBP và phương pháp BoF – SURT + LBP đều có kết quả kiểm tra trên tập huấn luyện cao hơn so với kết quả kiểm tra trên tập kiểm tra.
Tuy nhiên, mức chênh lệch cũng không quá lớn (~0.015 – 0.031). Điều này loại trừ khả năng các mô hình bị hiện tượng overfitting. Sự chênh lệch này chỉ thể hiện một điều là mức phổ quát của các mô hình huấn luyện bằng dữ liệu từ hai phương pháp có vẻ thấp hơn một chút so với các mô hình đã huấn luyện từ các phương pháp trước.
Trái với dự đoán từ việc phân tích biểu đồ dữ liệu, phương pháp BoF – SIFT + LBP lại cho kết quả tốt hơn so với phương pháp BoF – SURT + LBP.
Điều này đi ngược sự biểu hiện của biến động của dữ liệu theo các chiều dữ liệu.
Tuy nhiên, dựa vào các phần trước, chúng tôi cho rằng việc trường giá trị dữ liệu của phương pháp BoF – SURT + LBP lớn hơn (dữ liệu phân tán hơn) so với phương pháp BoF – SIFT + LBP là nguyên nhân dẫn đến sự khác biệt này không. Bởi vì khi phân tích phương pháp chỉ sử dụng BoF, dữ liệu thu được khi dùng thuật toán SIFT có độ phân tán thấp hơn và khi huấn luyện cho mô hình tốt hơn. Từ sự tương đồng này, chúng tôi khẳng định sự phân tán dữ liệu lớn hơn rất nhiều chính là nguyên nhân khiến cho phương pháp BoF – SURT + LBP cho kết quả tệ hơn bất chấp biến động dữ liệu trong các chiều là cao và rõ ràng hơn.
So sánh với các phương pháp chỉ sử dụng thuần mô hình BoF và thuật toán LBP, kết quả của phương pháp này cũng có sự cải thiện đáng kể. Điều này đã chứng minh cho sự hiệu quả của việc kết hợp các đặc trưng lại để phân lớp ảnh tàu.