TÌM KIẾM HÌNH ẢNH DỰA TRÊN NỘI DUNG VỚI PHẢN HỒI PHÙ HỢP SỬ DỤNG MÔ HÌNH HỌC TẬP DỰA TRÊN ĐỒ HỌA. Đánh giá về truy xuất hình ảnh dựa trên nội dung với phản hồi liên quan - Đánh giá về các mô hình học tập bằng đồ thị. Hiểu được quy trình của hệ thống tra cứu ảnh dựa trên nội dung, các phương pháp cơ bản trong tra cứu ảnh dựa trên nội dung.
Hiểu một số mô hình học tập dựa trên đồ thị và áp dụng chúng để nâng cao hiệu quả tìm kiếm. Với mục đích tương tự, nhiều hệ thống truy xuất hình ảnh đã được phát triển. Có hai nền tảng: dựa trên văn bản và dựa trên nội dung.
Để khắc phục hai nhược điểm nêu trên của hệ thống tra cứu ảnh dựa trên văn bản, khái niệm tra cứu ảnh dựa trên nội dung đã được đưa ra vào đầu những năm 1980. Dự án trình bày một kỹ thuật tra cứu ảnh dựa trên nội dung trong đó sử dụng các phản hồi liên quan đến mô hình học tập dựa trên đồ thị .Dự án bao gồm 3 phần.
Tổng quan về tra cứu ảnh dựa trên nội dung với
- Khái niệm tra cứu ảnh dựa trên nội dung
- Những thành phần của một hệ thống tra cứu ảnh dựa trên nội dung
- Các đặc trƣng hình ảnh mức thấp
- Đánh chỉ số
- Tƣơng tác ngƣời dùng
- Khoảng cách ngữ nghĩa
- Kỹ thuật phản hồi liên quan trong CBIR
- Khái niệm phản hồi liên quan
- Kiến trúc tổng quan của hệ thống CBIR với phản hồi liên quan 14
- Những thách thức trong phản hồi liên quan
- Các lĩnh vực ứng dụng của tra cứu ảnh dựa trên nội dung
Trích xuất các tính năng từ truy vấn và lưu trữ chúng trong cơ sở dữ liệu tính năng dưới dạng vectơ hoặc không gian tính năng. So sánh sự giống nhau giữa các đặc điểm trong cơ sở dữ liệu theo từng cặp. Các đặc điểm hình ảnh bao gồm các đặc điểm cơ bản và các đặc điểm ngữ nghĩa/logic.
Một hoặc nhiều tính năng có thể được sử dụng trong một ứng dụng cụ thể. Đặc trưng màu sắc là một trong những đặc trưng được sử dụng phổ biến trong tra cứu ảnh. Vì vậy, kết cấu là một đặc điểm quan trọng trong việc xác định ngữ nghĩa cấp cao cho mục đích tra cứu ảnh [5].
Hệ thống chuyển đổi hình ảnh mẫu thành hình ảnh thể hiện các đặc điểm bên trong. Sau đó, các hình ảnh được lưu trữ trong cơ sở dữ liệu có đặc điểm tương tự sẽ được tìm kiếm. Với phản hồi phù hợp, các kết nối có thể được tạo ra giữa các khái niệm cấp cao và các tính năng cấp thấp.
Trích xuất đặc trưng liên quan đến việc trích xuất thông tin có ý nghĩa từ hình ảnh. Khi các tính năng được trích xuất, chúng sẽ được lưu trữ trong cơ sở dữ liệu để sử dụng cho các truy vấn trong tương lai. Các tính năng phổ biến nhất được sử dụng là màu sắc, kết cấu và hình dạng.
Vì vậy, việc trích chọn đặc trưng ảnh cục bộ là cần thiết. Bởi vì, tìm kiếm vẫn dựa trên từ khóa chứ không dựa trên các tính năng cấp thấp. Hệ thống cho phép người dùng nhập truy vấn, sử dụng các tính năng hình ảnh cấp thấp như màu sắc, bố cục không gian và kết cấu.
Những đặc điểm đó được mô tả bằng màu sắc và biến đổi Wavelet dựa trên đặc điểm kết cấu. Hệ thống NeTra sử dụng các đặc điểm hình ảnh: Màu sắc, hình dạng, kết cấu, vị trí không gian.
Mô hình học bán giám sát dựa trên đồ thị
- Khái niệm học máy
- Học bán giám sát
- Học bán giám sát dựa trên đồ thị
- Thuật toán lan truyền nhãn
- Xây dựng đồ thị
- Trƣờng ngẫu nhiên Gauss và hàm điều hòa
- Kết hợp học bán giám sát với học chủ động (Active Learning)
- Học siêu tham số của đồ thị (Graph Hyperparameter Learning)
- Phƣơng pháp tối đa Evidence
- Phƣơng pháp tối thiểu Entropy
Với phân loại truyền thống, vấn đề là dữ liệu chưa được gắn nhãn không thể được sử dụng để huấn luyện bộ phân loại. Câu hỏi đặt ra là: Với một tập hợp dữ liệu được dán nhãn tương đối nhỏ và một lượng lớn dữ liệu không được gắn nhãn, có cách nào để sử dụng cả hai để phân loại hay không. Khái niệm "học bán giám sát" ra đời từ thực tế là dữ liệu được sử dụng là giữa học có giám sát và không giám sát.
Học bán giám sát sử dụng cả dữ liệu được dán nhãn và không được gắn nhãn cho mục đích học tập. Chúng tôi có rất nhiều ý tưởng thú vị về việc học trên cả dữ liệu được dán nhãn và không được gắn nhãn. Một biến thể khác là tự đào tạo: bộ phân loại đầu tiên được đào tạo bằng cách sử dụng dữ liệu được dán nhãn.
Sau đó, chúng được sử dụng để phân loại dữ liệu chưa được gắn nhãn, các điểm không được gắn nhãn đáng tin cậy nhất cùng với các nhãn dự đoán của chúng sẽ được thêm vào tập huấn luyện. Ban đầu, hai bộ phân loại được huấn luyện với dữ liệu được dán nhãn, mỗi bộ phân loại có một tập đặc điểm. Phương pháp này bắt đầu bằng một biểu đồ trong đó các nút được gắn nhãn và các điểm dữ liệu không được gắn nhãn và các cạnh (trọng số) phản ánh sự giống nhau giữa các nút.
Trong quá trình này, chúng tôi sửa các nhãn trên dữ liệu được gắn nhãn để dữ liệu được gắn nhãn đóng vai trò là nguồn đẩy nhãn sang dữ liệu không được gắn nhãn. Chúng ta thường sử dụng L và U để biểu thị dữ liệu được đánh dấu và không được đánh dấu. Giả sử số lượng lớp đã biết và các lớp này biểu thị dữ liệu được dán nhãn.
Chúng tôi tạo một biểu đồ có các nút được gắn nhãn và các điểm dữ liệu không được gắn nhãn. Khi xem xét một số dữ liệu được gắn nhãn, chúng tôi cố gắng lấy các giá trị trong dữ liệu được gắn nhãn. Cho đến nay, dữ liệu được cho là đã được dán nhãn đã được nhập và điều chỉnh.
Trong các trường Gaussian, phân phối này trên dữ liệu không được gắn nhãn là phân phối chuẩn đa biến. Trong phần này, một số phương pháp học trọng số từ dữ liệu có nhãn và không nhãn được trình bày ngắn gọn.
Áp dụng cài đặt thử nghiệm
- Nền tảng và ngôn ngữ lập trình
- Các thƣ viện sử dụng
- Cơ sở dữ liệu
- Giao diện và các chức năng chính của chƣơng trình
- Giao diện chính
- Các chức năng chính của chƣơng trình
- Một số kết quả thực nghiệm
- Kết quả thực nghiệm số 1
- Kết quả thực nghiệm số 2
Open: Mở file ảnh truy vấn và trích xuất đặc trưng cho ảnh truy vấn. Nếu người dùng không hài lòng, họ có thể tiếp tục quá trình phản hồi tương ứng. Phản hồi: Mở giao diện lấy thông tin phản hồi liên quan từ người dùng.
Sau đó, ở mỗi lần lặp, hệ thống sử dụng thuật toán học tích cực để tạo ra một số hình ảnh. Tìm hiểu cấu trúc của hệ thống tìm kiếm hình ảnh dựa trên nội dung. Tìm hiểu một số phương pháp giảm khoảng cách ngữ nghĩa trong tìm kiếm hình ảnh dựa trên nội dung.
Tìm hiểu về một số phương pháp học máy, đặc biệt là học bán giám sát dựa trên mô hình đồ thị. Đã phát triển một chương trình thí điểm áp dụng phương pháp phản hồi liên quan bằng cách sử dụng phương pháp học bán giám sát trên biểu đồ để truy xuất hình ảnh dựa trên nội dung. Phần chương trình cài đặt tính toán còn chậm do được cài đặt trong môi trường MS Visual Studio và khả năng phần cứng còn hạn chế.
Do độ phức tạp về thời gian tính toán nên việc tính toán gradient là. Để nâng cao độ chính xác trong tra cứu ảnh, cần tiếp tục nghiên cứu mô hình học bán giám sát. Em rất mong nhận được những ý kiến phản hồi từ thầy cô và các bạn để em có thêm kiến thức, kinh nghiệm tiếp tục hoàn thiện các nội dung nghiên cứu trong đề tài.
