TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
BÙI VĂN MINH
KIỂM DUYỆT BÀI VIẾT VÀ BÌNH LUẬN TIẾNG VIỆT CÓ NỘI DUNG KHÔNG PHÙ HỢP TRÊN
MẠNG XÃ HỘI FACEBOOK
LUẬN VĂN THẠC SĨ AN TOÀN THÔNG TIN
Hà Nội, tháng 12/2021
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
BÙI VĂN MINH
KIỂM DUYỆT BÀI VIẾT VÀ BÌNH LUẬN TIẾNG VIỆT CÓ NỘI DUNG KHÔNG PHÙ HỢP TRÊN
MẠNG XÃ HỘI FACEBOOK
Ngành: Công nghệ thông tin Chuyên ngành: An toàn thông tin
Mã số: 8480202.01
LUẬN VĂN THẠC SĨ AN TOÀN THÔNG TIN
NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. Lê Đình Thanh
Hà Nội, tháng 12/2021
LỜI CAM ĐOAN
Tôi cam đoan rằng, luận văn “Kiểm duyệt bài viết và bình luận tiếng Việt có nội dung không phù hợp trên mạng xã hội Facebook” là công trình nghiên cứu của riêng tôi. Những số liệu được sử dụng trong luận văn là trung thực được chỉ rõ nguồn trích dẫn. Kết quả nghiên cứu này chưa được công bố trong bất kỳ công trình nghiên cứu nào từ trước đến nay.
Tôi hoàn toàn chịu trách nhiệm với lời cam đoan của mình.
Hà Nội, ngày tháng 12 năm 2021 Người cam đoan
Bùi Văn Minh
LỜI CẢM ƠN
Để hoàn thành luận văn này, ngoài sự cố gắng của bản thân, tôi đã nhận được sự giúp đỡ của nhiều tập thể, cá nhân trong và ngoài trường.
Tôi xin bày tỏ lòng biết ơn đến TS. Lê Đình Thanh đã luôn tận tình hướng dẫn, động viên tôi thực hiện luận văn này.
Tôi xin bày tỏ lòng biết ơn tới các quý thầy cô Ngành An toàn thông tin, Khoa Công nghệ Thông tin nói riêng và trong Trường Đại học Công nghệ - ĐHQGHN nói chung đã tạo điều kiện tốt nhất cho tôi trong quá trình học tập, nghiên cứu và hoàn thiện luận văn này.
Cuối cùng, tôi xin cảm ơn gia đình, đồng nghiệp, bạn bè, người thân đã động viên, khích lệ tôi trong quá trình học tập và nghiên cứu.
Mặc dù bản thân đã có rất nhiều cố gắng nhưng luận văn không tránh khỏi những khiếm khuyết, hạn chế. Vì vậy, tôi rất mong được sự góp ý chân thành của quý thầy cô, đồng nghiệp và bạn đọc để luận văn được hoàn thiện hơn.
Xin trân trọng cảm ơn!
Hà Nội, tháng 12 năm 2021 Tác giả luận văn
Bùi Văn Minh
MỤC LỤC
LỜI CAM ĐOAN ... 3
LỜI CẢM ƠN ... 4
MỤC LỤC ... 5
DANH SÁCH CÁC HÌNH ... 7
DANH SÁCH CÁC BẢNG ... 10
DANH SÁCH CHỮ VIẾT TẮT ... 11
LỜI MỞ ĐẦU ... 12
CHƯƠNG 1: CƠ SỞ KHOA HỌC ... 14
1.1. Nội dung phản động trên Facebook ... 14
1.2. Tác hại của nội dung phản động trên Facebook ... 17
1.3. Kiểm duyệt nội dung phản động trên Facebook ... 19
1.4. Mục tiêu nghiên cứu của luận văn ... 20
1.5. Cấu trúc của luận văn ... 21
CHƯƠNG 2: ĐỀ XUẤT PHƯƠNG PHÁP ... 23
2.1. Danh sách đen ... 23
2.1.1. User Facebook phản động ... 23
2.1.2. Fanpage Facebook phản động... 24
2.1.3. Group Facebook phản động ... 24
2.1.4. Website, blog phản động ... 24
2.2. Phương pháp học máy ... 25
2.2.1. Trích chọn đặc trưng nội dung phản động ... 25
2.2.2. Mô hình, thuật toán phân loại phổ biến ... 39
2.3. Sử dụng Hệ số tương quan Matthews ... 44
CHƯƠNG 3: CÀI ĐẶT THỬ NGHIỆM ... 46
3.1. Mô hình kiểm duyệt nội dung phản động ... 46
3.2. Xây dựng các blacklist phản động ... 47
3.3. Xây dựng tập dữ liệu mẫu ... 51
3.3.1. Thu thập dữ liệu ... 51
3.3.2. Gán nhãn dữ liệu ... 54
3.4. Xây dựng bộ từ điển phản động ... 55
3.5. Xây dựng vector đặc trưng ... 56
3.6. Các mô hình thử nghiệm ... 58
3.6.1. SVM-3f ... 59
3.6.2. SVM-2f ... 60
3.6.3. MLP-2f ... 60
3.6.4. MLP-3f ... 61
3.6.5. SVM-BERT ... 61
3.6.6. MLP-BERT ... 62
CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ... 72
4.1. Kết luận ... 72
4.2. Hướng phát triển ... 72
TÀI LIỆU THAM KHẢO ... 74
PHỤ LỤC... 78
Mục 1: Trích xuất dữ liệu bình luận vào CSDL ... 78
Mục 2: Xây dựng vector đặc trưng ... 78
Mục 3: Một số kết quả thực nghiệm ... 85
Mục 4: Kiểm duyệt nội dung phản động trên Facebook ... 88
DANH SÁCH CÁC HÌNH
Hình 2.1: Quy trình NLP ... 26
Hình 2.2. Kết quả thử nghiệm các mô hình phân loại văn bản tiếng Việt của nhóm Underthesea ... 32
Hình 2.3. Kiến trúc mô hình BERT ... 34
Hình 2.4. Mô hình chung của Word2Vec ... 38
Hình 2.5. Support Vectors trong SVM ... 41
Hình 2.6. Margin trong SVM ... 41
Hình 2.7: Cấu tạo mạng MLP cơ bản ... 43
Hình 2.8: Sử dụng mô hình MLP cho bài toán phân loại văn bản ... 43
Hình 3.1: Mô hình kiểm duyệt 02 lớp đối với bài viết, bình luận phản động ... 46
trên Facebook ... 46
Hình 3.2: Minh họa thu thập bài viết bằng Selenium ... 52
Hình 3.3: Minh họa thu thập bình luận bằng Selenium ... 53
Hình 3.4: Mẫu dữ liệu bài viết thu thập được ... 54
Hình 3.5: Mẫu dữ liệu bình luận thu thập được ... 54
Hình 3.6: Mẫu dữ liệu bình luận sau khi được gán nhãn ... 55
Hình 3.7: Danh sách từ điển phản động đã xây dựng ... 56
Hình 3.8: Tham số C tốt nhất ... 59
Hình 3.9: Kết quả thử nghiệm bộ vector đặc trưng bao gồm Blacklist word phản động, hình thái, n-gram với thuật toán SVM ... 60
Hình 3.10: Kết quả thử nghiệm bộ vector đặc trưng bao gồm Blacklist word phản động, hình thái với thuật toán SVM ... 60
Hình 3.11: Kết quả huấn luyện bộ vector đặc trưng bao gồm Blacklist word phản động và hình thái với mô hình MLP ... 60
Hình 3.12: Kết quả huấn luyện bộ vector đặc trưng bao gồm Blacklist word phản động, hình thái và n-gram với mô hình MLP ... 61
Hình 3.13: Kết quả huấn luyện mô hình sử dụng pretrained PhoBERT kết hợp với thuật toán SVM ... 61
Hình 3.14: Kết quả huấn luyện mô hình sử dụng pretrained PhoBERT kết hợp với mô hìnhMLP ... 62
Hình 3.15: Kết quả thực nghiệm các mô hình ... 62
Hình 3.16: Cấu trúc thư mục extension ... 64
Hình 3.17: File manifest.json ... 64
Hình 3.18: Giao diện extension Chrome ... 66
Hình 3.19: Cài đặt extension thành công ... 66
Hình 3.20: Trước khi sử dụng extension ... 67
Hình 3.21: Extension chặn các nhóm độc hại, chống phá ... 68
Hình 3.22: Extension chặn các người dùng có hành vi phản động ... 68
Hình 3.23: Extension chặn các trang mạng có hành vi phản động ... 69
Hình 3.24: Kết quả hoạt động của extension trên bài viết ... 69
Hình 3.25: Sau khi hiện ra bài viết bị ẩn (bài viết sẽ vẫn bị làm mờ). ... 70
Hình 3.26: Kết quả hoạt động của extension trên bình luận ... 71
Hình 3.27: Sau khi hiện ra bình luận bị ẩn. ... 71
Hình 3.28: Code tách comment json bằng Python... 78
Hình 3.29: Mã nguồn đọc bộ dữ liệu bao gồm 20.000 bài viết, bình luận trên Facebook từ nhiều user, fanpage, group khác nhau. ... 78
Hình 3.30: Mẫu dữ liệu sử dụng cho huấn luyện và kiểm tra mô hình ... 79
Hình 3.31: Mã nguồn tính toán độ phản động của các bài viết, bình luận ... 79
Hình 3.32: Hàm tính toán tỉ lệ ký tự viết hoa trong bình luận, bài viết ... 80
Hình 3.33: Hàm tính độ dài bài viết ... 80
Hình 3.34: Hàm tính tần suất sử dụng các ký tự không phải alphabet ... 80
Hình 3.35: Hàm tính tần suất sử dụng các ký tự đặc biệt... 81
Hình 3.36: Hàm tính độ dài trung bình các từ ... 81
Hình 3.37: Hàm tính tần suất sử dụng các từ viết tắt ... 82
Hình 3.38: Sử dụng bigram và trigram mức ký tự cho bài viết, bình luận. ... 82
Hình 3.39: Đặc trưng về độ phản động ... 83
Hình 3.40: Đặc trưng về hình thái ... 83
Hình 3.41: Đặc trưng n-gram ... 83
Hình 3.42: Phân chia dữ liệu và tính toán vector đặc trưng ... 83
Hình 3.43: Thuật toán GridSearchCV tìm tham số C tối ưu ... 84
Hình 3.44: Load pretrained PhoBERT model và tiền xử lý văn bản ... 84
Hình 3.45: Tạo features từ PhoBert ... 85
Hình 3.46: Kết quả huấn luyện SVM-3f ... 86
Hình 3.47: Kết quả huấn luyện SVM-2f ... 86
Hình 3.48: Kết quả huấn luyện MLP-2f ... 86
Hình 3.49: Kết quả huấn luyện MLP-3f ... 87
Hình 3.50: Kết quả huấn luyện SVM-BERT ... 87
Hình 3.51: Kết quả huấn luyện MLP-BERT ... 87
Hình 3.52: Mã nguồn Server backend ... 88
Hình 3.53: Kiểm tra sự xuất hiện của các đường link URL đến website, blog phản động trong nội dung bài viết, bình luận trên Facebook. ... 89 Hình 3.54: Một số thẻ div được sử dụng để lấy thông tin từ bài viết, bình luận 89
DANH SÁCH CÁC BẢNG
Bảng 3.1: Danh sách một số user Facebook phản động ... 47
Bảng 3.2: Danh sách một số fanpage Facebook phản động ... 48
Bảng 3.3: Danh sách một số group Facebook phản động ... 49
Bảng 3.4: Danh sách một số website, blog phản động ... 50
DANH SÁCH CHỮ VIẾT TẮT
CH-CĐCT Cơ hội, chống đối chính trị CNN Convolution Neural Network DOM Document Object Model Extension Thành phần mở rộng Layer Tầng
MXH Mạng xã hội
MLP Multi-layer Perceptron
MCC Matthews Correlation Coefficient NLP Natural Language Processing URL Uniform Resource Locator SVM Support Vetor Machines
LỜI MỞ ĐẦU
Facebook là một website mạng xã hội (MXH) truy cập miễn phí do Công ty Facebook, Inc điều hành và sở hữu tư nhân. Người dùng có thể tham gia các mạng lưới được tổ chức theo thành phố, nơi làm việc, trường học và khu vực để liên kết và giao tiếp với người khác. Hiện nay, Facebook là MXH có số lượng người sử dụng nhiều nhất, với khoảng 2,8 tỷ người dùng hàng tháng và 1,84 tỷ người dùng hàng ngày (số liệu tháng 12/2020) [1]. Trong đó, Việt Nam xếp thứ 7 trong top 10 quốc gia sử dụng MXH Facebook đông nhất thế giới, với 69,28 triệu người dùng (số liệu tháng 6/2020) [2].
Về mặt tích cực, MXH Facebook đang là công cụ truyền thông phổ biến và gần gũi với mọi người, đặc biệt là giới trẻ; cho phép kết nối người dùng trên khắp thế giới tới gần nhau hơn; mang đến cho người dùng nhiều tính năng vượt trội, hiện đại, đáp ứng nhu cầu giao tiếp trong xã hội như: Trò chuyện, xem phim ảnh, nhật kí cá nhân, thành lập hội nhóm, tìm kiếm thông tin, kinh doanh trực tuyến…
Qua quá trình nghiên cứu, tìm hiểu về MXH Facebook, tôi nhận thấy rằng, bên cạnh những nội dung tích cực, cũng có rất nhiều những nội dung tiêu cực, không phù hợp trên Facebook, như: Các nội dung về bạo hành/đe dọa trực tuyến (cyberbullying), nội dung về lời nói căm thù (hate speech), nội dung ngôn ngữ xúc phạm (offensive language), nội dung tin giả, tin đầu độc, nội dung phản động… thuộc các thể loại, lĩnh vực khác nhau, như: Chính trị, sắc tộc, tôn giáo, giới tính, khủng bố,… Để kiểm duyệt tất cả các thể loại nội dung không phù hợp thuộc các lĩnh vực khác nhau trên MXH Facebook là điều rất khó. Trong giới hạn phạm vi nghiên cứu của luận văn, tôi chọn một chủ đề nghiên cứu nhỏ hơn là về nội dung phản động trong lĩnh vực chính trị, nhằm làm nổi bật về phương pháp, cách thức trong kiểm duyệt các nội dung không phù hợp trên MXH Facebook, từ đó có thể làm nền tảng để áp dụng trên các MXH khác.
Việc nghiên cứu các nội dung liên quan đến vấn đề chính trị mặc dù rất nhạy cảm, ít người làm, nhưng tôi vẫn lựa chọn là bởi vì: Thực trạng hiện nay, nhiều đối tượng xấu đã và đang lợi dụng MXH Facebook để tuyên truyền, kích động bạo lực, chiến tranh, gây thù hằn dân tộc, đòi lật đổ chế độ; xúc phạm nhân phẩm, bôi nhọ danh dự cá nhân, tổ chức; chia rẽ dân tộc tôn giáo;… Tại Việt Nam, nhiều đối tượng cơ hội, chống đối chính trị (CH-CĐCT) ở trong và ngoài nước đã và đang sử dụng Facebook để tạo lập, kêu gọi nhiều đối tượng khác
tham gia các trang cộng đồng (fanpage), hội/nhóm (group) chống đối chính trị, như: Việt Tân, Nhật ký yêu nước, VOA Tiếng Việt, Đài Á Châu Tự Do, BBC News Tiếng Việt, Quân Đội Việt Nam Cộng Hòa,… Bên cạnh đó, nhiều đối tượng tinh vi hơn còn lập ra rất nhiều fanpage núp dưới những tên gọi nghiêm túc, chính thống, như: “Đảng Cộng sản Việt Nam Vinh quang”, hay trang “Nhật ký tin tức thể hiện lòng yêu nước”… để đăng tải những thông tin xuyên tạc, bịa đặt về tình hình chính trị ở Việt Nam, xen vào những nội dung phản động, chống phá Đảng, Nhà nước rất quyết liệt [3]. Với nhiều thủ đoạn khác nhau, các đối tượng này tập trung tuyên truyền, xuyên tạc chủ trương, đường lối của Đảng, chính sách và pháp luật của Nhà nước; chống phá, đòi lật đổ chế độ XHCN; mạo danh, nói xấu các lãnh đạo cấp cao của Đảng, Nhà nước…
Việc đăng tải, tán phát các bài viết, bình luận có nội dung phản động, chống phá trên MXH Facebook đã trở thành vấn đề nhức nhối nhiều năm qua.
Các cơ quan chức năng của Nhà nước Việt Nam cũng đã đề ra những quy định nghiêm ngặt nhằm hạn chế việc sử dụng các nền tảng MXH trực tuyến để tuyên truyền chống phá Đảng, Nhà nước, chế độ. Tuy nhiên, việc theo dõi, giám sát, phát hiện và xử lý các đối tượng lợi dụng MXH Facebook để tuyên truyền, chống phá Đảng, Nhà nước vẫn còn nhiều hạn chế nhất định cả về con người, phương tiện, cũng như cơ chế hợp tác của nhà phát triển Facebook với Chính phủ Việt Nam.Vì vậy, rất cần có một giải pháp công nghệ để hỗ trợ để phát hiện và kịp thời ngăn chặn các thông tin phản động đến với người dùng Facebook.
Luận văn được thực hiện với mục tiêu nghiên cứu giải pháp phát hiện, loại bỏ bài viết và bình luận tiếng Việt có nội dung phản động trước khi tiếp cận đến các người dùng Facebook. Trong toàn bộ nội dung của luận văn, tôi sẽ tập trung làm rõ thế nào là các nội dung phản động và phương pháp để phát hiện, kiểm duyệt các nội dung phản động trước khi tiếp cận người dùng.
Luận văn của tôi tập trung nghiên cứu cơ sở lý thuyết về xử lý ngôn ngữ tự nhiên (NLP-Natural Language Processing); các thuật toán học máy, mô hình mạng nơ-ron nhân tạo áp dụng cho phát hiện nội dung phản động như SVM (Support Vector Machine), MLP (Multi-layer Perceptron) và các phương pháp trích trọn đặc trưng của bài viết và bình luận tiếng Việt có nội dung phản động trên Facebook. Luận văn đã phát triển một mô-đun dịch vụ phát hiện nội dung phản động trong bài viết và bình luận tiếng Việt trên MXH Facebook. Với mô- đun này, các bài viết, bình luận tiếng Việt có nội dung phản động sẽ được kiểm duyệt và ẩn khỏi trang Facebook của người dùng.
CHƯƠNG 1: CƠ SỞ KHOA HỌC
1.1. Nội dung phản động trên Facebook
Trong những năm gần đây, sự ra đời, phát triển của internet và MXH đã thay đổi một cách đáng kể cách sống, suy nghĩ và hành động của người dân trên toàn thế giới, đặc biệt là giới trẻ. Ở Việt Nam, Facebook là MXH được sử dụng nhiều nhất và đã trở thành một phần không thể thiếu trong cuộc sống hiện đại.
Nhờ có MXH nói chung và Facebook nói riêng, không thể phủ nhận rằng, nếu sử dụng một cách hợp lý và đúng đắn nó mang lại những lợi ích to lớn. Đầu tiên phải kể đến giúp con người dễ dàng chia sẻ, trao đổi thông tin với nhau thông qua việc nhắn tin, trò chuyện trực tuyến, chia sẻ âm thanh, hình ảnh, bày tỏ cảm xúc, bình luận..., mà không bị giới hạn về không gian và địa lý. Đặc biệt, tất cả đều miễn phí, do vậy, giúp tiết kiệm tài chính và tạo điều kiện lí tưởng để kết nối mọi người lại gần nhau hơn.
Các thông tin trên Facebook được cập nhật nhanh chóng theo thời gian thực, từ những chia sẻ của cá nhân, gia đình, bạn bè, nhà trường cho đến những sự kiện chính trị trong nước và trên thế giới. Qua đó, giúp người dùng nắm bắt nhanh thông tin và xu thế phát triển của xã hội. Những nội dung thông tin được đăng tải trên Facebook không chỉ đa dạng mà còn là kho kiến thức khổng lồ, góp phần làm phong phú đời sống tinh thần, nâng cao nhu cầu hưởng thụ, trao đổi thông tin trong xã hội. Thông qua những thông tin được đăng tải, chia sẻ dưới dạng bài viết, hình ảnh, video cũng là cách mà mọi người thể hiện nhận thức và hành động. Khi mà thông tin ngày càng trở thành nhân tố quan trọng trong việc nắm bắt thời cơ, cơ hội để hợp tác và phát triển, thì những tiện ích mà Facebook mang lại còn giúp cho kinh tế, xã hội ngày càng phát triển hơn thông qua các hoạt động trao đổi, kinh doanh, buôn bán… góp phần làm phong phú hơn đời sống vật chất và tinh thần của người dân.
Bên cạnh những mặt tích cực, MXH Facebook cũng tồn tại thực trạng xuất hiện nhiều thông tin giả, thông tin xấu độc, đặc biệt là những thông tin phản động, chống phá Đảng, Nhà nước ảnh hưởng tiêu cực đến tình hình kinh tế, chính trị, văn hóa - xã hội, an ninh quốc phòng… của đất nước; đặt ra nguy cơ mất an ninh chính trị, trật tự và an toàn xã hội.
Với đặc tính lan truyền nhanh, có khả năng mở rộng phạm vi tác động, vượt qua rào cản ngôn ngữ, khoảng cách địa lý, gây tác hại trên diện rộng hơn bất cứ hình thức chống phá nào khác của các thế lực thù địch, việc lợi dụng MXH Facebook để tuyên truyền, xuyên tạc, chống phá Đảng, Nhà nước được
coi là thủ đoạn có tổ chức phổ biến hiện nay, có tính chất phức tạp và ngày càng tinh vi.
Tại Việt Nam, để thực hiện âm mưu chống phá Đảng, Nhà nước, các tổ chức phản động lưu vong cùng nhiều đối tượng CH-CĐCT trong và ngoài nước đã lợi dụng chính sách quản lý còn lỏng lẻo của Facebook để tạo lập, kêu gọi nhiều đối tượng tham gia các fanpage, group chống đối chính trị (cả group công khai và group kín) để cùng trao đổi, bàn bạc các thủ đoạn tuyên truyền, chống phá chính quyền, như: Việt Tân, Nhật ký yêu nước, Khối 8406, VOA Tiếng Việt, Đài Á Châu Tự Do, BBC News Tiếng Việt, Quân Lực Việt Nam Cộng Hòa… Thủ đoạn của các thế lực thù địch là lợi dụng các sự kiện chính trị nóng của đất nước để tuyên truyền xuyên tạc chủ trương, đường lối của Đảng, chính sách và luật pháp của Nhà nước. Bản chất của những thông tin có nội dung phản động trên MXH Facebook là những thông tin bịa đặt, bóp méo sự thật, xuyên tạc vấn đề, “đổi trắng, thay đen”, cố tình đưa tin với dụng ý xấu, phân tích và định hướng dư luận bằng luận điệu thù địch. Các thông tin bị xuyên tạc thuộc đa dạng các thể loại, chủ đề, lĩnh vực khác nhau, từ kinh tế, chính trị, văn hóa, ngoại giao, an ninh - quốc phòng cho tới việc nói xấu tổ chức, lãnh đạo cấp cao của Đảng, Nhà nước… Tất cả đều nhằm định hướng dư luận để chống phá Đảng, Nhà nước, hòng lật đổ chế độ XHCN tại Việt Nam… Đáng chú ý, việc chống phá sự lãnh đạo của Đảng Cộng sản Việt Nam là một trong những mục tiêu hàng đầu thường được các thế lực thù địch nhắc tới mối khi tuyên truyền chống phá.
Hoạt động của các thế lực thù địch thường diễn ra dưới nhiều thủ đoạn tinh vi, như: Lợi dụng sai sót nhỏ của chính quyền để thổi phồng vụ việc, vu cáo, đổ lỗi cho sự lãnh đạo của Đảng, nhằm bôi nhọ, hạ thấp uy tín của Đảng; lợi dụng các thành phần có dân trí thấp, dễ bị tác động, để kích động biểu tình, bạo loạn, làm mất trật tự an ninh, an toàn xã hội… Điển hình như thời gian gần đây, trên MXH xuất hiện rất nhiều thông tin sai lệch về công tác phòng, chống dịch Covid-19 tại Việt Nam, như: “Từ 0h ngày 15/7, TP.HCM sẽ giới nghiêm người dân, ngưng tất cả các ngành nghề, cấm người dân di chuyển ra ngoài”, “lãnh đạo TP.HCM đã nhiễm Covid-19”, hay bức ảnh nhiều thi thể nạn nhân trong bệnh viện, được chụp ở Indonesia thì lại bị các đối tượng gán là “chụp ở bệnh viện Chợ Rẫy, TP.HCM” [4]; lợi dụng vụ việc liên quan đến sự kiện quân nhân Trần Đức Đô tử vong tại Trường Quân sự thuộc Quân khu 1, các phần tử CH-CĐCT đã đăng tải các bài viết, hình ảnh về khám nghiệm tử thi, cảnh tang thương của gia đình quân nhân, kèm những bình luận phê phán nhằm bóp méo sự thật, kích động hận thù, gây chia rẽ mối quan hệ Quân - Dân, xuyên tạc bản chất, truyền thống Quân đội và phẩm chất “Bộ đội Cụ Hồ”. Bên cạnh đó, gần đây vào ngày 08/09/2021,
Trương Châu Hữu Danh và nhóm “Báo Sạch” đã bị Viện Kiểm sát nhân dân huyện Thới Lai, TP. Cần Thơ truy tố về các hành vi đăng tải, chia sẻ bài viết, hướng cộng đồng mạng tham gia bình luận tiêu cực, cố ý xâm phạm đến lợi ích của Nhà nước, cơ quan tổ chức tại tỉnh Cần Thơ [5]…
Ngoài những thông tin đăng tải trên bài viết (post), nhiều user, fanpage, group Facebook tận dụng triệt để tính năng chia sẻ bài viết từ các website, blog khác để thu hút bình luận (comment) của người dùng, tạo dư luận trái chiều, qua đó thu thập thông tin, tiếp tục tuyên truyền, kích động chống phá… Điển hình là các blog “Dân Làm Báo”, “Báo Tiếng Dân”, “Anh Ba Sàm”, “Việt Nam Thời Báo”, “VOA Tiếng Việt”,... Các website, blog này thường được các đối tượng xấu, đối tượng chống phá tạo lập ẩn danh hoặc sử dụng những dịch vụ tạo blog miễn phí của Google, WordPress…, đăng ký tên miền và đặt máy chủ lưu trữ dữ liệu tại Mỹ để tránh bị lực lượng chức năng của Việt Nam bóc gỡ. Những thông tin từ các website, blog phản động này đang ngày càng đa dạng, phong phú, tổ chức dưới nhiều hình thức, có lực lượng đăng tải thông tin hàng ngày lên các MXH (nhất là Faccebook) để thu hút người đọc, gây hoang mang dư luận, ảnh hưởng xấu đến tư tưởng chính trị của người dân trong xã hội.
Các bài viết, bình luận tiếng Việt có nội dung phản động được đăng tải trên MXH Facebook dưới nhiều thể loại, hình thức khác nhau, từ văn bản, âm thanh, hình ảnh đến các video-clip (bao gồm cả trực tuyến-livestream). Do giới hạn về khả năng, công nghệ, cũng như lực lượng thực hiện, phạm vi của luận văn này chỉ tập trung nghiên cứu phát hiện các nội dung phản động dưới dạng văn bản, chưa xét đến các nội dung hình ảnh, âm thanh, video-clip trên MXH Facebook.
Để xác định các nội dung phản động trên Facebook, bản thân tôi đã tự tìm hiểu, nghiên cứu các điều khoản của Luật An ninh mạng 2018 và Nghị định 174/2013/NĐ-CP của Chính phủ Việt Nam công khai trên không gian mạng [7,8,9,10], từ đó rút ra 11 nội dung sau đây được coi là nội dung phản động, bao gồm:
(1) Tổ chức, hoạt động, câu kết, xúi giục, mua chuộc, lừa gạt, lôi kéo, đào tạo, huấn luyện người chống Nhà nước Cộng hòa xã hội chủ nghĩa Việt Nam;
(2) Xuyên tạc lịch sử, phủ nhận thành tựu cách mạng, phá hoại khối đại đoàn kết toàn dân tộc, xúc phạm tôn giáo, phân biệt đối xử về giới, phân biệt chủng tộc;
(3) Thông tin sai sự thật gây hoang mang trong Nhân dân, gây thiệt hại cho hoạt động kinh tế - xã hội, gây khó khăn cho hoạt động của cơ quan nhà nước
hoặc người thi hành công vụ, xâm phạm quyền và lợi ích hợp pháp của cơ quan, tổ chức, cá nhân khác;
(4) Tuyên truyền xuyên tạc, phỉ báng chính quyền nhân dân;
(5) Chiến tranh tâm lý, kích động chiến tranh xâm lược, chia rẽ, gây thù hận giữa các dân tộc, tôn giáo và nhân dân các nước;
(6) Xúc phạm dân tộc, quốc kỳ, quốc huy, quốc ca, vĩ nhân, lãnh tụ, danh nhân, anh hùng dân tộc;
(7) Kêu gọi, vận động, xúi giục, đe dọa, gây chia rẽ, tiến hành hoạt động vũ trang hoặc dùng bạo lực nhằm chống chính quyền nhân dân;
(8) Kêu gọi, vận động, xúi giục, đe dọa, lôi kéo tụ tập đông người gây rối, chống người thi hành công vụ, cản trở hoạt động của cơ quan, tổ chức gây mất ổn định về an ninh, trật tự;
(9) Tuyên truyền chống Nhà nước Cộng hòa xã hội chủ nghĩa Việt Nam;
phá hoại khối đại đoàn kết toàn dân tộc mà chưa đến mức truy cứu trách nhiệm hình sự;
(10) Tuyên truyền kích động chiến tranh xâm lược, gây hận thù giữa các dân tộc và nhân dân các nước; kích động bạo lực; truyền bá tư tưởng phản động mà chưa đến mức truy cứu trách nhiệm hình sự;
(11) Xuyên tạc sự thật lịch sử, phủ nhận thành tựu cách mạng; xúc phạm dân tộc, danh nhân, anh hùng dân tộc mà chưa đến mức truy cứu trách nhiệm hình sự.
Ngoài 11 nội dung tổng hợp nêu trên, có thể còn nhiều nội dung khác chưa được liệt kê hết. Tuy nhiên, trong phạm vi luận văn, tôi sử dụng 11 nội dung này làm căn cứ để đánh giá, huấn luyện mô hình học máy phục vụ cho thử nghiệm hoạt động của dịch vụ kiểm duyệt bài viết và bình luận tiếng Việt có nội dung phản động trên MXH Facebook.
1.2. Tác hại của nội dung phản động trên Facebook
Những nội dung mang tính chất phản động, chống phá Đảng, Nhà nước, chống phá chế độ… trên MXH Facebook đã và đang gây ảnh hưởng tiêu cực mạnh mẽ đến nhận thức, suy nghĩ và hành động của nhiều người, thuộc mọi thành phần, lứa tuổi. Hiện nay, những thông tin phản động được lan truyền, tán phát với tần suất lớn, tức thời, kèm theo là tính chất phản động rất tinh vi khiến người dùng MXH Facebook khó nhận ra được đâu là thông tin chính thống/không chính thống, đâu là thông tin thật/giả. Thông tin phản động sẽ dần làm ảnh hưởng lớn tới nhận thức của người dùng; càng tiếp cận nhiều thông tin
phản động thì càng làm cho người dùng có cách nhìn nhận lệch chuẩn. Từ đó, có những hành vi đi ngược lại với các chuẩn mực thông thường. Việc cân bằng giữa quyền tự do ngôn luận và sự tôn trọng cá nhân là điều vô cùng khó kiểm soát đối với những thông tin được đưa ra trên MXH Facebook. Đối với người trẻ nói chung, trong đó có thiếu niên và trẻ em, là một trong những đối tượng chính sử dụng Facebook với tần suất lớn. Lợi dụng điều này, những đối tượng xấu sẽ tiêm nhiễm dần các thông tin xấu độc, nhằm lan truyền tư tưởng chống phá từ khi còn trẻ. Ở một bộ phận người trung niên, cao tuổi tại Việt Nam, trong những năm gần đây đang có xu hướng sử dụng Facebook làm phương tiện liên lạc, chia sẻ thông tin song hành cùng các phương tiện thông tin đại chúng khác. Với đặc điểm, dễ bị lôi kéo và không thông thạo cách sử dụng Facebook, không am hiểu về tình hình chính trị của Việt Nam, có thể chính là nguyên nhân gián tiếp tiếp tay cho những hành động tán phát thông tin phản động. Đặc biệt, có nhiều đối tượng vì thiếu bản lĩnh, thiếu niềm tin vào Đảng, Nhà nước, vì lợi ích bản thân, suy thoái về tư tưởng, chính trị, đạo đức, lối sống, dễ bị các đối tượng xấu trên MXH Facebook mua chuộc, tác động, dẫn đến “tự diễn biến”, “tự chuyển hóa”, quay lại đối đầu với Đảng, Nhà nước.
Hiện nay, ngoài các trang diễn đàn cũng như các MXH khác, tại Việt Nam, các thế lực thù địch, lực lượng phản động, CH-CĐCT trong và ngoài nước đã và đang triệt để lợi dụng MXH Facebook làm công cụ để tuyên truyền, tán phát các nội dung phản động, chống phá Đảng, Nhà nước, chống phá chế độ... Có thể nhận thấy rằng, việc tạo lập một tài khoản cũng như một trang cộng đồng trên Facebook rất dễ dàng và đơn giản. Các trang cộng đồng thường giả danh các cơ quan, tổ chức của Đảng, Nhà nước nhưng lại đăng các thông tin đi ngược với các chủ trương, đường lối của Đảng, chính sách và pháp luật của Nhà nước. Đặc biệt, trước những sự kiện nóng diễn ra trong nước, các trang cộng đồng này thường thu hút được số lượng lớn thành viên, từ đó lôi kéo người dùng Facebook tham gia các hoạt động chống phá. Do vậy, cần thiết phải có giải pháp để hạn chế nguồn thông tin có tác động xấu đối với người dùng Facebook.
Trước thực trạng đó, các cơ quan chức năng của Việt Nam cũng đã đề ra những quy định nghiêm ngặt về việc sử dụng các nền tảng MXH, tiêu biểu như: Luật An toàn thông tin mạng năm 2015; Luật An ninh mạng Việt Nam năm 2018, có hiệu lực từ 01/01/2019 hay quy định của Bộ Thông tin và Truyền thông về việc yêu cầu các MXH phải thực hiện các yêu cầu của cơ quan quản lý để ngăn chặn, gỡ các tài khoản giả mạo, bài viết xuyên tạc, đưa thông tin sai lệch [6]. Tuy nhiên, việc giám sát, theo dõi, phát hiện và xử lý các đối tượng lợi dụng MXH Facebook để chống phá Đảng, Nhà nước vẫn còn nhiều hạn chế nhất định cả về
nhân lực, phương tiện thực hiện, cũng như sự hợp tác của nhà phát triển Facebook với Chính phủ Việt Nam. Bên cạnh đó, MXH Facebook hiện nay không có tính năng cho phép người dùng báo cáo (report) đối với các bài viết, bình luận có nội dung phản động (các nước phương Tây chỉ coi đây là quan điểm chính trị bình thường của người dùng), mà chỉ tập trung vào các vấn đề như bạo hành, bạo lực, khủng bố, phân biệt giới tính, sắc tộc, tôn giáo… Từ đó, những nội dung phản động thường không nằm trong các thể loại mà Facebook cho phép người dùng report, cho nên việc report các bài viết, bình luận phản động (nhất là các nội dung phản động bằng tiếng Việt) thường không hiệu quả.
Với những đặc điểm, tình hình và hệ lụy nêu trên, việc nghiên cứu giải pháp kiểm duyệt nội dung bài viết, bình luận tiếng Việt có nội dung phản động trên MXH Facebook hiện nay là hết sức cần thiết.
1.3. Kiểm duyệt nội dung phản động trên Facebook
Qua tìm hiểu, tôi nhận thấy, hiện có nhiều nghiên cứu về phát hiện nội dung bạo hành/đe dọa trực tuyến (cyberbullyingdetection), lời nói căm thù (hate speechdetection), ngôn ngữ xúc phạm (offensive languagedetection) trên các nền tảng MXH như Facebook, YouTube, Twitter, Instagram... với ngôn ngữ phổ biến là tiếng Anh. Ngoài ra còn một số nghiên cứu khác trên các ngôn ngữ không phổ biến như tiếng Ý, tiếng Hà Lan… Với tiếng Việt, nhiều tác giả người Việt cũng đã có những nghiên cứu liên quan đến các vấn đề nêu trên. Tuy nhiên, chưa có nghiên cứu cụ thể nào về việc phát hiện bài viết, bình luận tiếng Việt có nội dung phản động trên các MXH, nhất là MXH Facebook.
Để thực hiện luận văn về nghiên cứu phát hiện nội dung phản động trên MXH Facebook, bản thân tôi đã tự tìm hiểu về nội dung, quy trình các bước và kết quả của các nghiên cứu trước đây về phát hiện bạo hành, xúc phạm, căm thù trên các nền tảng MXH. Các vấn đề mà tôi đã tìm hiểu, như: Vấn đề NLP tiếng Việt; tiền xử lý dữ liệu; trích chọn đặc trưng; xây dựng danh sách đen (blacklist word); áp dụng các phương pháp, thuật toán học máy, để huấn luyện mô hình…
Một số bài báo mà tôi đã nghiên cứu, tìm hiểu, bao gồm:
Nghiên cứu của Ying Chen [15] đã ứng dụng kiến trúc đặc trưng cú pháp từ vựng (LSF-Lexical Syntactic Feature) để phát hiện nội dung xúc phạm, đồng thời xác định người dùng có khả năng đưa ra nội dung xúc phạm trên MXH. Kết quả là, khung kiến trúc LSF hoạt động tốt hơn những phương pháp hiện tại trong việc phát hiện nội dung xúc phạm. Đạt độ chính xác (precision) 98,24% và độ hồi tưởng (recall) 94,34% khi phát hiện nội dung xúc phạm; đạt độ chính xác
77,9% và recall 77,8% đối với xác định người dùng có khả năng đưa ra nội dung xúc phạm trên MXH.
Nghiên cứu của Chikashi Nobata [16] đã đề cập đến khả năng phát hiện ngôn ngữ lạm dụng (abusive language) trong nội dung của người dùng trực tuyến bằng cách sử dụng đặc trưng n-gram, các đặc trưng ngôn ngữ (chiều dài câu, chiều dài trung bình của từ, số lượng dấu chấm câu, dấu chấm hỏi, ngoặc kép…), đặc trưng về cú pháp, đặc trưng về ngữ nghĩa; tiến hành huấn luyện đối với từng loại đặc trưng riêng rẽ và gộp tất cả các đặc trưng để so sánh kết quả.
Nghiên cứu đạt được độ chính xác 79,5% đối với tập dữ liệu về tài chính và 81,7% đối với tập dữ liệu về tin tức.
Nghiên cứu của Anna Schmidt [17] về một khảo sát việc phát hiện lời nói căm thù bằng NLP. Tác giả đã sử dụng các đặc trưng bề mặt đơn giản như đặc trưng túi từ BoW (bag of words - một túi các từ không phân biệt thứ tự), đặc trưng n-gam (cấp độ từ và cấp độ ký tự); tổng quát hóa từ (word generalization) bổ sung cho BoW; đề cập đến phân tích sắc thái câu (sentiment analysis), tài nguyên từ vựng (lexical resources), các đặc trưng ngôn ngữ, đặc trưng về siêu dữ liệu (meta-data) khác…
Nghiên cứu của Theodora Chu [18] sử dụng các mô hình thuật toán học sâu như LSTM (mạng nơ-ron hồi quy RNN với ô nhớ ngắn hạn và dài hạn) và CNN (mạng nơ-ron tích chập kết hợp với word embedding và character embedding).
Kết quả, đối với CNN kết hợp character embedding cho F1 score là 0,73 với 50.000 bước; còn CNN kết hợp word embedding cho F1 score là 0,70 với chỉ 5.000 bước. LSTM thực hiện gần giống với CNN kết hợp word embedding, cho F1 score là 0,69 với 5.000 bước để huấn luyện.
1.4. Mục tiêu nghiên cứu của luận văn
Nhằm xây dựng giải pháp tự động phát hiện, loại bỏ các bài viết và bình luận tiếng Việt có nội dung phản động trước khi đến với người dùng Facebook;
thử nghiệm xây dựng công cụ/dịch vụ (extension) triển khai trên máy tính người dùng nhằm ngăn chặn các bài viết, bình luận có nội dung phản độngtiếp cận người dùng Facebook. Tuy nhiên, hai mục tiêu này cũng không hề đơn giản, nhất là việc chưa có một bộ từ điển phản động nào được xây dựng trước đây dùng để phát hiện các nội dung phản động. Đây cũng chính là mục tiêu thứ ba của luận văn, nhằm xây dựng một bộ từ điển các từ ngữ phản động. Bộ từ điển này sẽ thường xuyên được cập nhật, thay đổi cùng thời gian theo sự phát triển của xã hội, cách mà các đối tượng đăng tải bài viết, bình luận có nội dung phản động. Bên cạnh đó, luận văn còn đề cập đến danh sách các user, fanpage, group
trên Facebook, các website, blog phản động, những đối tượng này (là nguồn gốc xuất phát các nội dung phản động) được tập hợp thành một blacklist để ngăn chặn ngay từ đầu, không để tán phát thông tin xấu độc đến người dùng.
1.5. Cấu trúc của luận văn
Nội dung của luận văn được chia thành 04 chương, tập trung nghiên cứu cơ sở lý thuyết về NLP; các phương pháp trích trọn đặc trưng; các thuật toán học máy, mô hình mạng nơ-ron tiêu biểu áp dụng cho phát hiện nội dung phản động như: SVM, mô hình mạng nơ-ron đa tầng truyền thẳng MLP. Luận văn cũng đã phát triển một dịch vụ tự động phát hiện nội dung phản động trong bài viết và bình luận tiếng Việt trên MXH Facebook. Dịch vụ này kiểm duyệt nội dung phản động theo mô hình 02 tầng (Layer). Layer 1, kiểm duyệt dựa vào tập danh sách các user, fanpage, group đã nằm trong blacklist phản động. Khi gặp các đối tượng trong danh sách này, dịch vụ sẽ ngăn chặn ngay các nội dung, không để tiếp cận đến người dùng; Layer 2, kiểm duyệt dựa vào nội dung của bài viết, bình luận thu thập được từ Facebook. Tại đây, dịch vụ sẽ thực hiện kiểm tra nội dung đầu vào, nếu phát hiện nội dung phản động thì sẽ ẩn nội dung đó đi. Với dịch vụ này, các bài viết, bình luận tiếng Việt có nội dung phản động sẽ bị ẩn khỏi Facebook trước khi đến với người dùng.
Bố cục của luận văn cụ thể như sau:
Chương 1. Cơ sở khoa học
Giới thiệu về thực trạng báo động về các bài viết và bình luận tiếng Việt có nội dung phản động trên MXH Facebook; nhu cầu cần thiết trong việc kiểm duyệt nội dung của các bài viết và bình luận tiếng Việt có nội dung phản động trên MXH Facebook; tìm hiểu các nghiên cứu trước đây về phát hiện nội dung phản động trên các nền tảng MXH. Cuối cùng là mục tiêu và nội dung chính của luận văn.
Chương 2. Đề xuất phương pháp
Phần thứ nhất của chương này nhằm tìm hiểu và làm rõ các nội dung, như:
Blacklist là gì; cách sử dụng blacklist trong kiểm duyệt bài viết, bình luận có nội dung phản động trên Facebook; giới thiệu chi tiết các loại blacklist user, fanpage, group, website và blog phản động.
Phần thứ hai của chương này trình bày các phương pháp tiếp cận để trích chọn đặc trưng nội dung phản động của văn bản đầu vào, tập trung chính là các văn bản trên MXH Facebook. Trước khi xác định các đặc trưng cụ thể, tôi đi vào tìm hiểu trích chọn đặc trưng trong công nghệ NLP; tìm hiểu các đặc trưng ngôn ngữ tiếng Việt. Tiếp đến, tôi tìm hiểu các đặc trưng ngôn ngữ trong kiểm duyệt
bài viết, bình luận phản động; tìm hiểu về các phương pháp biểu diễn từ trong trích chọn đặc trưng; phương pháp trích chọn đặc trưng (n-gram;
BERT/PhoBERT); tìm hiểu các mô hình, thuật toán phân loại văn bản phổ biến.
Cuối cùng, tôi giới thiệu một số thuật toán về phân lớp nhị phân; trình bày đại diện các thuật toán được sử dụng để phát hiện bài viết, bình luận tiếng Việt có nội dung phản động, gồm: Thuật toán học máy SVM và mô hình mạng nơ-ron đa tầng truyền thẳng MLP. Đây đều là các thuật toán cơ bản và phổ biến ứng dụng trong phân lớp dữ liệu văn bản.
Chương 3. Cài đặt thử nghiệm
Trong chương này, đầu tiên, tôi trình bày về cách thức xây dựng blacklist user, fanpage, group, website, blog phản động; cách thức thu thập dữ liệu mẫu (dataset); xây dựng từ điển phản động; xây dựng vector đặc trưng cho dữ liệu;
cài đặt các thuật toán đã nghiên cứu trong Chương 3. Cuối cùng là thử nghiệm phát triển một dịch vụ trên trình duyệt Google Chrome nhằm tự động kiểm duyệt các bài viết, bình luận tiếng Việt có nội dung phản động trên MXH Facebook. Dịch vụ này bao gồm một Backend có chức năng phát hiện bài viết, bình luận tiếng Việt có nội dung phản động, nó cung cấp một API cho phép các ứng dụng gửi nội dung đến để thẩm định; một Frontend dưới dạng extension cho trình duyệt Chrome, có thể đọc các bài viết, bình luận trên Facebook, thực hiện kiểm duyệt thông qua mô hình 02 tầng.
Chương 4. Kết luận và hướng phát triển
Chương này nhằm tóm tắt lại các công việc chính đã thực hiện và kết quả đạt được của luận văn; đề xuất các hướng nghiên cứu, phát triển trong tương lai.
CHƯƠNG 2: ĐỀ XUẤT PHƯƠNG PHÁP
2.1. Danh sách đen
Danh sách đen (blacklist) là một tập hợp danh sách các đối tượng, gồm:
User, fanpage, group phản động trên Facebook; các website, blog phản động.
Các blacklist này được dùng để đối chiếu với dữ liệu đầu vào của Facebook.
Nếu dữ liệu đầu vào của Facebook đến từ các blacklist user, fanpage, group phản động hoặc chứa blacklist website, blog phản động thì sẽ bị chặn lại ngay từ đầu, không cho dữ liệu tiếp cận đến người dùng Facebook. Thông tin cụ thể về các đối tượng blacklist được nêu dưới đây:
2.1.1. User Facebook phản động
Thông tin về user Facebook là một yếu tố góp phần xác định được chính xác các nội dung mà user đăng tải có là phản động hay không. Thông thường, các user thường xuyên đăng tải bài viết, bình luận có nội dung phản động (nằm trong 11 nội dung đã xác định trong Mục 1.1) thì đều được xác định là các tài khoản phản động, được đưa vào blacklist. Như vậy, việc lập blacklist chứa tên và địa chỉ URL của các user Facebook phản động sẽ giúp nhanh chóng xác định được các nội dung phản động trên Facebook (kể cả đối tượng có đăng tải hoặc không đăng tải nội dung phản động), kịp thời ngăn chặn các nội dung mà user Facebook phản động này đăng tải đến với người dùng.
Đối với những user Facebook thông thường, không thuộc blacklist. Việc xác định nội dung mà người dùng đăng tải có phản động hay không sẽ dựa vào blacklist word (từ điển phản động có đánh trọng số) và các đặc trưng ngôn ngữ khác.
Ngoài ra, đối với những user Facebook mà trong danh sách bạn bè của user này có những user thuộc blacklist phản động thì cũng có thể coi là user phản động. Bởi vì, một khi user có bạn bè là phản động thì các thông tin do user phản động đăng tải sẽ tự động hiển thị trên tường (feed) của user này. Khi đó, nội dung phản động sẽ tiếp cận được đến các user khác. Tuy nhiên, trong phạm vi của luận văn này, tôi chỉ đề cập đến các user Facebook thường xuyên đăng tải, tán phát các nội dung hoặc có nhiều bình luận phản động.
Blacklist user phản động nằm trong Layer 1 của dịch vụ kiểm duyệt. Dịch vụ kiểm duyệt sẽ thực hiện kiểm tra, đối chiếu dữ liệu Facebook thu được với URL của blacklist user. Nếu trùng khớp, dịch vụ sẽ ẩn tất cả nội dung của user phản động trước khi tiếp cận các user Facebook khác.
2.1.2. Fanpage Facebook phản động
Thông tin về fanpage là một trong những nhân tố góp phần xác định đâu là nội dung phản động trên Facebook. Đối với bất kỳ fanpage nào, nếu thường xuyên đăng tải các nội dung phản động (nằm trong 11 nội dung đã xác định trong Mục 1.1.) thì đều được xác định là fanpage phản động và được đưa vào blacklist. Một khi fanpage năm trong blacklist thì mặc định bất kỳ nội dung nào đăng tải trên đó đều được coi là phản động và cần hạn chế tiếp cận đến những người dùng Facebook khác.
Blacklist fanpage phản động nằm trong Layer 1 của dịch vụ kiểm duyệt.
Dịch vụ kiểm duyệt sẽ thực hiện kiểm tra, đối chiếu dữ liệu Facebook thu được với URL của blacklist fanpage. Nếu trùng khớp, dịch vụ sẽ ẩn tất cả nội dung của fanpage phản động trước khi tiếp cận các user khác.
2.1.3. Group Facebook phản động
Thông tin về các hội/nhóm là một nhân tố góp phần xác định nội dung phản động trên Facebook. Đối với các group thường xuyên xuất hiện các bài viết, bình luận phản động thì được coi là group phản động, được đưa vào blacklist.
Một khi đã nằm trong blacklist, thì bất kỳ nội dung nào mà thành viên trong group này đăng lên đều được coi là phản động và cần hạn chế tiếp cận đến các tài khoản người dùng Facebook khác.
Đối với những group bình thường nhưng trong danh sách thành viên (members) lại có tài khoản thuộc blacklist user Facebook phản động, thì những thông tin bình luận mà user phản động đăng tải trên fanpage sẽ phải đi qua bước kiểm tra user phản động được nêu tại Mục 2.1.
Blacklist group phản động nằm trong Layer 1 của dịch vụ kiểm duyệt. Dịch vụ kiểm duyệt sẽ thực hiện kiểm tra, đối chiếu dữ liệu Facebook thu được với URL của blacklist group. Nếu trùng khớp, dịch vụ sẽ ẩn tất cả nội dung của group phản động trước khi tiếp cận các user khác.
2.1.4. Website, blog phản động
Thông tin về các website, blog (tên, địa chỉ URL) là một nhân tố góp phần xác định nội dung bài viết, bình luận có là phản động hay không. Thông thường, các tài khoản Facebook chính thống không đăng tải đường dẫn URL của các website, blog phản động; coi đó như một hình thức tiếp tay, tán phát cho các đối tượng phản động. Do đó, mặc định, cứ có bài viết, bình luận nào chứa URL của website, blog phản động thì được coi là nội dung phản động.
Blacklist website, blog phản động nằm trong Layer 2 của dịch vụ kiểm duyệt. Dịch vụ kiểm duyệt sẽ thực hiện kiểm tra, đối chiếu dữ liệu Facebook thu
được với URL của blacklist website, blog phản động. Nếu các bài viết, bình luận chứa URL của website, blog phản động thì mặc định dịch vụ sẽ ẩn nội dung đó trước khi tiếp cận người dùng Facebook.
2.2. Phương pháp học máy
2.2.1. Trích chọn đặc trưng nội dung phản động
Với bài toán phát hiện bài viết, bình luận có nội dung phản động trên MXH Facebook, nhiệm vụ quan trọng hàng đầu đặt ra là trích chọn được các đặc trưng tiêu biểu của dữ liệu đầu vào. Trong mục này, tôi sẽ trình bày các phương pháp tiếp cận để trích chọn đặc trưng nội dung phản động của văn bản đầu vào, tập trung chính là các văn bản trên MXH Facebook. Ngoài những đặc trưng của văn bản nói chung, văn bản trên Facebook cũng như các phương tiện truyền thông xã hội khác có những đặc trưng khác biệt so với văn bản chính quy như: Phi hình thức, sử dụng nhiều từ lóng, từ viết tắt, từ cách điệu không có trong từ điển, câu không hoàn chỉnh hoặc không đúng ngữ pháp… Tất cả những đặc trưng này cần được khai thác nhằm đem lại hiệu quả tốt trong phát hiện nội dung phản động. Trước khi xác định các đặc trưng cụ thể, tôi đi vào tìm hiểu trích chọn đặc trưng trong công nghệ NLP; tìm hiểu các đặc trưng ngôn ngữ tiếng Việt. Tiếp đến, tôi tìm hiểu các đặc trưng ngôn ngữ trong kiểm duyệt bài viết, bình luận phản động (gồm: blacklist word, các đặc trưng hình thái). Tiếp theo tôi tìm hiểu về các phương pháp biểu diễn từ trong trích chọn đặc trưng; phương pháp trích chọn đặc trưng (n-gram; BERT/PhoBERT). Cuối cùng, tôi tìm hiểu các mô hình, thuật toán phân loại văn bản phổ biến. Dưới đây là chi tiết các tìm hiểu của tôi:
2.2.1.1. Ứng dụng công nghệ xử lý ngôn ngữ tự nhiên
Ứng dụng công nghệ NLP là một nhánh của Trí tuệ nhân tạo, được xem là một quy trình phức tạp với các công nghệ, quy trình giúp máy tính hiểu, giải thích và mô phỏng ngôn ngữ con người bằng cách học hỏi từ cả ngôn ngữ học máy tính và ngôn ngữ học tính toán. Ngày nay, nhu cầu ứng dụng công nghệ NLP ngày một tăng cao, phát triển với nhiều ứng dụng thực tiễn trong đời sống như robot, chat-bot, call-bot, sửa lỗi chính tả, sửa lỗi cú pháp, dịch tự động, phân loại văn bản, phân tích sắc thái văn bản, suy luận ngôn ngữ tự nhiên, tóm tắt trích rút văn bản.
Quy trình xử lý ứng dụng ngôn ngữ tự nhiên có thể được khái quát như sau:
Thu thập, gán nhãn dữ liệu; xử lý tiền huấn luyện; sử dụng các kiến trúc, mô hình, thuật toán học máy/học sâu; ứng dụng vào bài toán/nhu cầu thực tế.
Hình 2.1: Quy trình NLP
Trong các phương pháp học máy, thông thường số lượng đặc trưng (features) càng nhiều thì độ chính xác càng cao. Tuy nhiên, khi số lượng đặc trưng quá nhiều sẽ khiến cho quá trình huấn luyện, quá trình phân loại mất nhiều thời gian hơn. Ngoài ra, điều này còn dẫn đến tình trạng chương trình chiếm nhiều dung lượng bộ nhớ lưu trữ và bộ nhớ tạm thời. Do đó, đối với phương pháp học máy, rất cần thiết phải lựa chọn từ tập các đặc trưng ra một tập con nhỏ hơn mà vẫn đảm bảo độ chính xác của quá trình phân loại. Việc lựa chọn đó, gọi là trích chọn đặc trưng (Feature Selection, hay còn các tên khác như Variable Selection, Feature Reduction, Attribute Selection hoặc Variable Subset Selection). Từng phương pháp học máy sẽ có hiệu quả riêng, từng bài toán cụ thể cũng sẽ có những phương pháp trích chọn đặc trưng mang lại hiệu quả riêng biệt.
Trích chọn đặc trưng là một phần quan trọng trong quá trình xử lý dữ liệu tiền huấn luyện, thường được đi kèm với một số kỹ thuật mô hình hóa, biểu diễn các từ tiếng Việt lên không gian vector. Dữ liệu văn bản có thể đến từ nhiều nguồn và có nhiều định dạng khác nhau (kí tự thường, kí tự hoa, kí tự đặc biệt…). Do đó sẽ có nhiều phương pháp xử lý dữ liệu phù hợp với từng bài toán cụ thể. Tuy nhiên, phương pháp phổ biến nhất là sử dụng kỹ thuật tokenization sẽ giúp ta thực hiện điều này. Mã hóa đơn giản là việc chúng ta chia đoạn văn thành các câu văn, các câu văn thành các từ. Trong mã hóa thì từ là đơn vị cơ sở.
Chúng ta cần một bộ tokenizer có kích thước bằng toàn bộ các từ xuất hiện trong văn bản hoặc bằng toàn bộ các từ có trong từ điển. Một câu văn sẽ được biểu diễn bằng một sparse vector (vector có nhiều phần tử bằng 0) mà mỗi một phần tử đại diện cho một từ, giá trị của nó bằng 0 hoặc 1 tương ứng với từ không xuất
hiện hoặc có xuất hiện. Các bộ tokernizer sẽ khác nhau cho mỗi một ngôn ngữ khác nhau.
2.2.1.2. Đặc trưng ngôn ngữ tiếng Việt 2.2.1.2.1. Đặc trưng hình thái
Tiếng Việt không sử dụng các hình thái (morpheme) để tạo ra các ý nghĩa của từ và tạo ra các sắc thái ý nghĩa khác nhau, tiếng Việt phụ thuộc vào trật tự của từ chứ không thay đổi hình thái của từ (như trong tiếng Anh, class → classes thì ‘es’ là hình thái số nhiều).
Ví dụ: với năm âm tiết (năm từ đơn): “sao, nó, bảo, không, đến” khi sắp xếp theo các trật tự khác nhau sẽ cho ra các nghĩa khác nhau: Nó bảo sao không đến? Nó bảo không đến sao? Nó đến, sao không bảo? Nó đến, không bảo sao?
Nó đến, sao bảo không? Nó đến bảo không sao! Nó đến, bảo sao không?…
Mặt khác, dấu cách (space) trong tiếng Việt không có tác dụng phân tách các từ như tiếng Anh mà chỉ có tác dụng phân tách các tiếng (âm tiết) mà thôi.
Vì thế việc phân tách từ trong tiếng Việt là một việc không thể thiếu.
2.2.1.2.2. Đặc trưng cấu tạo từ tiếng Việt
Theo thống kê từ Vietnam Lexicography Center (Vietlex) [11], tiếng Việt sử dụng nhiều và rộng rãi dựa trên 40.181 từ, với 7.729 âm tiết, trong đó 81,55%
các âm tiết đồng thời là từ đơn, 70,72% các từ ghép có 2 âm tiết, 13,59% các từ ghép có 3, 4 âm tiết, và 1,04% các từ ghép có từ 5 âm tiết trở lên.
Các phương thức cấu tạo từ tiếng Việt:
- Từ đơn: Từ có ý nghĩa từ vựng; từ có ý nghĩa ngữ pháp (từ công cụ); từ tượng thanh; từ cảm thán.
- Từ phức: Từ ghép; từ ghép đẳng lập (tổng hợp); từ ghép chính phụ; từ ghép phụ gia (yếu tố ghép trước hay ghép sau để tạo từ hàng loạt); từ láy;
dạng lặp.
- Ngữ cố định: Thành ngữ, tục ngữ; quán ngữ (nói tóm lại, đáng chú ý là, mặt khác thì…).
- Ngoài ra, trong văn bản còn có các thành phần sau: Tên riêng (tên người, địa danh, tổ chức); các dạng ngày - tháng - năm; các dạng số - chữ số - kí hiệu;
dấu câu, dấu ngoặc; từ tiếng nước ngoài; chữ viết tắt.
2.2.1.3. Đặc trưng nội dung phản động 2.2.1.3.1. Blacklist word
Trong nhiều nghiên cứu về phát hiện ngôn ngữ bạo hành trực tuyến, lời nói căm thù…, các tác giả thường sử dụng một danh sách đen (blacklist) các từ/cụm từ có đánh trọng số về nội dung nghiên cứu. Các blacklist này được sử dụng một
cách rộng rãi và gần như trở thành một danh sách quy chuẩn, từ đó chỉ việc áp dụng các phương pháp học máy vào để nhận dạng nội dung bạo hành trực tuyến.
Tương tự, trong luận văn này, tôi sử dụng một blacklist các từ/cụm từ phản động có đánh trọng số để xác định nội dung phản động. Tuy nhiên, blacklist word phản động hiện tại trong luận văn được xác định và đánh trọng số bằng phương pháp thủ công. Việc làm thủ công như hiện tại mặc dù sẽ thiếu sự chính xác hoàn toàn và còn phụ thuộc vào ý kiến chủ quan của tác giả. Tuy nhiên, trong giới hạn luận văn này, tôi chỉ trình bày về phương pháp để phát hiện nội dung phản động, không đi sâu phân tích phương pháp trích chọn và đánh trọng số cho các blacklist word phản động. Một số quy định chính trong việc xác định các blacklist word phản động như sau:
- Blacklist word là một danh sách các từ tiếng Việt (từ đơn hoặc từ ghép) liên quan đến nội dung phản động được gán trọng số trong khoảng (0, 1]. Ví dụ:
“Tổng Trọng”, “Trọng Lú”, “Thủ tướng Fuck”, “Fuck Niễng”, “Phúc Niễng Nổ”, “độc đảng”, “ngày quốc hận”, “độc tài cộng sản”…
- Blacklist word có thể chứa tên (đã bị các đối tượng xấu biến tướng) của những lãnh đạo cấp cao của Đảng, Nhà nước.
- Blacklist word có thể chứa tên của các đối tượng phản động trong và ngoài nước, các đối tượng CH-CĐCT, “tù nhân lương tâm”, như: Thanh Hiếu Bùi; Lê Nguyễn Hương Trà; Cấn Thị Thêu; Trịnh Bá Tư; Nguyễn Văn Đài;
Huỳnh Ngọc Chênh, Nguyễn Thúy Hạnh...
2.2.1.3.2. Đặc trưng hình thái
Đối với các đặc trưng hình thái trong kiểm duyệt bài viết, bình luận có nội dung phản động, ta xét các đặc trưng cụ thể sau:
- Độ dài của bài viết.
- Số ký tự viết hoa/tổng số ký tự của câu hoặc bài viết.
- Số các ký tự không phải alphabet xuất hiện trong câu hoặc bài viết.
- Số các dấu câu xuất hiện trong câu hoặc bài viết.
- Số từ không có trong từ điển tiếng Việt xuất hiện trong bài viết (từ lóng, từ viết tắt).
- Độ dài trung bình của các từ.
- Độ dài trung bình của các câu.
2.2.1.4. Các phương pháp biểu diễn từ
Thực tế khi NLP phát sinh nhu cầu không chỉ biểu diễn cho dữ liệu ở cấp độ từ mà còn ở mức độ câu văn, đoạn văn. Ví dụ, đối với bài toán kiểm duyệt
bài viết, bình luận có nội dung phản động được đề cập đến trong nghiên cứu này, nếu chỉ dựa trên một số từ ngữ hay một số câu văn riêng lẻ, không có trong ngữ cảnh nhất định, sẽ không thể đưa ra nhận định, đánh giá chính xác nội dung của toàn bộ bài viết.
Một số phương pháp biểu diễn từ tiêu biểu, gồm:
2.2.1.4.1. Word embedding
Word embedding là một nhóm các kỹ thuật đặc biệt trong NLP, có nhiệm vụ ánh xạ một từ hoặc một cụm từ trong bộ từ vựng tới một vector số thực. Từ không gian một chiều cho mỗi từ tới không gian các vector liên tục. Các vector từ được biểu diễn theo phương pháp word embedding thể hiện được ngữ nghĩa của các từ, từ đó ta có thể nhận ra được mối quan hệ giữa các từ với nhau (tương đồng, trái nghịch,...).
Các phương pháp thường được sử dụng trong word embedding bao gồm:
Giảm kích thước của ma trận đồng xuất hiện; mạng nơ-ron (Word2vec, Glove [19],...); sử dụng các mô hình xác suất,…
2.2.1.4.2. Tf-idf
Những từ hiếm khi được tìm thấy trong tập văn bản (corpus) nhưng có mặt trong một văn bản cụ thể có thể quan trọng hơn. Do đó, cần tăng trọng số của các nhóm từ ngữ để tách chúng ra khỏi các từ phổ biến. Cách tiếp cận này được gọi là Tf-idf (Term Frequency - Inverse Document Frequency), thường được sử dụng như một trọng số trong việc khai phá dữ liệu văn bản. Tf-idf chuyển đổi dạng biểu diễn văn bản thành dạng không gian vector (VSM), hoặc thành những vector thưa thớt.
TF (Term Frequency): Là tần suất xuất hiện của một từ trong một đoạn văn bản. Với những đoạn văn bản có độ dài khác nhau, sẽ có những từ xuất hiện nhiều ở những đoạn văn bản dài thay vì những đoạn văn bản ngắn. Vì thế, tần suất này thường được chia cho độ dài của đoạn văn bản như một phương thức chuẩn hóa (normalization). TF được tính bởi công thức:
(1)
(với t là một từ trong đoạn văn bản; f(t,d) là tần suất xuất hiện của t trong đoạn văn bản d; T là tổng số từ trong đoạn văn bản).
IDF (Inverse Document Frequency): Tính toán độ quan trọng của một từ.
Khi tính toán TF, mỗi từ đều quan trọng như nhau, nhưng có một số từ trong tiếng Việt như “và”, “thì”, “là”, “mà”... xuất hiện khá nhiều nhưng lại rất ít quan trọng. Vì vậy, chúng ta cần một phương thức bù trừ những từ xuất hiện nhiều lần
và tăng độ quan trọng của những từ ít xuất hiện những có ý nghĩa đặc biệt cho một số đoạn văn bản hơn bằng cách tính IDF:
(2) (trong đó, N là tổng số đoạn văn bản; tập |{ }| là số văn bản chứa từ t).
Một từ càng phổ biến khi IDF càng nhỏ và Tf-idf càng lớn. Đặc biệt, Tf-idf được sử dụng rộng rãi trong hệ thống tìm kiếm. Hệ thống sẽ xác định được từ nào mà người dùng quan tâm nhất, từ đó sẽ trả ra kết quả đáp ứng mong muốn của người dùng. Ví dụ khi tiến hành tìm kiếm: “làm thế nào để học AI” thì AI có Tf-idf cao nhất. Hệ thống sẽ xác định và trả ra một loạt các kết quả có AI trước rồi sau đó mới đối chiếu với văn bản cần tìm kiếm.
2.2.1.4.3. Mô hình ngôn ngữ n-gram
Mô hình ngôn ngữ là một phân bố xác suất trên các tập văn bản. Nói đơn giản, mô hình ngôn ngữ có thể cho biết xác suất một câu (hoặc cụm từ) thuộc một ngôn ngữ là bao nhiêu.
Ví dụ: khi áp dụng mô hình ngôn ngữ cho tiếng Việt:
P[“hôm nay là thứ hai”] = 0,001 P[“hai thứ hôm là nay”] = 0
Mô hình ngôn ngữ được áp dụng trong rất nhiều lĩnh vực của NLP, như:
Kiểm lỗi chính tả, dịch máy hay phân đoạn từ... Chính vì vậy, nghiên cứu mô hình ngôn ngữ chính là tiền đề để nghiên cứu các lĩnh vực tiếp theo. Mô hình ngôn ngữ có nhiều hướng tiếp cận, nhưng chủ yếu được xây dựng theo mô hình n-gram. Nhiệm vụ của mô hình ngôn ngữ là cho biết xác suất của một câu w1w2
...wm là bao nhiêu. Theo công thức Bayes: P(AB) = P(B|A) * P(A),thì:
P(w1w2…wm) = P(w1) * P(w2|w1) * P(w3|w1w2) *…* P(wm|w1w2…wm-1) (3) Theo công thức này, mô hình ngôn ngữ cần phải có một lượng bộ nhớ vô cùng lớn để có thể lưu hết xác suất của tất cả các chuỗi độ dài nhỏ hơn m. Rõ ràng, điều này là không thể khi m là độ dài của các văn bản ngôn ngữ tự nhiên (m có thể tiến tới vô cùng). Để có thể tính được xác suất của văn bản với lượng bộ nhớ chấp nhận được, ta sử dụng xấp xỉ Markov bậc n:
P(wm|w1,w2,…, w ) = P(wm|wm-n,wn-m+1, …,wm-1) (4) Nếu áp dụng xấp xỉ Markov, xác suất xuất hiện của một từ (wm) được coi như chỉ phụ thuộc vào n từ đứng liền trước nó (wm-nwm-n+1…wm-1) chứ không
phải phụ thuộc vào toàn bộ dãy từ đứng trước (w1w2…wm-1). Như vậy, công thức tính xác suất văn bản được tính lại theo công thức:
P(w1w2…wm) = P(w1) * P(w2|w1) * P(w3|w1w2) *…* P(wm-1|wm-n-1wm-n
…wm-2)* P(wm|wm-nwm-n+1…wm-1) (5)
Với công thức này, ta có thể xây dựng mô hình ngôn ngữ
