Từ sự trăn trở khi chứng kiến những người khiếm thị, khiếm thính gặp khó khăn trong cuộc sống thường ngày, em Phan Hải Đăng, học sinh Trường THPT chuyên Lương Thế Vinh (tỉnh Đồng Nai) đã nghiên cứu, phát triển ứng dụng “Hệ thống đa năng hỗ trợ cho người câm điếc và người mù bằng công nghệ deep learning”.

Phan Hải Đăng - học sinh Trường THPT chuyên Lương Thế Vinh (tỉnh Đồng Nai) trình bày ứng dụng của mình. Ảnh: A.X

Không xuất thân từ lớp chuyên Tin, nhưng Đăng lại có niềm đam mê đặc biệt với lập trình, đặc biệt là công nghệ deep learning (học sâu). Không giống với nhiều bạn trẻ khác chọn phát triển ứng dụng giải trí hay học tập, Đăng lại chọn hướng đi “chông gai” hơn là xây dựng ứng dụng giúp đỡ người câm điếc và người mù giao tiếp, hòa nhập cộng đồng.

Ứng dụng do Đăng phát triển có khả năng chuyển đổi ngôn ngữ ký hiệu sang văn bản và giọng nói, đồng thời biến lời nói của người bình thường thành văn bản hoặc ký hiệu tương ứng, giúp 2 bên dễ dàng tương tác với nhau. Hệ thống tích hợp nhiều công nghệ AI khác như thuật toán Yolov8, nhận diện khuôn mặt ArcFace, nhận diện chữ (OCR),…

Chỉ cần nhấn vào biểu tượng micro “Bạn hãy nói đi”, ứng dụng sẽ ghi lại lời nói, sau đó hiển thị video hướng dẫn ngôn ngữ ký hiệu phù hợp. Người khiếm thính có thể xem video này để hiểu thông điệp một cách trực quan. Ở chiều ngược lại, camera sẽ ghi lại cử chỉ tay của người sử dụng ký hiệu, chuyển thành văn bản và phát thành âm thanh để người bình thường hiểu.

“Ứng dụng còn nhận diện được cảm xúc thông qua ánh mắt, biểu cảm khuôn mặt để thể hiện đúng thái độ của người giao tiếp, từ đó tăng hiệu quả tương tác và sự kết nối trong xã hội”, Đăng chia sẻ.

Với người khiếm thị, hệ thống hỗ trợ dò đường thông qua camera tích hợp, nhận diện vật thể phía trước, đo khoảng cách và phát âm thanh cảnh báo để giúp người dùng tránh va chạm khi di chuyển. Đồng thời, tính năng nhận diện khuôn mặt cho phép người dùng xác định người thân và thực hiện cuộc gọi khẩn cấp qua Google Assistant bằng giọng nói.

Ngoài ra, ứng dụng còn tích hợp nhiều tính năng hỗ trợ thiết thực như nhận diện đèn giao thông, đọc mệnh giá tiền, đọc sách, định vị...

Đằng sau hành trình đưa công nghệ đến gần hơn với người khuyết tật của Đăng, còn có sự đồng hành đầy tâm huyết của thầy giáo Bùi Kim Minh, người trực tiếp hướng dẫn, tiếp lửa và mở rộng cánh cửa ứng dụng thực tế cho cậu học trò đam mê lập trình này.

Theo thầy Minh, ngay từ khi Đăng nhen nhóm ý tưởng về một ứng dụng AI nhằm hỗ trợ giao tiếp cho người khuyết tật, chính thầy Minh đã nhìn thấy tiềm năng sáng tạo của dự án. Thay vì chỉ dừng lại ở lý thuyết, thầy chủ động kết nối với Trung tâm nuôi dạy trẻ khuyết tật tỉnh Đồng Nai để thực tế trải nghiệm.

“Tôi xác định rằng, nếu muốn công nghệ có giá trị thật sự, nó phải được thử nghiệm thực tế, nơi người dùng thật sự cần nó. Bản thân tôi là giáo viên, tôi hỗ trợ kết nối giúp Đăng có thể ứng dụng thực tế công nghệ mà em sáng tạo”, thầy Minh chia sẻ.

Thầy cô Trường THPT chuyên Lương Thế Vinh chúc mừng Hải Đăng đạt giải Nhất cấp tỉnh và giải Ba cấp quốc gia. Ảnh: A.X

Tại Trung tâm nuôi dạy trẻ khuyết tật tỉnh Đồng Nai, cả thầy và trò đã dành nhiều tuần lễ để lắng nghe, quan sát, thử nghiệm và điều chỉnh. Những phiên bản cập nhật liên tục được cải tiến dựa trên chính phản hồi của các em nhỏ khuyết tật và những người trực tiếp trải nghiệm sản phẩm.

Sau nhiều lần thử nghiệm, đánh giá và cải tiến, hệ thống hiện đạt độ chính xác khoảng 95% trong việc nhận diện ngôn ngữ ký hiệu. Với thầy Minh, niềm vui không nằm ở giải thưởng hay sự công nhận, mà chính là khoảnh khắc nhìn thấy học trò mình trưởng thành trong cách nghĩ và hành động.

“Dạy một học sinh biết làm công nghệ là điều không khó. Nhưng để em ấy biết dùng công nghệ phục vụ cộng đồng, đó mới là mục tiêu sâu xa của người làm giáo dục”, thầy Minh nhấn mạnh.

Với ý tưởng ứng dụng công nghệ Deep Learning để chuyển đổi ngôn ngữ ký hiệu thành giọng nói và ngược lại, Đăng đã xuất sắc giành giải Nhất cấp tỉnh và giải Ba cấp quốc gia tại cuộc thi Khoa học kỹ thuật dành cho học sinh trung học.

Theo Hoàng Anh (VietNamNet)
Xem bài viết gốc tại đây