Damseol: A Language Learning Platform for the Hearing Impaired
 윤희욱 AI, Frontend |
 노문호 AI, Backend |
 이기정 Backend |
 조민서 Frontend |
 오승민 Frontend |
- 개발 환경 : Windows, Mac OS
- 개발 도구 : Visual Studio Code, IntelliJ, MySQL
- 개발 언어 : Javascript, Java, Python
- 주요 기술: React, Spring Boot, Flask, OpenAI, KoSpeech
2025.02.13. - 2025.05.30.
일반적인 화자는 타인의 말을 듣고 발화를 모방하면서 자연스럽게 음운 규칙과 화용적 요소를 체득하지만,
청각장애인은 이러한 경로가 제한된다. 특히 선천성 청각장애 아동의 경우, 제한된 청각 경험과 우연 학습의 부재로 인해
언어 발달이 지연될 수 있으며, 후천적 청력 손실이 있는 성인의 경우에도 다양한 음성 매개변수에서 왜곡이 발생할 수 있다.
연구에 따르면, 청각장애인의 발화는 비장애인과 비교할 때 기본 주파수, 음성 강도, 주파수/진폭 변동률 등에서 뚜렷한 차이를 보인다.
이는 청각 피드백 부족으로 인해 자신의 음성을 조절하는 능력이 제한되기 때문이다.
최근에는 전자기 조음 측정기(Electromagnetic Articulography, EMA) 등 시각 기반 훈련 도구를 활용한 연구에서
청각장애인의 발음 정확도 향상 가능성이 확인되었으며, 이는 시각적 피드백의 효과성을 뒷받침하는 근거가 된다.
기존 언어 학습 플랫폼은 대부분 음성 콘텐츠에 의존하고 있으며, 청각장애인을 위한 구조적 배려가 부족한 경우가 많다.
청각장애인은 단순한 발음 정확성뿐만 아니라, 음정, 음량, 운율 등 다차원적 피드백이 필요한 학습자임에도 불구하고,
현재까지 이를 체계적으로 제공하는 플랫폼은 거의 없는 실정이다.
이 프로젝트는 청각장애인을 위한 언어 학습 플랫폼으로, 학습자가 제공된 단어나 문장을 보고 녹음한 후
이를 분석하여 피드백을 제공하는 시스템을 구축하는 것을 목표로 한다.
학습자가 녹음을 진행하면, 수집된 음성 데이터는 DeepSpeech2 기반 음성 딥러닝 모델 KoSpeech2를 활용하여 텍스트로 변환된다.
이후, Python 기반 음성 분석 라이브러리 Librosa3를 사용하여 음정, 운율 등의 음향적 특징을 분석한다.
이 과정을 통해 얻은 데이터를 기반으로, 플랫폼은 시각적 피드백을 제공하며,
OpenAI의 GPT 모델을 활용하여 학습자의 발음에 대한 텍스트 기반 평가를 수행한다.
이를 통해 학습자는 제공된 다양한 시각적 정보로 피드백을 받을 수 있으며, 이를 바탕으로 발음을 교정할 수 있다.