🎙️ 키오스크 보조 챗봇, 엘더이즈

NVIDIA-final-project Team 4

🎯 주제

키오스크 보조 챗봇

🎉 서비스 내용

고령층을 포함한 디지털 취약계층을 대상으로 하는 키오스크 보조 챗봇 서비스를 제공하고 있습니다!
음성 안내, 음성 명령 및 특정 식단 필터링, 주문 내용 확인 등 실질적인 기능을 구현하여 현장에서 발생하는 주문 오류를 최소화하고 사용성을 극대화합니다!

🗓️ 프로젝트 수행 기간

2025.08.18 ~ 2025.08.27

😎 팀원소개

td

김근호	김동은	김두현	김민지	오현영	전지성

서비스 아키텍처 및 일정 관리, 팀 조율 일반 모드 Streamlit	AI 챗봇(TTS, STT, ChatGPT API 활용, 대화 로직 설계) 어르신 모드 Streamlit	서비스 아키텍처 및 일정 관리, 팀 조율 발표	Streamlit 연계 비전 Streamlit	Streamlit 연계 Face++ 안면 인식 및 API 연동 AI 챗봇(TTS, STT, ChatGPT API 활용, 대화 로직 설계)	Face++ 안면 인식 및 API 연동 LLM AI 챗봇(TTS, STT, ChatGPT API 활용, 대화 로직 설계)

📚 Tech Stack 📚

FrontEnd :

BackEnd :

API :

기타 :

📚 🛠 Tools 🛠 📚

🚧제목(링크)를 클릭하시면 프로젝트의 정보를 담고 있는 Wiki로 연결됩니다!!

🔗 프로젝트 소개

개발 목표 및 내용

고령층을 포함한 디지털 취약계층을 대상으로 키오스크 음성 보조 챗봇 서비스를 구현하여, 복잡한 청약 제도의 접근성을 향상시키고 효율적인 청약 프로세스를 지원하고자한다.
컴퓨터 비전 기술로 사용자의 연령대를 추정하고, 이를 바탕으로 접근성 향상 기능을 먼저 제안하는 선제적 지원 방식을 도입하여 차별점을 두었습니다.

주요 타겟층

고령층(65세 이상) 및 디지털 취약계층
장애인 및 신체적 제약이 있는 사용자
패스트푸드점·카페 등 키오스크 활용 업장 & 관리자

핵심 기능

웹캠을 통한 컴퓨터 비전으로 사용자의 연령대 추정
65세 이상 사용자를 위한 '어르신 맞춤 모드' 자동 전환
음성 안내(TTS), 직관적 음성 명령(STT) 제공
음성 기반 주문 처리 시스템
메뉴 검색, 필터링, 장바구니 담기, 결제까지 음성만으로 진행
알레르기·비건 필터링, 영양 정보 확인 기능 제공
자연어 대화 기반 추천 및 주문 확인 지원
동일한 menu.json 데이터 기반으로 확장성 확보

보조 기능

- 답변 듣기(TTS) 버튼 : 모든 텍스트를 음성으로 안내
- 메뉴 필터링 기능 : 알레르기, 채식, 저염 등 개인 맞춤형 필터 제공
- 주문 내역 확인 기능 : 음성 또는 시각적으로 주문 내역 검증
- menu.json 기반 확장성 : 데이터 교체만으로 프랜차이즈별 손쉬운 적용
- 다국어 지원(확장 예정) : 외국인 고객을 위한 다국어 STT/TTS 지원 가능성
- 웹 기반 MVP : 태블릿(iPad 등)에서 바로 시연 가능

🔗 프로젝트 개요

문제 인식 및 원인

55세 이상 과반수 “키오스크 이용 불편”… “글씨 작고 조작 어려워” 출처 : 법조신문(https://news.koreanbar.or.kr)
소비자 46.6% 키오스크 이용 중 불편·피해 경험있어요
보기만 해도 어려운 키오스크...

해결방안

1. 선제적 맞춤형 접근성 제공
2. 연령대 추정 기반으로 '어르신 모드'를 먼저 제안하여 사용 장벽 최소화
4. 메뉴 검색부터 결제까지 자연어 음성 명령으로 처리
5. 확장성과 비용 효율성 확보
6. 웹 기반 Streamlit 구현으로 하드웨어 종속성 제거
7. JSON 교체만으로 다양한 매장에 확장 적용 가능
8. 사용자 오류 및 운영 부담 최소화
9. 주문 실수·대기열 지연 해소
10. 매장 운영 효율 및 고객 만족도 동시 향상

기대효과

1. 사용자 측면: 디지털 접근성 향상
고령층과 디지털 취약계층의 심리적 장벽 해소
음성 기반 경험을 통한 디지털 자신감 증대
2. 비즈니스 측면: 운영 효율 및 고객 만족도 제고
주문 오류·대기 시간 단축
직원의 응대 부담 감소
전 고객 만족도 향상
3. 기술 측면: 높은 확장성과 적용성
웹 기반 구현으로 전용 장비 불필요
다양한 매장에 저비용·신속 확장 가능
4. 사회적 측면: 디지털 포용 사회 기여
취약계층의 정보 격차 해소
AI가 배제가 아닌 포용을 위한 기술이라는 사회적 메시지 전달

🔗 기술적인 부분

📁 프로젝트 구조

integrated_kiosk_project/
├── 01_face_recognition_app.py    # 얼굴 인식 앱 (포트 8501)
├── 02_normal_kiosk_app.py        # 일반 키오스크 앱 (포트 8502)
├── 03_voice_kiosk_app.py         # 음성 주문 키오스크 앱 (포트 8503)
├── menu_data.py                  # 메뉴 데이터
├── requirements.txt              # 필요한 패키지 목록
├── public/                       # 메뉴 이미지 파일들
└── README.md                     # 이 파일

🚀 실행 방법

1. 환경 설정

먼저 필요한 패키지들을 설치합니다:

pip install -r requirements.txt

2. 환경 변수 설정

.env 파일을 생성하고 다음 내용을 추가합니다:

# Face++ API (얼굴 인식용)
FACE_API_KEY=your_face_api_key_here
FACE_API_SECRET=your_face_api_secret_here

# OpenAI API (음성 주문용)
OPENAI_API_KEY=your_openai_api_key_here

3. 앱 실행 (권장 방법)

Windows에서 한 번에 모든 앱 실행:

run_all.bat

macOS/Linux에서 한 번에 모든 앱 실행:

chmod +x run_all.sh
source venv/bin/activate && ./run_all.sh

이 명령어를 실행하면:

얼굴 인식 앱 (포트 8501): 포어그라운드에서 실행되며 브라우저가 자동으로 열림
일반 키오스크 (포트 8502): 백그라운드에서 실행 (브라우저 자동 열림 없음)
음성 주문 키오스크 (포트 8503): 백그라운드에서 실행 (브라우저 자동 열림 없음)

4. 수동 실행 (개별 앱 테스트용)

개별 앱을 테스트하고 싶다면 각각 터미널에서 실행할 수 있습니다:

얼굴 인식 앱:

streamlit run 01_face_recognition_app.py --server.port 8501

일반 키오스크:

streamlit run 02_normal_kiosk_app.py --server.port 8502

음성 주문 키오스크:

streamlit run 03_voice_kiosk_app.py --server.port 8503

🔄 워크플로우

시작: run_all.bat 실행으로 모든 앱이 자동으로 시작됨
얼굴 인식 (포트 8501): 사용자의 얼굴을 인식하여 나이를 추정
자동 라우팅:
- 65세 미만 → 일반 키오스크 (포트 8502)로 자동 이동
- 65세 이상 → 음성 주문 키오스크 (포트 8503)로 자동 이동
주문 및 결제: 각 키오스크에서 메뉴 선택 및 결제 진행
자동 복귀: 결제 완료 후 5초 뒤 자동으로 얼굴 인식 페이지로 돌아감

🛠️ 주요 기능

얼굴 인식 앱 (01_face_recognition_app.py)

실시간 카메라를 통한 얼굴 인식
Face++ API를 사용한 나이 추정
자동 라우팅 기능

일반 키오스크 (02_normal_kiosk_app.py)

터치 기반 메뉴 선택
알레르기 및 식단 필터링
장바구니 관리
결제 처리

음성 주문 키오스크 (03_voice_kiosk_app.py)

음성 인식 (STT) 및 음성 합성 (TTS)
AI 챗봇을 통한 자연어 주문
LangChain 기반 대화 처리
시각적 메뉴와 음성 주문 병행

📋 메뉴 정보

메인: 버거, 랩, 보울, 샐러디
사이드: 감자튀김, 치즈스틱
음료: 콜라, 사이다
디저트: 아이스크림, 팥빙수

각 메뉴에는 알레르기 정보, 식단 정보, 가격, 조리시간 등이 포함되어 있습니다.

🔧 문제 해결

run_all.bat 실행 문제

Windows 환경에서만 실행 가능
PowerShell이나 명령 프롬프트에서 실행
권한 문제 시 관리자 권한으로 실행

음성 인식 문제

마이크 권한 확인
PyAudio 설치 문제 시: pip install pipwin 후 pipwin install pyaudio

얼굴 인식 문제

카메라 권한 확인
Face++ API 키 설정 확인

포트 충돌

다른 포트 사용: --server.port 8504 등으로 변경
백그라운드 앱 접속: 브라우저에서 http://localhost:8502 또는 http://localhost:8503 직접 접속

🔗 프로젝트 문서

필수 문서

프로젝트 기획서

다이어그램

소감

김근호

이번 프로젝트는 '디지털 소외 계층을 돕는다'는 의미 있는 목표 덕분에 개발 과정 내내 보람을 느낄 수 있었습니다. 기술적으로는 GitHub를 이용한 협업, 터미널, API 키 관리, Streamlit을 활용하여 배웠던 개발 기술들을 직접 경험하는 값진 시간이었습니다. 기술적 성장, 다양한 경험과 개발의 동기를 함께 얻은 좋은 경험이었습니다.

김동은

프로젝트 구조를 세부적으로 짜지 못해 효율적인 업무 분담을 하지 못한 것 같아 아쉬웠고, 세부적인 구조를 짜기 위해선 폭넓고 깊은 지식이 필요한 것 같아 개인적인 부족함을 많이 느낌.

김두현

이론으로 배우던 내용을 실제로 구현하기 위한 시도에 의미를 둠. 체계적인 설계 필요성을 체감함.

김민지

아무리 AI가 코드를 대신 작성해 준다 해도 결국 개발자가 그 코드와 구조를 충분히 이해하지 못하면 한 단계씩 나아갈 때마다 벽에 부딪히게 된다는 것을 깨달았다. 막판에 시간이 부족해 제대로 구현하지 못한 알레르기 필터 기능과 외국인 버전까지 구현한다면 완성도를 더 높일 수 있을 것 같다.

전지성

프로젝트를 진행하면서 기초 개념을 튼튼히 해야 응용이 수월하다는 걸 깨달았고, 이번 경험을 통해 소통의 중요성도 실감했다. 앞으로는 결과에 급급하기보다 기본기를 먼저 다지고, 매일 핵심 개념을 복습하는 습관을 실천하겠다. 더불어 프로젝트에 적극적으로 참여하며 소통에도 힘써야겠다.

오현영

프로젝트를 진행하면서 LLM과 LangChain을 직접 활용해볼 수 있어 의미 있는 경험이었습니다. 다만, 짧은 기간으로 인해 프론트엔드와 백엔드를 완전히 연동하지 못한 점은 아쉬움으로 남습니다.

Name		Name	Last commit message	Last commit date
Latest commit History 68 Commits
public		public
.gitignore		.gitignore
01_face_recognition_app.py		01_face_recognition_app.py
02_normal_kiosk_app.py		02_normal_kiosk_app.py
03_voice_kiosk_app.py		03_voice_kiosk_app.py
README.md		README.md
menu_data.py		menu_data.py
requirements.txt		requirements.txt
run_all.bat		run_all.bat
run_all.sh		run_all.sh

hyunyoungDA/NVIDIA-final-project

Folders and files

Latest commit

History

Repository files navigation