🤖 프로젝트 소개

• github pages : https://kookmin-sw.github.io/capstone-2024-24/
• 국민대 2024년 캡스톤 24조 https://github.com/kookmin-sw/capstone-2024-24
• 중간보고서 : https://drive.google.com/file/d/16NaXpkgVccnvjZIrgBijLE6NKX_uG9iI/view?usp=sharing
• 중간발표자료 : https://drive.google.com/file/d/1uSfNx9Hp3RWLK9qVZHUtFuv0Xsn-snNT/view?usp=sharing
• 수행결과보고서 : https://drive.google.com/file/d/1IbI-sa29dC_Hl3WDFYEpwIP4-hk6hBiu/view?usp=sharing
• 포스터 : https://drive.google.com/file/d/14_RdeUE0qICHoIB8ew2KacO1oV-oKbmF/view?usp=sharing

🤖 AI 기반 대화형 키오스크, 주미(Jumi)

당신만의 점원 '주미(Jumi)'

키오스크 사용이 복잡하고 어렵지 않으신가요? AI와의 대화를 통해 더 간편하고, 쉽고, 자신있게 키오스크를 사용하실 수 있습니다. 주미(Jumi)를 통해 매장에서의 불편함을 줄여보세요! 😆

서울디지털재단이 발표한 ‘서울시민 디지털 역량 실태조사’에 따르면 55세 이상 고령층의 45.8%만 키오스크 이용 경험이 있다고 응답했습니다. 55세 미만에서 같은 답변이 94.1%였던 것에 비하면 절반에도 못 미치는 수준입니다. 실제로 고령 소비자층은 키오스크를 이용하며 불편한 점으로 ‘복잡한 단계 및 화면 조작’, ‘주문 상품에 대한 문의 불가’ 등을 꼽았습니다.(한국소비자원 설문조사)

주미(Jumi)는 기존의 중노년층이나 가게에 처음오는 사람 등 해당 매장의 키오스크 사용에 미숙한 점이 많아 설명과 도움이 필요한 사람들을 대상으로 개발 중에 있습니다.

대화를 통해 기존 점원들이 진행하던 주문뿐아니라 메뉴 설명, 매장설명 및 손님응대를 ai인 주미가 진행하므로써 손님은 자신만을 위한 작은 테이블위 담당 직원이 생기는 것이고 매장은 더 적은 비용으로 서비스 품질을 늘릴 수 있는 기회가 될 것입니다.

---

Introducing 'Jumi', Your Own Clerk!

Are you finding kiosk usage complex and challenging? With Jumi, you can interact more conveniently, easily, and confidently through AI conversation for smoother kiosk navigation. Let's reduce the inconvenience at your store! 😆

According to the 'Seoul Citizen Digital Competency Survey' released by the Seoul Digital Foundation, only 45.8% of the elderly aged 55 and above responded that they have experience using kiosks. This figure is significantly lower than the 94.1% response from those under 55 years old. In fact, elderly consumers cited 'complex steps and screen manipulation' and 'inability to inquire about ordered items' as inconvenient aspects of using kiosks (Korea Consumer Agency survey).

Jumi is being developed to assist those who are unfamiliar with using kiosks, such as the middle-aged and elderly, or those visiting a store for the first time, by providing explanations and assistance.

Through conversation, Jumi not only handles orders like traditional staff but also provides menu explanations, store guidance, and customer service. This creates a personalized experience for the customer, akin to having a dedicated staff member at their service, while offering the store an opportunity to enhance service quality at lower costs.

🤖 포스터

포스터(PDF) 다운로드 링크 : 2024캡스톤_24팀_포스터.pdf

🤖 소개 영상

Jumi.mp4

🤖 프로젝트 기능

Android

AI 직원과의 음성 대화

대화하기 버튼을 통해 언제든 Jumi와 대화를 주고 받을 수 있어요. Jumi의 대답은 음성으로 함께 제공돼요.

대표 예시 질문 제공

대화 화면 하단에 대표 예시 질문을 제공하여 Jumi에게 어떤 질문을 해야하는지 낯선 사용자에게 가이드를 제공해요.

일반 키오스크 조작

대화 모드와 일반 모드를 자유롭게 사용할 수 있어요. 기존 키오스크가 편한 사용자들을 위해 터치 방식으로 조작할 수 있어요.

고령층을 고려한 UX/UI

고령층이 인식하기 쉽게 기존 키오스크보다 큰 텍스트 및 이미지를 제공해요. 최소한의 페이지 구성을 통해 화면 이동과 주문 과정을 간소화했어요.

Admin

매장/키오스크 관리

관리자 페이지에서 매장과 키오스크의 메뉴를 추가/삭제할 수 있어요. 사용자는 관리자가 설정한 영역 내에서 키오스크를 사용할 수 있어요.

Jumi 학습

직접 AI에게 프롬프트를 입력하여 관리자가 원하는대로 Jumi를 커스텀할 수 있어요. 사용자는 관리자가 원하는 방향의 질문에 대한 답을 얻을 수 있어요.

통계자료

관리자 페이지에서 매장의 매출 내역을 확인하고 비교할 수 있어요. 다양한 그래프를 통해 관리자가 편하게 동향을 파악할 수 있어요.

주문내역 확인

관리자가 주문내역과 고객의 대화 내역을 확인/추적하여 주미가 고객 요구에 적절한 대응을 했는지 확인할 수 있어요.

🤖 폴더구조

현재 테스트 파일로 각각의 폴더 내의 안내를 참고해 주세요.

• (frontend) 관리자 페이지
• (android) 키오스크 앱 동작 및 구성
• (backend) 데이터 및 LLM에 접근 가능한 서버 엔드포인트 (API) 구현
• (ai) voice detecting 기능과 whisper를 연결하여, 말을 인식하여 text로 출력하는 기능, text를 받아 점원 주미로써 claude3 sonnet이 동작하여 답변을 생성하도록 하는 함수

🤖 시스템 인포그래픽

🤖 팀원 소개

</tr>
<tr align="center">
    <td>
        Front-end(web), TL
    </td>
    <td>
        Front-end(android)
    </td>
    <td>
        Back-end
    </td>
    <td>
        AI
    </td>
</tr>

안세홍 20181640

김언지 20212979

임호준 20181685

권부연 20203030

🛠 기술 스택

🖥 Frontend

역할	종류
Library
UI Framework
Programming Language
Formatting
Data Fetching
Package Manager
CI/CD

🖥 Android

역할	종류
Development Environment and Tools
Platform
Programming Language

🖥 Backend

역할	종류
Framework
Database
Database Service
Programming Language
CI/CD

🖥 AI

역할	종류
Framework
Programming Language

🖥 Common

역할	종류
협업 관리
디자인
Version Control