
## 서론

2024년 9월부터 2025년 5월까지 중국에서 진행된 “국가급 대학생 창의 실천 계획(大学生创新实践计划 - 校企专项)”에 참여하였다. 이 프로그램은 중국 내 대학생들이 3~5인 팀을 구성하여 기업과 연계된 과제를 수행하고, 창의적인 결과물을 도출하는 것을 목표로 한다. 나는 Intel과 협력하는 과제를 선택하여 프로젝트를 수행하였고, 최종적으로 상하이교통대학교 전체 1위를 달성하며 국가급 제명 후보로 등록되는 성과를 거두었다.

## 프로젝트 소개

우리 팀이 선정한 주제는 **Intel OpenVINO 在 AIGC 与 LLM 领域的应用实践**이다. OpenVINO는 Intel에서 개발한 오픈소스 툴킷으로, 딥러닝 모델의 추론을 최적화하고 다양한 하드웨어 환경에서 효율적으로 구동할 수 있도록 지원한다.

[GitHub 링크](https://github.com/jindun619/openvino-flask-server)

### 프로젝트 선정 과정

팀원들과의 논의 끝에, OpenVINO의 장점을 극대화하기 위해서는 **추론 가속화**와 **저전력 환경에서의 효율성**을 잘 활용할 수 있는 주제가 적합하다는 결론에 도달했다. 다양한 아이디어를 제안하고 검토한 결과, 팀 내 투표를 통해 내가 제안한 아이디어가 최종 주제로 선정되었다.

선정된 주제는 **소형 물체 인식 카메라 – 시각장애인을 위한 주변 환경 묘사 장치**(小型物体识别相机——为视障人士描绘周围环境)이며, 시각장애인이 주변 환경을 보다 명확하게 인식할 수 있도록 돕는 **휴대용 객체 인식 시스템** 개발을 목표로 하였다. 시스템은 **YOLO 기반 객체 인식**, **LLaVA 기반 비전-언어 모델**, **OpenVINO 최적화**, 그리고 **TTS(Text-to-Speech)** 기술을 통합하여, 시각 정보를 실시간으로 분석하고 음성으로 안내해주는 방식이다. 또한 모델 경량화 및 하드웨어 최적화를 통해 저전력 장치에서도 원활히 작동하도록 구현했다.

## 시스템 구조

본 시스템은 RealSense 카메라, 로컬 디바이스, 서버, 그리고 스피커로 구성되며, 전체 흐름은 다음과 같다.

![시스템 구조](/post_images/18/diagram.png)

1. **이미지 입력**:

   RealSense 카메라가 주변 환경의 이미지를 실시간으로 캡처한다.

2. **로컬 디바이스 처리**:

   촬영된 이미지는 로컬 디바이스로 전송되고, 해당 디바이스에서 서버로 HTTP 요청을 통해 전달된다.

3. **서버 측 추론**:

   서버는 수신된 이미지를 사전 정의된 프롬프트와 함께 LLaVA 모델에 입력하고, 생성된 설명을 텍스트로 반환한다.

4. **응답 수신 및 출력**:

   로컬 디바이스는 응답 받은 텍스트를 TTS 엔진을 통해 음성으로 변환하고, 스피커를 통해 실시간으로 사용자에게 제공한다.

이 구조를 통해 시각장애인은 주변 상황에 대한 설명을 실시간 음성으로 받을 수 있으며, OpenVINO의 최적화 덕분에 경량 장치에서도 안정적으로 동작한다.

## 나의 역할

본 프로젝트에서 나는 **서버 백엔드와 모델 최적화 전반**을 담당하였다. 주요 역할은 다음과 같다.

- Flask 기반 서버 백엔드를 설계·구축하여 이미지 입력과 모델 추론 간의 통신 구조를 구현
- LLaVA 기반 비전-언어 모델을 통합하고, 사용자 프롬프트 처리 로직 개발
- OpenVINO를 활용한 추론 최적화를 통해 응답 속도 개선 및 저전력 환경 대응
- Featurize 플랫폼 및 AWS EC2 GPU 환경에 서버를 배포하고 실환경 성능 실험
- 시스템의 지연 시간과 안정성을 테스트 및 벤치마킹하여 기술적 개선점 도출

또한 프로젝트의 전체 워크플로우를 설계하고, 팀 방향성을 제시하여 기술적/구조적 통일성을 유지하는 데 기여하였다.

---

# 이 프로젝트를 통해 얻은 것들

## 협업 능력

두 학기 동안 3인 1조로 진행한 이 프로젝트는, 나에게 본격적인 협업 경험을 안겨주었다. 혼자 진행하는 소규모 프로젝트와는 다른 난이도와 구조적 과제를 경험하면서, 협업의 원리와 의사소통의 중요성을 깊이 체감할 수 있었다.

## AI 관련 지식

프로젝트 주제 특성상 AI 관련 기술에 대한 학습이 필수적이었다. 이론보다는 구현 중심이었기에 아주 깊은 이론을 다루진 못했지만, 다양한 모델과 라이브러리를 다루면서 넓은 기반 지식을 쌓을 수 있었다.

## 탐구 능력

OpenVINO는 비교적 생소한 기술이며, 관련 자료도 많지 않았다. 구체적인 정보를 얻기 위해 공식 문서를 정독하고 프레임워크 코드를 하나하나 분석해야 했다. 반복되는 시행착오를 겪으며 정보 탐색과 분석에 대한 요령이 생겼고, 탐구 능력 또한 자연스럽게 향상되었다.

## 기록하는 습관

프로젝트 초반에는 내용을 머릿속에만 저장해 두려 했지만, 시간이 지나자 점점 기억이 흐려지고 관리가 어려워졌다. 이후부터는 매일의 작업 내용을 문서로 정리하기 시작했고, 기록을 통해 생각을 정리하고 프로젝트 전반에 대한 이해도까지 높일 수 있었다. 앞으로도 꾸준한 기록 습관을 유지할 계획이다.

---

# 프로젝트 중 겪은 어려움

## 협업 중 마주한 도전

### 역할 분담의 모호함

프로젝트 초기에 역할 분담을 하긴 했지만, 다소 중복되거나 추상적인 부분이 있어 진행 과정에서 혼란이 생겼다. 같은 작업을 여러 명이 중복 수행하거나, 일부 업무가 수행되지 않아 프로젝트가 지체되는 일이 발생했다. 이를 통해 명확하고 구체적인 역할 분배의 중요성을 절실히 깨달았다.

### 기술 리더 역할에서의 반성

나름 관련 지식이 가장 많은 구성원으로서 기술 리더 역할을 맡게 되었지만, 팀원들이 내가 알고 있는 내용을 잘 이해하지 못하는 상황에서 답답함을 자주 느꼈다. 그 과정에서 감정적으로 반응했던 적도 있었고, 지금 돌아보면 그 점이 아쉽고 후회된다.

프로젝트 후반에 이르러 깨달은 것은, 각자 잘하는 분야가 다르고, 이를 기반으로 효율적인 역할 분담을 하는 것이 가장 중요하다는 점이다. 당시 나는 모든 것을 내 기준에 맞춰 끌고 가려는 경향이 있었고, 그것이 협업의 장애가 되기도 했다. 이번 경험을 통해 **협업의 핵심은 기술이 아닌 소통과 배려**라는 사실을 깊이 느낄 수 있었다.

## Python 환경 설정과 패키지 충돌

원격 클라우드 인스턴스에서 SSH를 통해 접속한 후, 기본 conda 환경에 여러 pip 패키지를 설치하면서 수많은 버전 충돌 문제를 겪었다. 특히 중국 내에서는 PyPI 서버 접근이 제한되어 있어, 미러 서버를 이용해야 했고, 이 과정에서 지원하지 않는 버전이 많아 어려움이 컸다. huggingface의 다양한 모델들이 요구하는 패키지 버전이 모두 달라 일일이 맞춰야 했고, 환경 설정만으로 많은 시간을 소모했다.

이 과정은 다소 번거롭고 비효율적으로 느껴졌지만, 동시에 Python 패키지 의존성과 환경 관리를 이해하고 학습할 수 있는 값진 경험이 되었다.

# 마무리

이번 프로젝트는 단순한 기술 구현을 넘어, 협업, 문제 해결, 사용자 중심의 사고까지 요구되는 종합적인 경험이었다. 진행 과정에서 기술적 역량뿐 아니라 소통의 중요성과 역할 분담의 원칙, 그리고 실험과 실패를 통한 학습의 가치를 깊이 체감할 수 있었다. 특히 AI를 실제 문제 해결에 적용해보며 이 분야에 대한 흥미와 자신감을 갖게 되었고, 앞으로도 사용자 친화적인 AI 시스템 개발을 지속적으로 탐구하고자 한다.
