#Ai #개발
작성일자: 2025년 12월 29일
멘토: 이도원 멘토님
활동일시: 2025년 12월 20일
-----------------------------------------------------------------------------------------------------------------------------------------------------------------
“보안이냐, 품질이냐… 정답 없는 선택의 연속”
요즘 팀 프로젝트 때문에 하루하루가 회의와 개발의 연속이다.
이번에 진행 중인 프로젝트는 AI 기반 교육·컴플라이언스 어시스턴트 플랫폼인데,
단순히 “모델 하나 붙이면 끝”인 문제가 아니라는 걸 점점 더 체감하고 있다.
지난 12월 20일, 팀 팔방미인 회의에서
AI 모델 선택부터 보안, 로그, 인프라, 운영까지
꽤 묵직한 이야기를 나눴다
2025.12.20_팔방미인_회의록
회의가 끝나고 나서, 머릿속이 정리가 안 돼서 이렇게 글로 남겨본다.
1️⃣ 임베딩 모델 하나 고르는 것도 쉽지 않다
처음엔 단순하게 생각했다.
“임베딩 모델? 성능 좋은 거 쓰면 되지 않나?”
현실은 전혀 달랐다.
- 기존에 쓰던 GTE-Qwen2 계열
- 새로 테스트한 ko-sroberta-multitask
직접 테스트해보니,
👉 응답 정확도랑 체감 품질은 sroberta가 더 좋았다.
그래서 일단 기준 모델은 sroberta로 가기로 했지만,
여기서 끝이 아니다.
“좋다”라는 걸 어떻게 증명할 것인가?
정확도, 응답 일관성, 체감 품질…
이걸 숫자로 어떻게 남길지에 대한 기준이 아직 부족하다는 걸 느꼈다.
2️⃣ 보안이냐, 품질이냐… 이 질문이 제일 어렵다
회의에서 제일 많이 나온 말이 이거였다.
“보안 때문에 품질을 포기하는 게 맞을까?”
- OpenAI / Gemini 계열 → 성능, 정확도는 거의 최상
- 온프레미스·내부 배포형 모델 → 보안은 좋지만 구축·운영 공수 큼
보안만 보면 내부 모델이 맞는 선택 같지만,
사용자가 느끼는 품질이 떨어지면 그게 과연 좋은 서비스일까?
이건 기술 문제가 아니라
서비스 철학에 가까운 문제라는 생각이 들었다.
3️⃣ 그래서 나온 해답: AB 테스트 + CBT
회의에서 공감됐던 포인트는
“한 번에 정답을 고르려 하지 말자”는 거였다.
- A/B 테스트
- 모델 A, 모델 B를 동시에 사용
- 결과, 로그, 사용자 반응 비교
- 문제 생기면 바로 롤백 가능하게
- CBT (Closed Beta Test)
- 실제 사용자 시나리오로 짧게라도 써보기
- PoC가 아니라 “운영 관점 실험”
이걸 들으면서 느낀 건,
AI 프로젝트도 결국 서비스 운영의 문제라는 것.
4️⃣ AI 프로젝트에서 프론트가 이렇게 중요할 줄은…
솔직히 예전엔
“AI면 백엔드랑 모델이 제일 중요하지”라고 생각했다.
근데 이번 회의에서 인상 깊었던 말:
“프론트는 실험을 통제하는 도구다.”
- 어떤 모델을 썼는지
- 어떤 가이드를 보여줬는지
- 사용자가 어떤 반응을 보였는지
이걸 관리하려면
단순 채팅 UI 말고 운영 가능한 프론트가 필요하다는 걸 알게 됐다.
5️⃣ 로그, 로그, 그리고 또 로그
회의 후반부는 거의 로그 이야기였다.
- 어디에서 로그를 남길지 (프론트 / 백엔드 / AI 서버)
- 어떤 포맷으로 남길지 (JSON 공통 스키마?)
- 나중에 분석이 가능한지
처음엔 로그가 그냥 “에러 확인용”인 줄 알았는데,
지금은 이렇게 느낀다.
로그는 AI 품질 개선을 위한 증거다.
✍️ 회의 끝나고 느낀 개인적인 생각
이번 회의에서 가장 크게 느낀 건 이거다.
- AI 프로젝트는 모델 선택 싸움이 아니다
- 기술 + 보안 + 운영 + 사용자 경험이 다 얽혀 있다
- 그리고… 생각보다 훨씬 복잡하다 😂
그래도 한 가지는 확실하다.
“이런 고민을 지금 해볼 수 있다는 것 자체가
꽤 좋은 경험이다.”
아직 25살 대학생이지만,
이 프로젝트를 통해
**‘서비스를 만든다는 게 뭔지’**를 조금은 배워가는 중인 것 같다.
다음 회의 때는
오늘 정리한 고민들이
조금이라도 더 명확해졌으면 좋겠다.