저렴하고 빠른 LLM인 줄 알았는데 — Jev를 직접 써보고 생각이 바뀐 이유
한 줄 요약
Jev는 "긴 글을 잘 쓰는 모델"이 아니라 소프트웨어가 다음 행동을 고를 수 있도록 판단을 돌려주는 모델에 가깝습니다. 그리고 그 판단 비용이 충분히 싸서, AI를 워크플로우 곳곳에 반복적으로 끼워 넣는 선택지가 현실적으로 열립니다.
처음엔 그냥 "싼 모델"인 줄 알았습니다
동료의 초대를 받아 Jev를 직접 써봤다는 후기입니다. 첫인상은 흔한 반응이었다고 해요.
"빠르고 저렴한 LLM이 또 하나 나왔나 보다."
그런데 몇 가지 사례를 따라가 보고 직접 호출까지 해보니, 성격이 조금 다른 물건이라는 걸 알게 됐다고 합니다.
Jev는 '글'이 아니라 '판단'을 반환합니다
우리가 익숙한 LLM 사용법은 대체로 이렇습니다. 프롬프트를 넣고, 문단을 받고, 그 문단을 사람이 읽거나 다시 파싱합니다. Jev는 이 구도를 뒤집습니다.
- 결과의 형태가 정해져 있습니다 — 예·아니오, 여러 선택지 중 하나, 또는 점수
- 판단의 확률과 confidence를 함께 다룹니다 — 단순히 답만 던지는 게 아니라, 그 답을 얼마나 믿어도 되는지를 같이 줍니다
즉 사람이 읽을 답변을 만드는 게 아니라, 프로그램이 곧바로 분기(branch)에 쓸 수 있는 신호를 만드는 쪽에 가깝습니다. 애매한 자연어를 후처리로 정규화하던 작업이 통째로 줄어드는 셈이죠.
가장 인상적이었던 건 결국 비용
후기에서 가장 무게를 둔 지점은 성능이 아니라 비용이었습니다.
지금까지 AI를 업무 흐름에 넣으려 할 때 가장 먼저 걸리는 건 대체로 두 가지였습니다.
- 호출 비용 — 이 판단 하나에 이만큼 쓰는 게 맞나?
- 응답 시간 — 이걸 넣으면 전체 파이프라인이 느려지지 않나?
이 두 가지가 걸리면, AI는 결국 "중요한 한 번"에만 쓰이게 됩니다. 그런데 Jev를 써보면서 든 생각은 이랬다고 합니다.
"이 정도 판단이라면 반복해서 넣어볼 수 있겠다."
이 차이가 생각보다 큽니다. 비싼 판단은 아껴 써야 하니 설계가 보수적으로 흐르지만, 싼 판단은 여기저기 흩뿌려 볼 수 있습니다. 분기마다, 단계마다, 필요하면 같은 입력을 여러 번. AI를 '핵심 기능'이 아니라 '기본 부품'처럼 쓰는 그림이 가능해지는 겁니다.
정리하며
- Jev는 생성형 모델보다는 판단 반환형 모델에 가깝습니다
- 출력이 구조화되어 있고 confidence를 함께 주기 때문에, 소프트웨어가 바로 소비하기 좋습니다
- 낮은 비용과 빠른 응답 덕에, AI 판단을 반복적·상시적으로 워크플로우에 넣는 설계가 현실적이 됩니다
LLM을 "똑똑한 작가"로만 보던 관점에서 벗어나, 워크플로우 안의 작은 판단 장치로 보는 시각이 필요해지는 시점인지도 모르겠습니다. 비슷한 고민을 하고 계셨다면 한 번 들여다볼 만합니다.
원문 출처: GeekNews - 개발/기술/스타트업 뉴스 서비스