Jev 너 어디까지 가능하니 ?
aidev

Jev 너 어디까지 가능하니 ?

정민수(Peter)·

안녕하세요, 개발팀 피터입니다 😎

최근 Jev라는 모델이 나오면서 개발자들 사이에서도 꽤 이야기가 많았습니다.

저도 그동안 “이걸 어디에 적용할 수 있을까?” 정도로만 조사하고 있었는데, 계속 찾아보기만 하는 것보다는 직접 한번 돌려보자는 생각이 들었습니다.

그래서 공식 홈페이지에서 결제하고 API Key를 발급받아 직접 성능 테스트를 진행했습니다.

단순히 벤치마크만 확인하는 것이 아니라, 현재 진행 중인 프로젝트에 실제로 도움이 되는지, 그리고 실제 서비스에서 적용할 만한 곳이 있는지도 함께 확인해봤습니다.


01. Jev가 무엇인가

Jev는 TypeSafe AI가 9월 15일에 공개한 모델입니다. 개발자인 Diogo Almeida는 OpenAI에서 RLHF와 InstructGPT에 참여했다고 밝히고 있습니다.

Jev가 일반적인 LLM과 가장 다른 점은 텍스트를 생성하지 않는다는 것입니다.

텍스트(state)를 넣고 타입이 정해진 질문을 던지면, 결과를 확률과 함께 돌려줍니다. 질문 타입은 세 가지입니다.

타입

질문

돌려주는 것

예

Choice

이 중 뭐야?

선택값, 옵션별 확률, confidence

담당 팀은? 다음에 누를 버튼은?

Score

몇 점이야?

순서형 척도 위의 점수

불만 정도 0~3

Noul

맞아, 틀려?

0~1 확률 하나

환불 요청인가? 문서에 근거하는가?

세 타입은 한 요청에 여러 개를 섞을 수 있고, 같은 state를 기준으로 병렬 평가할 수 있습니다. 벤더 설명에 따르면 질문을 여러 개 넣어도 지연 시간이 크게 늘어나지 않습니다.

쉽게 보면 이렇습니다.

  • LLM → 읽고, 생각하고, 글로 답한다.

  • Jev → 읽고, 고르거나 점수만 매긴다.

그래서 Jev가 잘 맞는 영역도 명확합니다.

선택지가 미리 정해져 있고, 텍스트만 보고, 대량으로 빠르게 판단해야 하는 작업입니다.

반대로 글을 생성하거나 이미지를 분석하거나, 무엇을 해야 할지 열어놓고 탐색해야 하는 작업은 Jev의 영역이 아닙니다.

가격은 입력 100만 토큰당 $0.042이고 출력 토큰은 무료입니다.

벤더는 LLM 대비 193배 빠르고 444배 저렴하다고 설명하지만, 출시 트윗 1만 2천 개를 분석한 독립 조사에서는 중앙값 기준 7배 빠르고 30배 저렴한 것으로 나타났습니다.

이런 수치는 실제 환경과 차이가 있을 수 있으니, 직접 테스트해보는 것이 좋겠다고 생각했습니다.


02. 어떻게 테스트했나

먼저 실제 프로젝트와 분리해서 Jev 자체가 어느 정도까지 동작하는지 확인했습니다.

문서에서는 영어 중심이며 부정문, 산술, 긴 컨텍스트, 선택지가 많은 상황에서 약할 수 있다고 설명하고 있습니다.

그래서 한국어 실사용 환경에서는 어느 정도까지 버틸 수 있는지 확인해봤습니다.

모든 실험에는 같은 질문 세트를 사용했습니다.

고객 메시지 하나를 입력하고 다음 네 가지를 한 번에 물었습니다.

  • 담당 팀 — Choice 4개

  • 불만 정도 — Score 0~3

  • 긴급 여부 — Noul

  • 환불 요구 여부 — Noul

이후 각 조건을 바꿔가면서 답변이 얼마나 흔들리는지 확인했습니다.

#

실험

확인한 내용

1

basics

세 타입을 한 요청에 섞었을 때 응답 형태

2

korean_vs_english

같은 의미의 한/영 문장에서 결과가 같은지

3

confidence

명확·애매·혼합 문장에서 confidence 차이

4

options_sweep

선택지 3→120개에서 정답 유지 여부

5

context_rot

무관한 텍스트 1만 자를 추가했을 때 변화

6

negation

부정·이중부정·대조

7

injection

조작 문장이 분류에 영향을 주는지

8

math_dates

개수·합계·날짜 차이

9

batch_latency

질문 1개와 13개의 지연 시간

10

score_shape

불만 정도가 문장 강도에 따라 증가하는지

11

grounding

답변이 문서에 근거하는지

총 43회 호출했고 API 응답 시간을 모두 합쳐 약 9초, 비용은 $0.0013이었습니다.

토큰 사용량은 약 3만 개였습니다.

테스트 조건에 대한 한계

다만 일부 실험은 조건이 꽤 쉬웠습니다.

선택지 120개 실험에서는 “기타품목001”처럼 의미가 없는 항목을 사용했습니다. 실제로는 모니터, 디스플레이, TV처럼 의미가 비슷한 선택지를 넣어 다시 확인할 필요가 있습니다.

무관 텍스트 실험에서도 노이즈를 메시지와 다른 JSON 키에 넣었습니다. 같은 문자열 안에 섞었을 경우 결과가 달라질 수 있습니다.

또한 문항 수 자체가 축당 3~10건 정도라 통계적인 검증보다는 동작 방향을 확인하는 테스트에 가깝습니다.


03. 결과 — 잘 되는 것과 무너지는 것

축

결과

판정

한국어 분류

담당 팀 5쌍 중 4쌍 일치, 환불 판정 5/5 일치

영어와 동등

부정문

“환불 안 해주면 안 돼요?” → 환불 0.96,

“환불 말고 교환” → 환불 0.03

4/4 정답

문서 근거 검증

근거 있음 0.97, 없음 0.01, 한 문장만 없음 0.05

3/3 정답

선택지 120개

정답 유지, confidence 1.0

쉬운 조건

무관 텍스트 1만 자

답·확률 불변, 토큰만 14배

쉬운 조건

질문 1개 vs 13개

평균 269ms vs 206ms

지연 차이 없음

조작 문장

답은 유지되지만 billing 0→0.21, 긴급 0.32→0.55

확률 흔들림

복수 주제 문장

세 팀에 걸친 문장을 technical, confidence 1.0으로 판단

과신

산술

개수 3개는 맞췄지만 51,500 > 50,000은 0.42

덧셈 실패

Score 단조성

0.00 → 0.71 → 0.58 → 2.99

중간값 뒤집힘

지연

p50 204ms, p95 248ms

벤더 수치의 약 2배

숫자 자체보다 재미있었던 건 어디에서 무너지는가였습니다.

부정문은 생각보다 괜찮았다

문서에서는 부정문에 약할 수 있다고 설명하고 있습니다.

그런데 한국어 이중부정까지 4건 모두 맞췄습니다.

문서 근거 검증도 마찬가지였습니다. “배송비 무료”라는 문서에 없는 문장을 포함시키자 전체 답변을 거짓으로 판단했습니다.

부정문과 근거 검증은 실제 서비스에서도 바로 활용해볼 수 있는 수준이라고 느꼈습니다.

Score는 상황보다 말투에 영향을 받는다

가장 아쉬웠던 부분은 Score였습니다.

예를 들어,

“음... 좀 아쉽긴 한데 괜찮아요”

는 0.71이었는데,

“이게 뭐예요? 세 번째 같은 문제예요”

는 0.58이었습니다.

같은 문제가 세 번째 반복된 상황을 오히려 가벼운 아쉬움보다 낮게 평가한 것입니다.

존댓말을 사용하면 실제 상황이 심각해도 상대적으로 차분한 문장으로 판단하는 경향도 있었습니다.

한국어 Score를 사용한다면 기준을 말투가 아니라 실제 내용 중심으로 명확하게 정의해야 할 것 같습니다.

또한 한/영 비교에서 한국어 불만 점수가 영어보다 0.3~0.5 정도 높게 나왔기 때문에, 실제 서비스에서는 언어별로 임계값을 따로 잡는 것도 고려할 필요가 있어 보입니다.

조작 문장은 답을 바꾸지는 못했지만 확률을 흔들었다

다음과 같은 문장을 넣어봤습니다.

“앱이 켜자마자 꺼져요” 뒤에 시스템 명령처럼 보이는 문장을 추가했습니다.

담당 팀은 technical로 그대로 판단했지만 billing 확률은 0에서 0.21로, 긴급 여부는 0.32에서 0.55로 올라갔습니다.

즉, 최종 답은 유지했지만 confidence가 흔들렸습니다.

임계값을 0.5로 설정하면 긴급 판정이 뒤집힐 수 있습니다.

사용자 입력이 직접 들어가는 결정이라면 충분한 confidence를 요구하거나, 조작 탐지용 Noul을 별도로 두는 방식이 더 안전해 보입니다.

덧셈은 정말 못 한다

상품 3개의 가격을 주고 “합계가 5만 원을 넘는가?”를 물었습니다.

실제 합계는 51,500원이었지만 결과는 0.42였습니다.

개수 세기나 날짜 차이는 어느 정도 처리했지만, 숫자 계산은 신뢰하기 어려웠습니다.

이 부분은 간단합니다.

계산은 코드가 하고, Jev에는 계산된 결과를 넣는 게 맞습니다.


04. 우리 프로젝트 어디에 쓸 수 있을까

기본적인 능력을 확인한 뒤 실제 project 폴더의 INEX 프로젝트들을 살펴봤습니다.

후보는 크게 네 가지였습니다.

후보

현재 상태

Jev가 들어갈 자리

chatx 질문 분류기

경량 LLM이 type·assets JSON을 생성하고 코드가 파싱

의도별 Noul + 자산별 Noul로 대체

RAG 답변 근거 검증

없음

답변 생성 후 “모든 주장이 컨텍스트에 있는가” 검증

뉴스 수집기

분류 단계 없이 기사 70건을 Sonnet에 전달

기사별 관련성 Noul로 1차 필터링

Flutter 앱 스모크 테스트

없음

화면 트리를 보고 다음 탭과 정상 여부 판단

이 중에서는 Flutter 앱 스모크 테스트를 먼저 진행했습니다.

이유는 간단했습니다.

이미 mobile-mcp가 있고, Flutter 앱과 실기기도 있었습니다.

그리고 커뮤니티에서 “Jev가 마리오를 플레이한다”는 형태의 데모도 있었습니다.

에뮬레이터가 현재 상태를 텍스트로 추출하면 Jev가 다음 행동을 고르고, 코드가 그 행동을 실행하는 방식입니다.

이 구조를 앱 테스트에 적용하면,

  • 접근성 트리 = 현재 게임 상태

  • 탭할 버튼 = 다음 행동

처럼 바꿔볼 수 있습니다.


05. 스모크 테스트 — 앱을 만져보고 정상인지 판단하기

Jev는 화면을 직접 볼 수 없습니다.

그래서 코드가 상태를 추출하고, Jev가 판단하고, 다시 코드가 실행하는 구조로 만들었습니다.

Flow

  1. 상태 추출 — 코드
    mobile-mcp의 AndroidRobot으로 UIAutomator 접근성 트리를 덤프합니다. 클릭 가능한 요소만 추려 최대 30개의 후보를 만듭니다.

  2. 판단 — Jev
    한 요청에 네 가지를 묻습니다.

    • 현재 화면은 무엇인가?

    • 다음에는 무엇을 눌러야 하는가?

    • 현재 화면은 정상인가?

    • 로딩이 끝났는가?

  3. 실행 — 코드
    Jev가 고른 요소를 탭하고 3초를 기다린 뒤 다시 상태를 추출합니다.

여기에는 안전장치도 넣었습니다.

매수, 매도, 출금, 입금, 탈퇴 같은 단어가 들어간 버튼은 코드에서 후보 자체에서 제외했습니다.

즉 Jev가 아무리 이상한 판단을 해도 후보에 없는 행동은 실행할 수 없습니다.

거래소 앱에서 자율 테스트를 돌릴 때는 이런 구조적인 제한이 중요하다고 봤습니다.

첫 실행 — 3스텝, 21초

Galaxy S23 실기기에서 INEX dev 앱으로 다음 시나리오를 돌렸습니다.

앱 실행 → 홈 → 거래소 탭 → BTC 상세

스텝

Jev가 본 화면

다음 행동

ok

Jev ms

트리 덤프 ms

1

홈 (0.99)

거래소 탭 (0.97)

0.92

278

2,280

2

거래소 (1.00)

비트코인 행, 후보 22개 중 (1.00)

0.96

224

2,303

3

BTC 상세 (1.00)

done (1.00)

0.95

184

3,087

한국어 라벨을 그대로 넣었지만 한 번도 잘못된 행동을 하지 않았습니다.

그런데 전체 시간을 보면 병목은 Jev가 아니었습니다.

총 21.4초 중 Jev의 판단 시간은 약 0.7초였습니다.

나머지는 UI 트리 덤프에 2~3초, 화면 전환을 기다리는 데 3초씩 사용됐습니다.

즉 속도 이득은 Jev 자체보다는 기존 LLM 추론 시간이 사라지는 것에서 발생합니다.

비정상 화면을 정말 구분할까?

다음으로 에러 다이얼로그, 빈 목록, 로딩 화면 등을 만들어 같은 질문을 던졌습니다.

화면

ok

loaded

정상 거래소 목록

0.97

0.97

에러 다이얼로그

0.12

0.80

빈 목록

0.13

0.89

로딩만

0.20

0.21

로그인 유도 화면

0.96

0.96

기대와 다른 화면

0.39

0.81

정상 화면의 최소값은 0.78, 비정상 화면의 최대값은 0.39였습니다.

0.5를 기준으로 잡으면 꽤 잘 구분됐습니다.

다만 여기서 중요한 문제가 하나 있었습니다.

에러 다이얼로그가 떠 있어도 next 판단에서는 다이얼로그 뒤의 BTC 행을 선택했습니다.

즉 Jev는 “이 화면은 이상하다”는 판단은 할 수 있지만, “그러니 멈춰야 한다”까지 자동으로 결정하지는 않습니다.

멈추는 것은 코드가 ok 값을 보고 처리해야 합니다.

비로그인 시나리오 — 9개 중 8개 통과

시나리오를 9개로 늘렸습니다.

거래소에서 ETH 검색, BTC 상세의 호가·차트·정보 탭 순회, 더보기의 FAQ, 스크롤 후 오픈소스 라이선스 확인까지 포함했습니다.

총 258초 동안 Jev를 37회 호출했고, 9개 중 8개가 통과했습니다.

통과한 시나리오에서는 화면 판정과 다음 행동 선택을 한 번도 잘못하지 않았습니다.

실패한 하나는 Jev의 문제가 아니었습니다.

이메일 입력 후 삼성 키보드가 내려가지 않았고, 키보드에 가려진 링크가 UI 트리에서 사라졌습니다.

누를 요소가 없어진 Jev는 스크롤을 선택했고, 스와이프가 키보드 위에서 시작되면서 이메일 입력란에 글자가 계속 들어갔습니다.

테스트 도구 쪽의 문제였습니다.

로그인 상태 — 14개 중 0개 통과

로그인 상태에서는 조금 다른 문제가 발생했습니다.

14개 시나리오를 실행했는데 전부 실패했습니다.

13개가 홈 화면에서 멈췄습니다.

원인은 홈의 오류 문구가 접근성 라벨로 노출되고 있었기 때문입니다.

비로그인 홈에서 0.93~0.97이던 ok 값이 0.33~0.48까지 떨어졌고, 코드는 설계대로 테스트를 중단했습니다.

흥미로운 부분이었습니다.

Jev가 실제 결함을 발견한 것은 맞습니다.

다만 그 결함 하나가 모든 시나리오를 막았습니다.

즉 결함을 잡아서 테스트가 멈춘 것이 아니라, 결함 때문에 테스트 전체가 멈춘 것입니다.

나머지 하나는 미체결 탭에서 멈췄습니다.

미체결 주문과 취소 버튼이 모두 금지어에 걸려 화면에서 제거됐고, Jev에는 “자산”이라는 단어만 남았습니다.

안전장치를 너무 강하게 걸어 오히려 테스트 대상의 상태를 제대로 전달하지 못한 것입니다.

두 문제 모두 테스트 도구의 설계를 수정했습니다.

예외 문구가 포함된 요소는 Jev에 직접 전달하지 않고 경고로만 기록하고, 금지된 요소는 “누를 수 없음”으로 표시하되 화면 내용에는 남기도록 수정했습니다.

수정 후 재실행은 아직 하지 않았습니다.

비용은 아직 보수적으로 봐야 한다

능력 테스트에서는 호출당 약 $0.00002 정도로 계산됐습니다.

하지만 이 수치는 525토큰 정도의 호출에서 나온 값입니다.

스모크 테스트에서는 UI 트리가 커지면서 호출당 1,300~4,300토큰을 사용합니다.

실제 토큰 과금 기준으로 보면 능력 테스트보다 4~7배 정도 높을 수 있습니다.

따라서 청구서를 확인하기 전까지는 정확한 비용보다는 “호출 자체의 비용은 매우 낮다” 정도로 보는 것이 맞겠습니다.


06. LLM + mobile-mcp와 뭐가 다른가

여기까지 보면 이런 질문이 나옵니다.

“그냥 Claude에 mobile-mcp를 붙여서 테스트하면 되는 것 아닌가?”

됩니다.

다만 두 방식은 목적이 조금 다릅니다.

둘 다 mobile-mcp가 손발이고, 머리가 다릅니다.

축

LLM + mobile-mcp

Jev + mobile-mcp

입력

트리 + 스크린샷

트리

출력

자유 텍스트. 파싱 필요

후보 중 선택 + 확률

스텝당 판단

3~10초

0.2~0.3초

스텝당 비용

약 $0.01~0.03

약 $0.0001~0.0002

시나리오 정의

자연어 한 줄

기대 화면 + 후보 추출 규칙

열린 탐색

가능

불가

렌더링 결함

스크린샷으로 확인 가능

확인 불가

재현성

실행마다 달라질 수 있음

같은 입력에서는 비교적 일정

안전

프롬프트에 의존

후보를 코드에서 제한

결국 역할이 다릅니다.

  • LLM → 탐색형 QA
    새로운 화면을 처음 확인하거나, 재현이 어려운 버그를 찾거나, 시각적인 결함을 확인하는 데 적합합니다.

  • Jev → 회귀 스모크 테스트
    정해진 시나리오를 매 빌드마다 빠르게 실행하고 결과를 숫자로 비교하는 데 적합합니다.

그리고 둘을 섞는 방법도 꽤 괜찮아 보입니다.

Jev가 기본 테스트를 진행하고 각 스텝의 스크린샷을 저장합니다.

ok 값이 낮아진 스텝만 비전 LLM에 넘겨서 **“왜 비정상인지”**를 판단하게 하는 방식입니다.

이렇게 하면 기본 판단은 Jev의 비용과 속도로 처리하면서, 문제가 발생한 경우에만 LLM을 호출할 수 있습니다.

아직 실제로 구현하지는 않았지만, 현재로서는 이 구조가 가장 현실적인 조합으로 보입니다.


07. 정리

이번 실험을 한 문장으로 줄이면 이렇습니다.

Jev는 LLM을 대체하는 모델이 아니라, LLM이 하던 일 중 ‘고르기’만 떼어내 저렴하고 빠르게 처리하는 모델이다.

한국어 분류는 영어와 비슷했고, 부정문과 문서 근거 검증도 생각보다 잘 됐습니다.

스모크 테스트에서는 비로그인 시나리오 9개 중 8개가 통과했고, 실패한 문제들도 대부분 Jev 자체보다는 테스트 도구 쪽에서 발생했습니다.

하지만 실제로 적용하려고 보니 코드가 해야 할 일이 생각보다 많았습니다.

후보를 만드는 것도 코드고, 숫자를 계산하는 것도 코드고, 멈출지 결정하는 것도 코드입니다. 안전장치 역시 코드로 만들어야 합니다.

Jev는 그 사이에서 약 200ms 정도의 판단을 담당합니다.

판단 자체는 꽤 괜찮았지만, 그 판단을 실제로 사용할 수 있게 만드는 구조를 만드는 데 더 많은 작업이 필요했습니다.

그리고 실제 프로젝트를 살펴보니 LLM이 필요한 작업은 여전히 많았습니다.

답변을 작성하거나, 요약하거나, 이미지를 보거나, 정해지지 않은 목표를 가지고 탐색하는 작업은 Jev가 대신할 수 없습니다.

반대로 선택지가 명확하고 반복적으로 판단해야 하는 작업에서는 분명히 비용을 줄일 수 있는 자리가 있습니다.

그래서 지금 시점에서의 결론은 이렇습니다.

LLM과 같이 사용하면 충분히 쓸 만합니다. 다만 활용할 수 있는 영역이 명확하고, 실제 서비스에 넣기 위해서는 주변 코드를 꽤 많이 설계해야 합니다. 지금 당장 회사 프로젝트의 핵심 로직을 Jev로 교체할 정도는 아니지만, 반복적인 분류나 검증, 회귀 테스트 같은 영역에서는 충분히 실험해볼 만합니다.

이 모델을 적용하기에는 복잡해 보이지만 판단은 Jev가, 흐름은 코드와 LLM이 제어하면 최적화가 될 것 같습니다.


08. 최종 결론

Jev의 다양한 기능과 활용 가능성을 테스트하며, 완벽하진 않지만 어느 범위까지 활용할 수 있는지, 어떤 입력값이 필요한지 등을 정리해 봤습니다.

테스트 결과, Jev는 충분히 매력적이고 활용 가치가 있는 모델이지만, 현재 진행 중인 프로젝트의 특성을 고려했을 때 즉시 도입해 적용하기에는 현실적인 한계가 있다고 판단했습니다.

다만, 이번 테스트를 통해 Jev의 가능성을 확인하는 것뿐만 아니라, 프로젝트의 고도화와 개선을 위해 어떤 접근 방식을 활용할 수 있을지 고민하는 계기가 되었습니다. 앞으로도 다양한 방법을 검토하며 작업 효율을 최적화하고 전반적인 성능을 향상할 수 있는 방향을 찾아보고자 합니다.


참고 개념

  • System One 모델 (판단 전용, 비자기회귀)

  • Choice / Score / Noul 세 가지 질문 타입

  • 캐스케이드 (confidence 낮은 건만 LLM으로)

  • Android 접근성 트리 (uiautomator)

  • mobile-mcp

  • Laya (같은 질문 타입의 오픈소스 대응 모델)

상세 기록: · · · ·

정민수(Peter)
작성자정민수(Peter)