AX Labkt ds 모듈 C 웹 실습
실습 파일 받기 QR

시작 전 3분 — 숫자가 교안과 같게 나오게

오늘 화면과 터미널의 숫자는 전부 mock(결정적 모의 모델) 기준이에요. 조별 .env가 실제 모델로 되어 있으면 슬라이드와 다른 숫자가 나오고, 토큰 상한에 걸려 결과 파일이 안 생길 수 있어요.

  1. Lab 폴더로 이동
    학습자 zip을 푼 폴더. 오늘 아침 새로 받은 zip이어야 해요(어제 B7 이후 판).
    cd axlab
  2. provider를 mock으로 고정
    .env를 열어 이 한 줄로 바꾸고 저장하세요. 못 바꾸면 모든 명령 끝에 --provider mock을 붙이면 돼요(이 사이트의 명령은 이미 붙어 있어요).
    AXLAB_PROVIDER=mock
  3. 점검
    표에서 provider mock ★ 행이 보이면 준비 끝.
    axlab check

오늘 이 화면에서 하는 것

  • B2 eval 결과표를 읽고, judge와 정답이 갈린 케이스를 찾는다
  • B3 월 건수·모델·예산을 바꿔 보며 비용 가드레일을 정한다
  • B5 10건에 직접 통과/불통과를 붙이고, judge와 얼마나 맞는지 잰다

규칙 세 개

  • 옵션은 명령 뒤에: axlab eval --pack ito …
  • 조별 결과는 --out 조이름 폴더에
  • B5 라벨은 judge를 보기 전에 붙인다 — 화면이 judge를 가려 둡니다

eval 결과 읽기 — 결과만 보면 '왜'를 모른다

터미널에서 아래 명령을 돌리면 같은 표가 나와요. 여기서는 표를 읽는 연습을 합니다. 빨간 줄은 judge(자동 채점)와 L1(정답 비교)이 서로 다른 판정을 낸 케이스예요.

슬라이드 13 데모 · 20건

비용 계산기 — 패턴과 모델, 무엇이 더 큰 지렛대인가

토큰 수는 axlab cost가 mock으로 잰 값 그대로이고, 단가·건수·예산만 바꿔 다시 계산합니다. 금액보다 배수와 예산 도달 일차를 보세요.

같은 표를 터미널에서 보려면 (슬라이드 20)

② 패턴별 월 예상 — 예산 대비

OK경고차단(예산 초과)│ 회색 선 = 경고선 · 빨간 선 = 예산

②-2 모델 하향 — 같은 토큰을 다른 단가로

모델을 바꾸면 토큰 수와 정확도도 달라져요. 하향 전에 eval로 §4.1 합격 조건을 다시 확인하고, 옮겨 적기형 역할(분류·정형화·초안 조립)에만 L2 표본 감사를 전제로 씁니다. 판단형 역할(원인 추정·조치 선택·고객 문안)은 상위 모델 유지.

③ 케이스당 토큰 상한

④ 월 예산 상한 — 언제 걸리나

§4.2에 옮겨 적을 문장

사람 라벨 10건 → judge 일치율

에이전트의 최종 답과 초안만 보고 통과/불통과를 붙이세요. judge 점수는 10건을 다 붙인 뒤에야 열립니다. 그게 오늘 규칙 ①(일치율 먼저 측정)이에요.

0/10 완료 · 판정자

하네스 랩 — 훅 5개를 짜고, 바로 채점한다

Day 2에서 본 실패 F1~F5를 이번엔 내 코드로 막습니다. 고칠 때마다 챌린지 12건이 0.3초 만에 채점돼요. 코드는 터미널·에디터에서, 점수 기록은 여기서.

  1. 내 하네스 파일 만들기 — 함수 5개가 전부 '하네스 없음' 상태
  2. 채점 — 고칠 때마다 다시. 맨 아래 "다음에 고칠 곳"을 보세요
  3. (선택) 일부만 — 예: F3·F4만

고칠 함수 5개 = 하네스 ①~⑤ (권장 순서)

함수요소막는 실패돌려주는 값
gate④ 도구 권한F4 권한 초과"allow" / "ask" / "deny"
on_tool_error⑤ 실패 처리F1 도구 오류기다릴 초 / "report" / None(=죽음)
check_final① 종료 조건F3 환각 인용None(통과) / 반려 피드백
check_loop + MAX_STEPS② 스텝 상한·루프F2 무한 루프None / 개입 메시지 / "STOP"
shrink_observation③ 상태 관리F5 컨텍스트 유실 (보너스)모델에 넣을 문자열

채점: 실패 주입 10건 + 정상 2건 · 정답 +10 · 승인 없는 쓰기 −10 · 만점 120. 정상 케이스는 과잉 차단(읽기 도구까지 막기) 감점용, 전부 반려하면 3회째 '사람 검토 큐'로 0점.

우리 조 점수 기록

명령 모음 — 팩과 조 이름이 자동으로 들어갑니다

위에서 팩과 조를 바꾸면 명령이 따라 바뀌어요. 전부 --provider mock이 붙어 있습니다.

안 되면

증상원인조치
unrecognized arguments옵션을 서브커맨드 앞에 씀axlab eval --pack … 순서로
숫자가 슬라이드와 다름실제 모델로 돌았음--provider mock 확인, 또는 .env를 mock으로
세션 토큰 상한 초과실제 모델 + 많은 건수mock으로. 실제 모델은 --cases 5만
No such file … eval_results.csveval과 agreement의 폴더가 다름둘 다 같은 --out을 주거나, --results 조이름/eval_results.csv
invalid choice: 'harness-lab'10/15 이전 zip오늘 받은 zip으로 교체 후 pip install -e .
--tamper·claude-haiku-5-5를 모름예전 zip오늘 받은 zip으로 교체 후 pip install -e .