Psychometrics와 Situational Judgment Test 설계

분류: Layer 12 - AI 시스템 & LLM 애플리케이션 | 선수지식: L11-80 (평가), L12-90 (LLM 평가), L12-140 (역량 모델링)

Psychometrics와 Situational Judgment Test 설계 - Reliability, Validity, Scoring, Bias

1. Psychometrics - 점수를 사실이 아니라 측정으로 본다

**심리측정(psychometrics)**은 사람의 능력, 성향, 역량처럼 직접 볼 수 없는 특성을 검사 문항과 행동 관찰로 측정하고, 그 점수를 얼마나 믿고 어떤 의사결정에 쓸 수 있는지 검증하는 분야다. 이 문서의 대상은 임상 진단이 아니라 업무 판단력, 교육 성취, 사람·LLM 평가자처럼 제품과 조직에서 마주치는 평가 도구다.

심리측정이 필요한 이유는 점수가 곧 능력 자체가 아니기 때문이다. 같은 사람이 같은 역량을 가지고 있어도 문항 표본, 평가자, 컨디션, 표현 방식에 따라 결과가 달라진다. 고전검사이론(Classical Test Theory, CTT)은 이 생각을 다음처럼 단순화한다.

관측 점수 X = 반복 측정에서 기대되는 점수 T + 측정 오차 E

여기서 T는 사람 안에 고정된 절대 진리를 뜻하지 않는다. 같은 목적의 동등한 측정을 매우 많이 반복했을 때 기대되는 점수라는 이론적 값이다. E도 단순 실수가 아니라 문항 선택, 평가자 차이, 당일 변동처럼 이번 측정에 섞인 변동을 묶어 부르는 말이다.

따라서 측정의 핵심 철학은 세 가지다.

점수의 의미를 먼저 정한다. 무엇을 측정하고 어떤 판단에 쓸지 모르면 높은 점수도 해석할 수 없다.
오차를 없다고 가정하지 않는다. 신뢰도와 불확실성을 함께 보고 경계 점수를 정밀한 사실처럼 다루지 않는다.
근거를 누적한다. 신뢰도 하나, 상관 하나, 전문가 의견 하나로 평가 도구 전체가 타당해지지 않는다.

1.1 숫자로 보는 측정 불확실성

같은 시점에 실시한 다문항 SJT의 합산 점수 표준편차가 10이고, 그 표본에서 추정한 **가상의 Cronbach alpha가 0.84**라고 하자. 여기서 0.84는 문항 간 관계로 추정한 internal-consistency reliability coefficient(내적 일관성 신뢰도 계수)다. 이 계수와 CTT의 평균적인 측정 오차 크기인 SEM(Standard Error of Measurement, 측정의 표준오차)을 사용하면 다음과 같다.

SEM = SD × sqrt(1 - reliability)
    = 10 × sqrt(1 - 0.84)
    = 10 × 0.4
    = 4점

관측 점수가 70점이어도 그 값을 오차 없는 정확한 능력값으로 읽으면 안 된다. 오차가 대략 정규분포이고 점수대별 오차가 비슷하다는 강한 가정 아래에서는 70 ± 2 × 4, 즉 약 62~78점을 관측 점수 주변의 오차 없는 점수 T에 대한 근사 구간으로 해석할 수 있다. 이 범위는 개인의 참값을 보장하는 법적 공식도, 모든 검사에 그대로 적용할 95% 규칙도 아니다. alpha 0.84 역시 “이 사람의 점수가 84% 정확하다”는 뜻이 아니라 특정 표본과 단일 시행의 문항 구성에서 합산 점수 차이가 얼마나 일관되었는지 나타내는 추정치다. 따라서 이 alpha 기반 SEM은 internal consistency가 정의한 오차 영역만 반영하며, 측정 시점(occasion)이 달라져 생기는 컨디션·학습·피로 같은 변동은 포함하지 않는다.

62~78점을 미래 재검사 점수가 들어올 범위로 읽거나, 위의 internal-consistency SEM을 test-retest precision(재검사 정밀도)으로 재사용해서도 안 된다. 다만 실제 construct가 변하지 않고, 두 측정의 오차가 서로 독립적이며, 비교하려는 오차 영역을 포괄하는 SEM이 각각 4점인 단순 가상 상황이라면 두 관측 점수 차이에는 양쪽 측정의 오차가 함께 들어간다.

SE(score difference) = sqrt(SEM1² + SEM2²)
                     = sqrt(4² + 4²)
                     ≈ 5.66점

따라서 이 독립 오차 가정 아래 두 점수의 차이는 측정 오차만으로도 대략 0 ± 2 × 5.66, 즉 약 ±11.3점까지 흔들릴 수 있다. 그러나 실제 재검사에서는 같은 사람과 상황에서 생기는 오차가 서로 연관될 수 있고 occasion 효과나 실제 학습·피로도 더해진다. 재검사 변화량을 해석하려면 시간 간 반복을 포함한 replication domain(반복 측정 영역)의 SEM을 별도로 추정하거나, 재검사 자료에서 test-retest precision 또는 점수 차이의 표준오차를 직접 추정해야 한다. 위 alpha 기반 4점을 두 시점에 그대로 대입한 5.66점은 그런 재검사 정밀도를 대신하지 않으며, 특정 미래 점수를 예언하는 범위가 아니라 독립 오차를 가정한 두 관측 점수 차이의 수치 감각만 제공한다.

이 숫자 감각만으로도 경계가 보인다. 통과선이 72점인데 한 응시자가 70점을 받았다면 자동 탈락보다 추가 문항, 독립 재평가, 다른 증거를 요구하는 편이 합리적이다. 반대로 SEM을 계산했다고 타당도가 생기지는 않는다. 엉뚱한 능력을 매우 일관되게 측정할 수도 있다.

2. Construct - 무엇을 측정하려는가

**construct(구성개념)**는 직접 관찰할 수 없지만 여러 행동과 응답을 통해 추론하려는 특성이다. “장애 대응 판단력”, “고객 공감”, “위험한 도구 호출을 멈추는 능력”이 construct이고, 특정 답변의 길이나 특정 서비스 이름을 아는지는 관찰 가능한 단서일 뿐이다.

construct 정의는 사전식 명칭이 아니라 경계 계약이어야 한다.

construct: incident judgment
definition:
  장애 상황에서 사용자 영향, 원인 가설, 완화 조치를
  불완전한 정보 아래에서 우선순위화하는 능력
observable evidence:
  - 사용자 영향과 시간 압박을 먼저 확인한다
  - 되돌릴 수 있는 완화와 원인 분석을 구분한다
  - 새 증거가 나오면 가설과 행동 순서를 갱신한다
not:
  - AWS 서비스 이름 암기
  - 말투의 자신감
  - 답변 길이

이 정의에서 문항과 채점 기준이 나온다. observable evidence가 없으면 평가자는 자신이 좋아하는 표현을 점수로 바꾸기 쉽고, not 경계가 없으면 영어 유창성이나 자신감이 incident judgment 점수에 섞인다.

construct가 깨지는 방식은 크게 두 가지다.

Construct underrepresentation(구성개념 과소대표): 장애 대응 판단력을 측정한다면서 롤백 한 장면만 묻는다. 커뮤니케이션, 불확실성 처리, 재평가 능력이 빠져 점수가 construct 전체를 대표하지 못한다.
Construct-irrelevant variance(구성개념 무관 분산): 내용은 같은데 긴 영어 답변이나 유명 도구명을 쓴 응답이 더 높은 점수를 받는다. 측정하려던 능력이 아닌 요소가 점수 차이를 만든다.

좋은 construct는 넓다고 좋은 것도, 좁다고 좋은 것도 아니다. “좋은 엔지니어”는 너무 넓어 문항과 증거를 정하기 어렵고, “첫 30초 안에 rollback이라고 말함”은 너무 좁아 상황 판단 전체를 놓친다. 어떤 행동을 일반화하고 어떤 의사결정에 쓸 것인지 설명할 수 있는 크기로 자른다.

3. Reliability - 같은 것을 재면 얼마나 안정적인가

**신뢰도(reliability)**는 같은 construct를 비슷한 조건에서 다시 측정했을 때 점수가 얼마나 일관적인지를 묻는다. 신뢰도가 낮으면 한 번의 점수 차이가 사람의 능력 차이인지 측정 잡음인지 구분하기 어렵다. 다만 신뢰도가 높아도 올바른 construct를 측정한다는 보장은 없다.

신뢰도의 네 관점

Internal consistency

한 검사 안의 여러 문항이 같은 점수 해석을 일관되게 보조하는가

여러 SJT 문항을 하나의 역량 점수로 합산할 때

Inter-rater reliability

같은 응답을 본 평가자들이 비슷하게 판정하는가

사람-사람 또는 사람-LLM judge를 비교할 때

Test-retest reliability

시간이 지나 다시 측정해도 안정적인가

실제 역량 변화가 거의 없는 짧은 간격의 재검사에서

Parallel-form reliability

같은 blueprint로 만든 동등 문항 세트가 비슷한 결과를 내는가

문항 노출을 줄이거나 prompt/model 교체 전후를 비교할 때

LLM judge에서는 model version, prompt version, sampling 설정, 응답 순서가 모두 신뢰도에 영향을 줄 수 있다. 먼저 gold dataset을 만든다. 여기서 gold dataset과 그 label은 여러 평가자가 독립 채점한 뒤 근거를 adjudication(조정)하고 version을 부여한 참조 세트이지 객관적 ground truth가 아니다. 원래 평가자별 label과 근거, 해결되지 않은 disagreement, label uncertainty를 함께 보존해야 기준이 얼마나 확실한지도 평가할 수 있다. 그다음 어떤 자료형을 어떤 평가자 구조로 채점했는지에 맞춰 지표를 고른다.

3.1 손으로 계산하는 관측 일치율과 Cohen’s kappa

5개 응답을 사람과 LLM이 pass/fail로 판정했다고 하자.

응답	1	2	3	4	5
사람	pass	pass	fail	fail	pass
LLM	pass	fail	fail	fail	pass

둘이 같은 판정을 한 것은 1, 3, 4, 5번이므로 **관측 일치율(observed agreement)**은 4/5 = 0.80, 즉 80%다. 이 값은 직관적이지만 두 평가자가 각 범주를 얼마나 자주 고르는지는 반영하지 않는다.

사람은 pass를 3/5, fail을 2/5 선택했고, LLM은 pass를 2/5, fail을 3/5 선택했다. 두 평가자가 각자의 비율을 유지한 채 우연히 같은 범주를 고를 기대 비율은 다음과 같다.

우연 기대 일치 Pe
= P(둘 다 pass) + P(둘 다 fail)
= (3/5 × 2/5) + (2/5 × 3/5)
= 12/25
= 0.48

Cohen's kappa
= (관측 일치 Po - 우연 기대 일치 Pe) / (1 - Pe)
= (0.80 - 0.48) / (1 - 0.48)
= 0.32 / 0.52
≈ 0.62

따라서 80% agreement와 kappa ≈ 0.62는 같은 결과를 다른 관점에서 표현한다. 관측 일치율은 실제로 몇 건이 같았는지 말하고, kappa는 평가자별 범주 사용 비율에서 기대되는 우연 일치를 보정한다. kappa는 정확도도, 타당도도 아니다. 사람 판정 자체가 잘못되었다면 둘의 높은 일치는 같은 오류를 반복한다는 뜻일 수 있다.

반례도 있다. 데이터의 95%가 fail인 상황에서는 두 평가자가 거의 전부 fail이라고만 해도 관측 일치율이 매우 높아질 수 있다. 반대로 범주 비율이 극단적이면 몇 건의 불일치가 kappa를 크게 흔드는 이른바 prevalence 문제가 생긴다. 그래서 표본 수, 범주별 confusion table, 불일치 사례를 kappa와 함께 본다.

3.2 Cohen’s kappa, Krippendorff’s alpha, ICC, Cronbach alpha 선택

질문과 데이터 구조	우선 후보	쓰지 말아야 할 때
같은 항목을 2명이 명목 범주로 판정	Cohen’s kappa	3명 이상, 평가 항목 누락이 많음, 연속 점수
같은 항목을 2명이 `낮음/중간/높음`처럼 서열 범주로 판정	Weighted Cohen’s kappa	가중치를 사전에 정당화하지 못함, 평가자나 항목별 결측이 많음
평가자 수가 항목마다 다르거나 결측이 있는 서열 범주를 판정	Ordinal Krippendorff’s alpha	서열 범주에 맞는 ordinal distance를 지정하지 않음
여러 평가자가 같은 대상을 간격 척도로 정당화된 점수로 평가	ICC(Intraclass Correlation)	숫자로 보이지만 간격 척도로 볼 근거가 없음, 평가 설계에 맞는 ICC 형태를 안 고름
여러 문항을 합산해 하나의 scale score로 보고	Cronbach alpha	평가자 간 agreement를 보려는 경우, 문항이 서로 다른 construct를 측정하는 경우
통과선 근처 오류 비용을 알고 싶음	false accept/reject rate	agreement 하나로 실제 의사결정 손실을 대신하려는 경우

같은 두 평가자가 모든 항목을 1~5등급으로 채점하고 한 단계 차이보다 네 단계 차이를 더 큰 불일치로 보려면 weighted kappa가 맞다. linear 또는 quadratic weight처럼 불일치 가중 방식을 결과를 본 뒤 고르지 말고, 등급 간 차이의 의미에 맞춰 사전에 정한다.

Krippendorff’s alpha는 평가자가 3명 이상일 때만 쓰는 지표는 아니다. 2명 이상이 일부 항목만 평가해 결측이 생기거나 항목마다 평가자 조합이 다를 때 유용하다. 이 데이터가 서열 범주라면 가까운 등급과 먼 등급의 불일치를 다르게 세는 ordinal distance를 지정한 ordinal alpha를 쓴다. 반대로 모든 항목을 같은 두 평가자가 pass/fail로 판정했다면 Cohen’s kappa가 더 단순하고 설명하기 쉽다. alpha를 썼다면 척도 수준, distance 함수, 결측 처리, 불확실성 구간을 함께 보고해야 한다.

**ICC(Intraclass Correlation Coefficient, 급내상관계수)**는 0~100점처럼 단위 간 차이가 같은 의미를 가진다고 정당화된 간격 척도 점수의 평가자 간 신뢰도를 볼 때 사용한다. 1~5라는 숫자가 붙었다는 사실만으로 서열 등급이 간격 척도가 되지는 않는다. 평가자 순위만 비슷하면 되는 consistency인지, 점수 자체가 같아야 하는 absolute agreement인지도 다르다. 한 평가자가 항상 다른 평가자보다 1점 높게 주면 순서는 일관되지만 절대 일치는 낮다. ICC는 모델, 단일/평균 측정, consistency/absolute agreement 조합에 따라 형태가 달라지므로 숫자 하나만 보고하면 재현할 수 없다.

Cronbach alpha는 여러 문항을 합산한 점수의 internal consistency를 보는 도구다. 평가자 간 일치도 지표로 대신 쓰지 않는다. 또한 alpha가 높다고 단일 construct가 입증되지는 않는다. 문항 수가 많거나 비슷한 문항을 반복하면 alpha가 올라갈 수 있다. 예를 들어 10개 문항 중 5개는 incident judgment보다 답변 길이에, 나머지 5개는 말투의 자신감에 반응해도 두 응답 스타일이 함께 움직이면 alpha가 높을 수 있다. 선택 심화: factor analysis(요인분석)나 문항 간 구조를 별도로 분석하면 “incident judgment 하나”로 합산할 근거를 더 깊게 검토할 수 있지만, 이는 이 문서의 필수 선행지식이 아니다.

신뢰도 계수의 보편 통과선은 없다. 연구용 집단 평균 비교와 개인의 채용 탈락을 결정하는 검사는 요구되는 정밀도가 다르고, 표본 크기와 범주 비율에 따라 추정 오차도 달라진다. 숫자를 배포 gate로 쓰기 전에 의사결정의 손실, 신뢰구간, slice별 불일치, 경계 사례 재검토를 함께 정한다.

4. Validity - 이 점수 해석과 사용을 정당화할 수 있는가

**타당도(validity)**는 검사가 “타당하다/아니다”라는 영구 속성이 아니다. 특정 집단에서 얻은 점수를 특정 의미로 해석하고 특정 의사결정에 사용하는 것이 근거로 뒷받침되는지를 묻는다. 온콜 훈련 피드백에 쓸 근거가 채용 탈락에 그대로 충분한 것은 아니다.

현대적 타당도 논증은 여러 증거를 연결한다.

증거 원천	핵심 질문	Incident SJT에서 확인할 것
Test content	문항이 construct의 중요한 범위를 대표하는가	실제 postmortem과 SME가 완화·진단·소통 상황의 coverage를 검토
Response processes	응시자와 평가자가 의도한 사고·채점 과정을 따르는가	응시자가 문장 길이 cue가 아니라 trade-off를 판단하는지 인터뷰
Internal structure	문항 간 관계가 의도한 단일/다중 construct 구조와 맞는가	완화·진단·소통을 합산할지 하위 점수로 나눌지 분석
Relations to other variables	점수가 관련 외부 기준과 예상한 관계를 보이는가	shadow on-call 평가와 관련되고 무관한 영어 유창성과는 분리되는지

검사 결과(consequences)는 위 네 원천과 나란한 다섯 번째 증거 원천으로 세지 않는다. 예를 들어 Incident SJT의 경계 탈락, 이의제기, 재검토가 실제 결정에 미친 영향을 조사했을 때, 피해가 점수 해석의 오류, construct underrepresentation, construct-irrelevant variance나 scoring bias로 추적된다면 이는 타당도 문제를 드러내는 증거다. 반대로 의도한 construct를 적절히 측정한 점수를 정책이 어떻게 사용하면서 생긴 더 넓은 사회적·정책적 결과는 그 사실만으로 점수 해석이 타당하지 않음을 뜻하지 않는다. 그런 결과의 허용 가능성, 대안 절차, 권리와 구제는 별도의 test-use requirement(검사 사용 요구사항)로 검토해야 한다.

공정성(fairness) 역시 consequences와 합친 타당도 증거 칸이 아니라 별도로 충족해야 할 검사 사용의 기초 요구사항이다. 문항 내용, 시행 접근성, 채점, 점수 해석, 의사결정 전 과정에서 특정 집단에 construct와 무관한 장벽이나 다른 오류 비용이 생기는지 본다. 집단별 결과 차이가 construct underrepresentation이나 construct-irrelevant variance에서 왔다면 통합 타당도 논증을 약화하는 증거이기도 하지만, 공정성 검토에는 타당도만으로 환원되지 않는 접근성·권리·구제 문제도 남는다.

content validity, construct validity, criterion validity라는 말은 여전히 실무에서 쓰는 관행적 분류다. 다만 이들은 서로 독립적으로 발급되는 인증서가 아니라, test content와 construct 해석, 외부 criterion과의 관계 같은 근거를 하나의 통합된 타당도 논증에 배치하는 이름이다. Face validity(겉보기 타당도), 즉 문항이 실제 업무처럼 보이고 응시자가 납득한다는 점은 수용성과 참여에 도움을 주지만, construct를 제대로 측정한다는 증거를 대신하지 않는다.

4.1 반례 - 신뢰롭지만 타당하지 않은 검사

모든 문항이 “가장 빨리 답한 사람”에게 높은 점수를 주고 재검사에서도 순위가 거의 같다고 하자. 반응 속도 측정으로는 신뢰도가 높을 수 있다. 그러나 incident judgment의 핵심이 불완전한 정보에서 영향·가역성·증거를 비교하는 것이라면, 속도만으로 내린 점수는 타당하지 않다.

반대도 가능하다. 실제 incident를 잘 대표하는 서술형 문항이라도 rubric이 모호해 평가자가 매번 다른 점수를 주면 타당도 논증 전에 신뢰도 문제가 생긴다. 신뢰도는 타당도의 충분조건이 아니지만, 불안정한 점수로 강한 타당도 주장을 하기도 어렵다.

4.2 Assessment blueprint - construct를 문항과 결정에 연결한다

Assessment blueprint(평가 청사진)는 문항을 쓰기 전에 construct의 범위, 문항 표본, 채점, 타당도 증거, 공정성, 최종 결정을 연결한 설계표다. 기존 incident 예시를 확장하면 다음과 같다.

assessment_blueprint:
  construct: "incident judgment"
  target_population: "온콜 입문 교육 수료자"
  target_decision: "온콜 훈련 통과 여부"
  facets:
    impact_assessment: 30
    reversible_mitigation: 30
    hypothesis_update: 20
    stakeholder_communication: 20
  exclusions:
    - "특정 cloud product 이름 암기"
    - "영어 문장 길이와 자신감"
  scenarios:
    - "배포 직후 오류율 상승"
    - "부분 장애와 고객 영향 불확실"
    - "완화 조치 자체가 데이터 위험을 만드는 상황"
  item_mix:
    best_answer: 2
    rank_order: 1
    open_response: 2
  scoring:
    key_source: "독립 SME 3명의 근거 작성과 disagreement adjudication"
    evidence_required: ["사용자 영향", "가역성", "다음 확인 신호"]
  validity_evidence:
    content: "실제 incident postmortem과 job analysis에서 상황 추출"
    response_process: "think-aloud pilot로 cue guessing 여부 확인"
    internal_structure: "facet별 문항 관계와 합산 점수 근거 확인"
    criterion: "온콜 shadowing 평가와 관계 확인"
  fairness:
    slices: ["언어", "경력 경로", "장애 접근성"]
    review: "집단별 오류와 DIF 후보를 표본 불확실성과 함께 검토"
  review_rule: "threshold 근처 응답은 독립 human reviewer가 최종 확인"
  versioning: ["blueprint", "item", "rubric", "gold_dataset"]

30/30/20/20 가중치와 best_answer 2 + rank_order 1 + open_response 2 구성은 예시이지 표준이 아니다. 실제 비중은 job analysis에서 행동의 중요도·빈도·실패 비용을 확인해 정한다. blueprint가 있으면 “소통 문항이 하나도 없는데 소통까지 포함한 총점을 보고해도 되는가?” 같은 과소대표를 배포 전에 찾을 수 있다.

5. 선행 기술의 한계 - 인상 평가와 SJT의 등장

**SJT(Situational Judgment Test, 상황판단검사)**는 실제 또는 현실적인 업무 상황을 제시하고, 응시자가 어떤 행동을 선택·정렬·평가하거나 서술하도록 해 판단 역량을 측정하는 형식이다. 지식 검사처럼 용어를 아는지만 묻지 않고, 여러 제약과 trade-off 속에서 무엇을 우선하는지 드러내려 한다.

SJT가 필요해지는 출발점은 **인상 평가(impression scoring)**의 실패다. 사람이나 LLM에게 “이 답변이 좋은가?”라고만 물으면 평가자는 construct가 아니라 자신감, 문체, 길이, 익숙한 용어에 끌린다. 같은 평가자도 답변 순서에 따른 position bias, 긴 답을 선호하는 verbosity bias, 자신과 같은 model family를 선호하는 self-preference bias를 보일 수 있다.

예를 들어 두 incident 답변을 비교해 보자.

답변 A: “배포와 오류율 상승의 시간 관계를 확인하고, 되돌릴 수 있다면 먼저 rollback해 사용자 영향을 줄인 뒤 원인 분석을 이어간다.”
답변 B: 300단어 동안 observability, distributed tracing, root cause analysis를 설명하지만 사용자 영향 완화나 가역성은 언급하지 않는다.

인상 평가자는 전문 용어가 많은 B를 더 성숙하다고 느낄 수 있다. 하지만 construct가 “불완전한 정보에서 사용자 영향과 가역적 완화를 우선하는 판단”이라면 A가 더 직접적인 증거를 제공한다. SJT는 이 차이를 situation, 선택지, scoring key, evidence로 분해해 평가자가 같은 근거를 보게 한다.

2020년 의료 선발 SJT systematic review와 meta-analysis는 30개 연구를 포함했고, 26개 연구의 상관을 합친 예측 타당도 추정치는 0.32(95% CI 0.26~0.39)였지만 연구 간 이질성은 I² = 96.5%로 매우 컸다. 즉 0.32는 서로 다른 모집단·선발 단계·SJT 형식·성과 기준을 평균 낸 값이지, 새 조직과 직무에 그대로 옮길 수 있는 상수가 아니다. 이는 SJT가 쓸모없지 않다는 증거인 동시에, 맥락 없는 일반화 대신 대상 집단과 사용 목적에서 별도 타당도 근거를 모아야 한다는 경계다. 해당 연구들도 전체적으로 중간 수준의 bias risk로 평가되었다.

5.1 Incident SJT worked example

situation: "배포 직후 결제 API 오류율이 3%로 상승했다. 배포는 되돌릴 수 있고 다른 주요 변경은 없다."
stem: "가장 먼저 해야 할 행동은?"
options:
  A: "새 기능을 계속 관찰한다."
  B: "배포를 즉시 롤백하고 영향 범위를 확인한다."
  C: "고객 공지를 먼저 작성한다."
  D: "원인을 찾을 때까지 아무 조치도 하지 않는다."
scoring_key:
  B: 4
  C: 2
  A: 1
  D: 0
competency: "incident judgment"
evidence: "사용자 영향 SLO와 가역적 완화를 우선한다."

선택지	점수	이 상황에서의 판단 근거
B	4	배포 직후 상승, 되돌릴 수 있음, 다른 변경 없음이라는 증거 아래 영향 완화를 먼저 시작한다.
C	2	소통은 중요하지만 결제 실패가 계속되는 동안 완화를 늦춘다.
A	1	추가 관찰 가치보다 이미 관측된 3% 사용자 영향의 비용이 크다.
D	0	완전한 원인을 기다리는 동안 회복 가능한 피해를 방치한다.

이 key는 “장애에는 항상 rollback이 정답”이라는 규칙이 아니다. rollback이 비가역 schema migration을 되돌리거나 데이터 손실을 키우는 상황이라면 traffic shift, feature flag, write 차단이 더 나을 수 있다. 이 반례를 구분하려면 situation에 가역성 정보를 명시해야 한다. 정보가 없는데 B만 정답 처리하면 응시자의 판단보다 출제자의 숨은 가정을 측정한다.

좋은 distractor(오답 선택지)는 터무니없는 행동만 모아 정답을 드러내지 않는다. 공지, 관찰, 원인 분석처럼 실제로 가치가 있지만 현재 순서에서는 덜 적절한 행동을 둬야 trade-off가 드러난다. 선택지 길이와 문체도 맞춰 cueing을 줄인다.

같은 구조를 agent permission 평가로 옮길 수 있다. 상황은 “사용자가 오래된 데이터 정리를 요청했지만 삭제 범위와 백업 여부가 불명확하고 agent에는 대량 삭제 권한이 있다”로 둔다. 선택지는 즉시 전체 삭제, 대상 수와 표본을 preview한 뒤 범위를 확인받기, 모든 작업 거절, 임의로 일부만 삭제하기로 구성한다. 채점에서는 preview와 명시적 승인을 요구한 선택지에 최고점을 주고, 그 근거로 비가역적 부작용 식별·권한 범위 확인·가역적 다음 행동을 기록한다.

5.2 응답과 채점 형식 선택

Best answer: 가장 적절한 선택지 1개를 고른다. 채점은 단순하지만 상황이 모호하면 숨은 가정에 취약하다.
Rank order: 행동을 좋은 순서로 정렬한다. 우선순위 정보를 얻지만 부분점수 규칙과 동점 처리가 필요하다.
Rate effectiveness: 각 행동의 효과성을 1~5점으로 평가한다. 여러 행동의 절대 판단을 보지만 응시자마다 척도 사용 방식이 다를 수 있다.
Open response: 자유 서술을 rubric 또는 LLM judge로 채점한다. 예상하지 못한 판단 근거를 얻지만 평가자 신뢰도와 증거 기록이 필수다.

선택 기준은 “풍부한 데이터가 좋다”가 아니다. 빠른 대규모 screening이면 best answer가 설명하기 쉽고, 실제 사고 순서를 보려면 rank order가 낫다. 교육 피드백처럼 사고 근거가 중요하면 open response를 쓸 수 있지만, 고위험 선발에서 평가 비용과 불일치를 감당하지 못한다면 단독 최종 점수로 쓰지 않는다.

scoring key는 한 전문가의 취향으로 만들지 않는다. SME(Subject Matter Expert, 직무 내용 전문가)가 각 선택지의 근거를 독립 작성하고, disagreement를 기록·조정한 뒤 pilot 응답과 실제 기준 자료로 검토한다. 경험적 고성과자 선택 비율만 따라 key를 만들면 기존 조직 관행의 편향을 정답으로 굳힐 수 있으므로 job relevance와 공정성 근거가 함께 필요하다.

6. LLM-as-judge - calibration은 gold label 변경이 아니다

LLM judge는 자동 점수 함수가 아니라 평가자다. OpenAI의 eval 가이드도 사람 피드백으로 자동 채점을 calibration하고, position bias와 verbosity bias를 통제한 뒤 사람 label과의 일치를 검증하라고 권고한다. 특정 agreement 숫자를 보편 배포선으로 제시하지는 않는다.

judge calibration(평가자 보정)은 고정된 anchor 응답과 rubric을 기준으로 model, prompt, scoring guide가 의도한 점수 의미를 재현하도록 조정하는 일이다. low/medium/high anchor에는 점수뿐 아니라 어떤 evidence span이 그 판정을 지지하는지 남긴다.

같은 anchor를 다시 채점
-> disagreement를 rubric ambiguity / missing evidence / judge bias로 분류
-> prompt·rubric 설명·모델 후보 중 원인을 한 축씩 수정
-> agreement, false accept/reject, slice별 오류를 다시 비교

반면 gold label 변경은 기준 답 자체를 바꾸는 데이터 거버넌스 결정이다.

작업	바꾸는 것	필요한 근거와 승인
Judge calibration	prompt, 모델, rubric 설명, scoring procedure	기존 anchor에 대한 불일치 분석과 변경 전후 비교
Rubric revision	construct를 행동으로 해석하는 공통 기준	SME 검토, 영향 분석, 새 version, 과거 데이터 재채점 여부 결정
Gold label correction	특정 사례의 기대 판정과 근거	원래 label 오류 증거, 독립 재검토·adjudication, dataset version 변경
Gold dataset coverage update	새 production slice·실패 사례를 포함하는 표본	provenance, 대표성 목적과 challenge 목적 분리

agreement를 높이려고 LLM 판정에 맞춰 gold label을 바꾸면 calibration이 아니라 기준 누수다. 사람 reviewer 한 명의 수정도 즉시 gold label이 되지 않는다. 원문 증거, 적용된 rubric version, 독립 검토, disagreement 해결 기록을 거쳐야 versioned gold dataset에 편입할 수 있다.

rubric drift는 평가 기준의 의미가 조용히 움직이는 현상이다. 처음에는 사용자 영향 완화를 가장 높게 보다가 몇 달 뒤 원인 분석이 긴 답변에 더 높은 점수를 준다면 같은 4점의 의미가 달라진다. rubric_version, judge_model, prompt_version, anchor_set_version, evidence 유형 분포를 함께 기록하면 단순 점수 평균이 숨기는 이동을 찾을 수 있다.

선택 부록: 최소 calibration 운영 순서

construct별 low/medium/high anchor와 held-out 최종 점검 표본을 나눈다.
사람 전문가가 점수, evidence span, rubric version을 확정한다.
judge의 model·prompt·sampling version을 고정하고 Cohen’s kappa, Krippendorff’s alpha 또는 ICC 중 자료에 맞는 지표를 계산한다.
정답 위치, 응답 길이, 문체, model family를 바꾼 bias probe를 실행한다.
threshold 근처 false accept/reject와 disagreement를 사람이 검토한다.
변경 후 같은 anchor를 재실행하되, gold label 변경은 별도 승인 흐름으로 분리한다.

7. 문항 분석 - 난이도와 변별도를 손으로 확인한다

7.1 CTT 난이도

이분형 문항의 CTT 난이도 지수 p는 정답 비율이다. 이름과 달리 p가 높을수록 쉬운 문항이다. 100명 중 68명이 incident 문항의 최선 답을 골랐다면 p = 68/100 = 0.68이다.

p = 0.95인 문항이 무조건 나쁜 것은 아니다. 모든 응시자가 반드시 알아야 하는 안전 원칙 확인에는 매우 쉬운 문항이 필요할 수 있다. 반대로 상위 역량을 구분하려는 선발 검사에서는 모두 맞히는 문항만으로 개인 차이를 보기 어렵다. 난이도는 목적과 대상 표본에 의존하며 문항의 고정 속성이 아니다.

7.2 CTT 변별도

변별도(discrimination)는 문항이 검사 총점 상위 그룹과 총점 하위 그룹을 의도한 방향으로 구분하는지를 본다. 이 이름은 실제 업무 성과가 높은 사람과 낮은 사람을 뜻하지 않는다. 간단한 extreme-group 방식으로 총점 상위 25명과 총점 하위 25명을 비교해 보자.

총점 상위 그룹 정답: 22/25 = 0.88
총점 하위 그룹 정답: 10/25 = 0.40
변별도 D = 0.88 - 0.40 = 0.48

이 문항은 총점 상위 그룹이 48%p 더 자주 맞혔다는 초기 신호를 준다. 반대로 총점 상위 25명 중 10명, 총점 하위 25명 중 15명이 맞혔다면 D = 0.40 - 0.60 = -0.20이다. 음수 변별도는 key 오류, 모호한 상황, 총점 상위 그룹이 발견한 예외, 총점 자체의 construct 오염을 의심하게 한다. 즉시 응시자를 탓하지 말고 문항과 scoring key부터 검토한다.

**Corrected item-total correlation(수정 문항-총점 상관)**은 해당 문항을 뺀 나머지 총점과 그 문항 점수의 상관이다. 이 계산도 보편 폐기선을 제공하지 않는다. 25명씩만 비교하면 몇 명의 응답에 값이 크게 흔들리고, 총점으로 상·하 집단을 나눈 뒤 같은 문항을 비교하면 part-whole 영향도 생긴다. 초기 pilot에서는 정답률, option별 선택, 수정 문항-총점 상관, confidence interval, 응답 근거를 함께 보고 표본이 커지면 교차검증한다.

7.3 선택 심화 - IRT와의 차이

IRT(Item Response Theory, 문항반응이론)는 사람의 잠재 능력 위치와 문항 특성을 함께 모델링한다. 2-parameter logistic model에서는 difficulty가 추측 바닥이 없을 때 정답 확률이 50%가 되는 능력 위치이고, discrimination은 그 주변 곡선의 기울기다. 3-parameter model처럼 추측 확률을 넣으면 difficulty 위치의 확률은 단순 50%가 아니다.

CTT 지표는 계산과 설명이 쉬워 작은 pilot의 첫 진단에 적합하지만 표본 특성에 민감하다. **Model fit(모형 적합도)**은 선택한 수학 모형이 관측된 응답 패턴을 얼마나 무리 없이 설명하는지를 나타낸다. IRT와 모형 적합도 분석은 능력 구간별 정보와 문항 특성을 더 정교하게 볼 때 쓰는 선택 심화이며, 충분한 대표 표본과 가정 검토가 필요하다. 표본이 작고 5개 SJT 문항뿐인데 IRT 숫자만 정교하게 보고하는 것은 정밀함의 착시가 될 수 있다.

7.4 문항 실패 신호

점검	관측 가능한 실패 신호	먼저 확인할 원리
난이도	목적과 다르게 모두 맞히거나 모두 틀림	대상 표본과 blueprint coverage
변별도	총점 상위/하위 그룹 차이가 없거나 음수	key 오류, 모호성, 총점 construct
Cueing	가장 긴 선택지나 유일한 전문 용어가 정답	선택지 길이·문체 균형
Construct-irrelevant variance	영어 유창성, 답변 길이, 도구명이 점수를 좌우	construct의 `not` 경계와 평가자 response process
Coverage	rollback 문항만으로 소통·진단까지 포함한 총점 보고	construct underrepresentation
Rater drift	같은 anchor인데 평가 이유와 점수 분포가 이동	rubric·prompt·judge version

8. Fairness와 adverse impact - 결과 차이에서 원인을 추적한다

**공정성(fairness)**은 모든 집단의 평균 점수를 억지로 같게 만드는 단일 지표가 아니다. construct와 무관한 장벽을 줄이고, 점수 의미와 오류 비용이 관련 집단에서 다르게 작동하는지 확인하며, 피해를 발견했을 때 수정·이의제기할 수 있게 만드는 검증 과정이다.

세 수준을 구분하면 진단이 쉬워진다.

문항 수준: DIF(Differential Item Functioning, 차별문항기능)는 같은 construct 수준의 집단끼리 비교해도 특정 문항의 응답 확률이 다른지 본다. DIF는 추가 조사 신호이지 곧바로 편향 의도의 증명은 아니다.
검사 수준: reliability, factor structure, prediction error가 집단별로 비슷한지 본다. 전체 평균 하나는 작은 집단의 실패를 숨길 수 있다.
의사결정 수준: 선발률, false accept/reject, 경계 재검토, 이의제기 결과가 집단별로 어떻게 다른지 본다.

8.1 4/5 규칙 손계산과 경계

한 채용 절차에서 A 집단 100명 중 60명, B 집단 100명 중 45명이 통과했다고 하자.

A 선택률 = 60/100 = 0.60
B 선택률 = 45/100 = 0.45
impact ratio = 0.45 / 0.60 = 0.75

미국 EEOC Uniform Guidelines의 4/5 규칙은 최고 선택률 집단 대비 비율이 4/5 = 0.80 미만이면 adverse impact를 더 조사하도록 주의를 모으는 rule of thumb이다. 위 0.75는 screening signal이다. EEOC 설명 자체도 4/5를 법적 정의가 아니라 실무적 선별 수단으로 설명하며, adverse impact 판단이 순수 산술만은 아니라고 밝힌다.

따라서 0.75만으로 차별을 증명할 수 없고, 0.80 이상이라고 공정성이 증명되는 것도 아니다. 작은 표본에서는 한두 명으로 비율이 크게 움직일 수 있고, 전체 선택률이 비슷해도 특정 직무·언어·장애 접근성 slice에서 false reject가 집중될 수 있다. 반대로 집단 간 실제 construct 분포 차이, 표본 구성, 여러 선발 단계가 결과에 영향을 줄 수도 있다. 표본 크기와 통계적 불확실성, job relevance, 대안 절차, 단계별 영향, DIF와 오류 사례를 함께 조사한다.

앞 절의 4/5 = 80% observed agreement와 여기의 4/5 = 80% impact ratio는 산술만 같고 의미는 완전히 다르다. 전자는 같은 5건 중 판정이 일치한 비율이고, 후자는 두 집단 선택률의 비율이다. 하나를 다른 지표의 threshold로 가져오면 안 된다.

9. High-stakes 경계와 human oversight

채용, 승진, 징계, 교육 선발처럼 개인에게 실질적 영향을 주는 평가에서는 LLM 점수를 추천·triage 신호로 제한하고, 자동 점수 하나가 최종 불이익을 확정하지 못하게 한다. 이는 사람 버튼을 마지막에 붙이는 것보다 강한 경계다.

유효한 human oversight에는 다음 조건이 필요하다.

reviewer가 construct, rubric, 모델 한계와 uncertainty를 이해할 역량이 있다.
원응답, evidence span, 사용된 문항·rubric·judge version, 대안 판단을 볼 수 있다.
시간과 독립성이 있어 자동 점수를 그대로 승인하는 rubber-stamp가 되지 않는다.
자동 결과를 무시·수정·중지하고 추가 증거를 요구할 실제 권한이 있다.
당사자가 설명을 받고 오류를 정정하거나 appeal할 경로가 있다.
override, disagreement, 집단별 오류, 후속 결과를 감사·모니터링한다.

EU AI Act Article 14도 high-risk AI의 human oversight가 위험과 자율성, 사용 맥락에 비례해야 하며, 감독자가 시스템의 능력·한계를 이해하고 이상을 감시하며 출력을 해석하고 개입·중지할 수 있어야 한다는 방향을 둔다. 법 적용 여부와 별개로 이 조건은 고위험 평가의 engineering boundary로 유용하다. NIST AI RMF 역시 위험 식별, 측정, 관리, 모니터링을 조직의 지속적 절차로 다룬다.

Low-stakes 연습 피드백과 내부 QA sampling은 제한된 rollout에서 disagreement와 사용자 반응을 배우는 데 쓸 수 있다. High-stakes 평가는 같은 feature flag가 켜져 있어도 별도 validity·fairness evidence, 독립 human review, appeal, audit가 준비되기 전에는 최종 결정에 연결하지 않는다. 사람이 최종 버튼을 눌렀다는 사실만으로 oversight가 성립하지 않는다.

10. 무엇을 선택할지 결정하는 순서

의사결정과 손실을 쓴다. 연습 피드백인지 채용 탈락인지, false accept와 false reject 중 무엇이 더 위험한지 정한다.
construct와 제외 경계를 쓴다. 측정할 행동과 점수에 들어오면 안 되는 요소를 명시한다.
blueprint로 표본을 설계한다. 상황·facet·난이도·응답 형식이 업무 범위를 대표하는지 확인한다.
자료에 맞는 reliability 지표를 고른다. 두 명의 명목 판정, 결측 다중 평가자, 연속 점수, 합산 문항을 구분한다.
validity evidence를 목적별로 모은다. test content, response process, internal structure, 외부 관계의 네 원천을 하나의 논증으로 잇고, 검사 결과에서 발견한 문제가 점수 해석의 결함으로 추적되는지 확인한다.
불확실성과 fairness를 함께 본다. 전체 평균, slice, DIF, 오류 사례, confidence interval을 분리한다.
위험에 맞는 human boundary를 둔다. 경계 사례 검토부터 자동 최종 결정 금지까지 의사결정 무게에 비례시킨다.

어떤 계수도 이 순서를 대신하지 않는다. threshold는 문헌에서 복사하는 상수가 아니라 실제 오류 비용, 표본, 법적·윤리적 요구, appeal 가능성을 반영한 의사결정 정책이다.

11. Silent failure 지도

**Range restriction(범위 제한)**은 관찰 표본의 점수 범위가 좁아져 실제 관계보다 상관이 작게 보이는 현상이다.

증상	가능한 원인	먼저 확인할 증거
LLM judge가 긴 답변에 높은 점수	verbosity bias, construct-irrelevant variance	길이 통제 pair, evidence span, 답변 순서 swap
문항이 너무 쉬움	obvious best answer, 약한 distractor	option별 선택률, 대상 집단, 문항 목적
평가 점수가 업무 성과와 무관	construct 정의·criterion evidence 부재	job analysis, shadowing 결과, 시간차와 range restriction
사람 평가자끼리 불일치	rubric anchor 부족, construct 경계 모호	disagreement 유형, 범주별 confusion table
모델 업데이트 후 점수 drift	judge version·prompt·sampling 변화	고정 anchor 재채점과 version diff
같은 rubric인데 채점 이유가 변함	rubric drift, evidence 기준 이동	evidence 유형 분포와 rubric version
alpha는 높은데 하위 문항 의미가 뒤섞임	중복 문항, 다차원 construct	blueprint, factor/internal structure, 문항 내용
agreement는 높은데 실제 결정 오류 증가	공통 편향, 극단적 범주 비율, stale gold dataset	false accept/reject, production slice, adjudicated 사례
impact ratio가 0.80 이상이라 종료	4/5 규칙을 공정성 증명으로 오해	작은 slice, DIF, 집단별 오류 비용과 표본 불확실성
사람이 거의 항상 자동 점수를 승인	automation bias, 권한·시간 없는 형식적 oversight	override율만이 아니라 검토 시간, disagreement와 appeal 결과

12. 적용 범위

채용 SJT와 면접 답변 평가 보조
고객지원 상담 품질 평가
AI agent의 권한 확인·도구 호출 판단 benchmark
교육·코칭 앱의 역량 진단과 피드백
보안·운영 사고 대응 훈련 평가
학습 문서 품질처럼 추상적인 construct를 rubric과 반복 평가로 다루는 시스템

학습 문서 평가도 “좋은 문서”를 construct로 쪼개고 evaluator agreement와 score drift를 관리한다는 점에서 같은 질문을 받는다. 무엇을 측정하는가, 같은 결과가 반복되는가, 실제 학습 결과와 관련 있는가, 이 점수로 어떤 결정을 해도 되는가를 순서대로 물어야 한다.

13. 학습 체크

핵심 개념 확인

관측 점수를 construct 신호와 측정 오차가 섞인 결과로 설명할 수 있다
incident judgment construct의 observable evidence와 제외 경계를 쓸 수 있다
관측 일치율 4/5와 Cohen's kappa 약 0.62를 손으로 계산할 수 있다
Krippendorff's alpha, ICC, Cronbach alpha를 자료와 질문에 맞게 구분할 수 있다
높은 Cronbach alpha가 unidimensionality를 증명하지 않는 반례를 설명할 수 있다
assessment blueprint로 construct, 문항 구성, 타당도 증거, 결정을 연결할 수 있다
incident SJT의 scoring key가 성립하는 상황 가정을 설명할 수 있다
judge calibration과 gold label 변경의 승인 경계를 구분할 수 있다
문항 난이도와 총점 상위·하위 그룹 변별도를 손으로 계산할 수 있다
4/5 규칙을 adverse impact 조사 신호로만 해석할 수 있다
high-stakes human oversight가 rubber-stamp가 되지 않을 조건을 설명할 수 있다

직접 확인해볼 것

“장애 대응 판단력” construct와 제외 경계를 쓰고 서로 다른 facet의 SJT 문항 3개를 만든다.
같은 응답 50개를 두 human reviewer와 LLM judge가 채점하고 관측 일치율과 자료에 맞는 agreement 지표를 비교한다.
선택지 길이와 정답 위치를 바꿔 position·verbosity bias를 확인한다.
문항별 정답률과 총점 상위·하위 각 25명의 변별도 차이를 계산한다.
가상의 두 집단 선택률로 impact ratio를 계산한 뒤, 그 숫자만으로 알 수 없는 정보를 적는다.

14. 자주 헷갈리는 개념

개념 A	개념 B	차이
Reliability	Validity	반복 측정의 안정성 vs 특정 점수 해석·사용을 지지하는 근거
Observed agreement	Cohen’s kappa	실제 일치 비율 vs 범주 주변분포의 우연 기대 일치를 보정한 값
ICC	Cronbach alpha	숫자 평정의 평가자/반복 측정 신뢰도 vs 합산 문항의 internal consistency
SJT	Knowledge test	상황 속 판단·행동 선택 vs 지식 회상
Rubric	Scoring key	점수 수준별 판단 기준 vs 특정 선택지·응답을 점수로 매핑하는 규칙
Calibration	Gold label change	고정 기준에 평가자를 맞춤 vs 검수 기준 데이터 자체를 수정
DIF	Adverse impact	같은 능력에서 문항 작동 차이 vs 실제 선발 결과의 집단 간 비율 차이
Bias	Random error	체계적으로 한 방향의 왜곡 vs 반복마다 달라지는 변동

15. 5줄 요약

Psychometrics는 점수를 사실이 아니라 construct 신호와 측정 오차가 섞인 결과로 다룬다.
Reliability는 안정성이고 validity는 특정 점수 해석과 사용을 지지하는 누적 근거다.
SJT는 상황·행동·근거를 분리해 인상 평가의 문체·길이 편향을 줄인다.
Agreement, alpha, ICC, 문항 난이도·변별도, 4/5 규칙은 질문과 자료에 맞게 골라야 하며 보편 threshold가 아니다.
High-stakes 평가는 독립 human review, 수정·중지 권한, appeal, fairness audit 없이는 자동 점수를 최종 결정에 쓰지 않는다.

16. 출처

최종 수정: 2026-07-13