항공 정비 영어 ASD-STE100으로 연구 글을 설명하게 하면 자세한 내용도 남을까
AI 연구자 Karpathy가 권한 영어 규격 ASD-STE100은 항공 정비 문서용입니다. 이 규격을 포함한 지시 여섯 가지로 앤트로픽 연구 글 4편을 Claude에게 설명하게 했더니, 문장은 짧아졌지만 수치·예시·배경 같은 자세한 내용은 문체 지시 없는 영어 설명과 비슷했습니다. 한국어로 문체 원칙 다섯 가지를 함께 요청하면 가장 많이 남았습니다.
AI에게 연구 글을 설명하게 하면서 으로 쓰라고 시키면 문장은 짧아지지만, 수치·예시·배경 같은 자세한 내용이 문체 지시 없이 시켰을 때보다 더 남지는 않았습니다. 한국어로 문체 원칙 다섯 가지(한 문장에 사실 하나만 쓰기 등)를 함께 요청했을 때 자세한 내용이 가장 많이 남았습니다. 연구 글 네 편을 에게 여섯 가지 지시로 설명하게 해 비교한 결과입니다.
ASD-STE100은 항공 정비 문서를 쓰려고 만든 controlled language(통제 언어) 규격입니다. 통제 언어는 쓸 수 있는 단어와 문법을 정해 둔 언어입니다. AI 연구자 Karpathy는 10월 2일 X 게시물에서 AI 답을 이해하기 쉽게 받는 방법 중 첫째로 이 규격을 꼽았습니다. 규격이 엄격해서 80% 정도만 따르라고 요청하기도 한다고 적었지만, 효과를 측정한 수치는 없었습니다.
AIGeek은 10월 3일 Karpathy의 권유를 소개한 기사에서 문장이 짧아지면 자세한 내용이 빠지지 않는지를 질문으로 남겼습니다. 개발자 Lucian Ghinda는 8월 14일 블로그에서 코드 설명으로 비슷한 시험을 했고, ASD-STE100으로 설명하게 한 Claude의 답에서 지시 없이 받은 사실 47개 중 22개가 빠졌다고 적었습니다. 본인이 채점한 소규모 기록입니다. 이번에는 같은 질문을 연구 글 설명으로 측정했습니다.
시험에 쓴 글과 지시
이 운영하는 연구 사이트에서 글 네 편을 골랐고, 영어 원문 600~730단어쯤을 잘라 그대로 넣었습니다.
- 비 학습 데이터 글: Alignment Science Blog의 "Automated Subtle Emergent Misalignment Research". 에게 학습 데이터를 쓰게 했더니 그 데이터가 안전 감시를 통과하면서 연구용 모델을 비정렬로 바꿨다는 연구입니다. 비정렬은 AI가 사람이 정한 목표와 어긋나게 행동하는 상태이고, 앞서 기사로 다뤘습니다.
- 자기 평가 글: Safeguards 블로그의 "Scaling Misuse Detection with Self-Assessment". Claude가 대화마다 스스로 안전 평가를 내는 기법(뉴스로도 다룬 글).
- 글: Alignment Science Blog의 "Reducing Reward Hacking by Localizing Bad Behavior Instead of Penalizing It". reward hacking(보상 해킹)은 과제를 풀지 않고 점수만 높이는 행동이고, 이 글은 그 행동을 막는 방법을 다룹니다.
- 내부 표현 글: Circuits Thread의 "Verbalizable Representations Form a Global Workspace in Language Models". 말로 옮길 수 있는 내부 표현이 언어 모델 안에 따로 있다는 해석가능성(모델 내부를 들여다보는 연구) 논문으로, 사람 머릿속에서 의식에 올라온 일부 정보만 말과 판단에 쓰이는 현상에 빗대어 설명합니다.
논문은 내부 표현 글뿐이고 나머지 셋은 연구 블로그 글입니다. 지시는 아래 여섯 가지이고, 글 앞에 지시문 한 줄만 붙였습니다.
이름 | 실제 지시 |
|---|---|
영어(지시 없음) | "Explain the following passage to me." |
쉬운 영어 | "Explain the following passage to me in simple, easy-to-read English." |
"Explain the following passage to me in ASD-STE100." | |
ASD-STE100 80% | "Explain the following passage to me, 80% of the way to ASD-STE100." |
한국어(지시 없음) | "다음 글을 한국어로 설명해 줘." |
한국어+원칙 | "다음 글을 한국어로 설명해 줘. 쓰는 방식: 한 문장에 사실 하나만 쓴다. 문장은 짧게 쓴다. 누가 무엇을 하는지 분명한 능동문으로 쓴다. 같은 대상은 늘 같은 단어로 부른다. 한 문단에는 주제 하나만 둔다." |
영어(지시 없음)와 한국어(지시 없음)는 설명하라는 말만 하고 문체 지시를 붙이지 않은 경우입니다. 한국어+원칙은 언어도 함께 바뀌므로, 한국어로 설명만 시킨 한국어(지시 없음)를 따로 두었습니다. 글마다 지시마다 3번씩 모두 72번 실행했고, 모델은 Claude Sonnet 5.5이며 도구·지시 파일·메모리는 껐습니다.
채점은 글마다 정해 둔 내용이 설명에 남았는지 보는 방식입니다. 글의 큰 줄기인 핵심 내용 6가지를 Claude의 설명을 받기 전에 정해 두었고, 어떤 지시로 받은 설명인지 표시를 지우고 순서를 섞어 Claude 기반 가 채점했습니다. 핵심 내용은 거의 모든 설명에 남아 차이가 없었습니다. 그래서 같은 설명을 수치·예시·배경 설명인 자세한 내용 6가지씩으로 다시 채점했습니다.
문장은 짧아졌고 핵심 내용은 남았다
으로 쓰라고 시키면 문장은 얼마나 짧아지고 핵심 내용은 남을까요? 영어 설명은 단어, 한국어 설명은 어절(띄어쓰기 단위)로 셌고 값은 지시마다 12건의 평균입니다.
지시 | 문장당 길이 | 설명 전체 길이 | 원문의 핵심 내용 중 설명에 남은 비율 |
|---|---|---|---|
영어(지시 없음) | 14.4단어 | 467단어 | 100% |
쉬운 영어 | 12.6단어 | 448단어 | 99% |
ASD-STE100 | 8.9단어 | 501단어 | 99% |
ASD-STE100 80% | 9.2단어 | 500단어 | 100% |
한국어(지시 없음) | 약 12어절 | 326어절 | 100% |
한국어+원칙 | 7.1어절 | 381어절 | 100% |
ASD-STE100으로 쓰라고 시키니 가 문장을 짧게 썼고, ASD-STE100이 서술 문장에 두는 길이 제한인 25단어(Rule 6.3)를 넘는 문장이 거의 없어졌습니다. 영어(지시 없음) 설명에서는 이런 문장이 8.9%였고, ASD-STE100 설명에서는 0.2%였습니다. ASD-STE100의 80%만 따르라고 요청해도 문장 길이는 비슷했습니다.
문장이 짧아져도 설명 전체는 줄지 않고 문장 수만 늘었습니다. 영어(지시 없음) 설명은 평균 33문장, ASD-STE100 설명은 56문장이었습니다.
자세한 내용은 지시에 따라 달랐다
수치·예시·배경 설명 같은 자세한 내용은 지시마다 얼마나 남았을까요?
으로 쓰라고 시킨 설명은 영어(지시 없음)와 자세한 내용이 남은 정도가 같은 범위였습니다. 평균 차이 2.1%포인트는 같은 시험을 다시 해도 나올 수 있는 오차 범위 안에 있었고, 글에 따라 방향도 달랐습니다.
비교 | 남은 비율의 평균 차이(%포인트) | 글별 차이(비 학습 데이터·자기 평가··내부 표현 글 순) |
|---|---|---|
ASD-STE100 − 영어(지시 없음) | −2.1 | −17, +3, −6, +11 |
ASD-STE100 80% − 영어(지시 없음) | +3.5 | −3, +6, +3, +8 |
한국어+원칙 − 영어(지시 없음) | +13.9 | +31, +6, +11, +8 |
한국어+원칙 − 한국어(지시 없음) | +8.3 | +36, 0, +6, −8 |
ASD-STE100의 80%만 따르라고 요청한 경우도 글마다 방향이 달라 차이로 보기 어렵습니다. 한국어로 문체 원칙까지 요청했을 때는 자세한 내용이 가장 많이 남았고, 영어(지시 없음)보다 네 글 모두에서 앞섰습니다. 한국어(지시 없음)와의 차이는 대부분 비정렬 학습 데이터 글에서 나왔고 내부 표현 글에서는 오히려 뒤졌습니다. 지시문에 원칙이 다섯 가지 들어 있어서 어느 원칙 때문인지는 가를 수 없습니다.
빠진 내용은 대체로 배경 설명 속에 있었습니다. 비정렬 학습 데이터 글의 배경에는 이전 안전 연구 두 가지가 나옵니다. 하나는 비정렬 모델을 일부러 학습시킨 연구이고, 다른 하나는 사람이 직접 하는 레드팀 시험입니다. 이 둘은 한국어로 문체 원칙까지 요청했을 때만 세 번 모두 남았습니다.
원문에 없는 설명이 덧붙거나 원문이 밝힌 추정의 기준이 빠진 설명도 있었습니다. 자기 평가 글의 저자들은 안전 평가 때문에 가 답을 만들 때 쓰는 연산이 2% 미만 늘어난다고 추정했고, 이 추정이 실제 요청을 기준으로 한 것이라고 밝혔습니다. 첫 번째 실행에서 ASD-STE100으로 받은 설명은 이 기준을 빼고, 가 모델이 대화 데이터를 보관하는 메모리라는 풀이 한 문장을 원문에 없이 붙였습니다. 한국어로 문체 원칙까지 요청한 설명에는 기준이 남았습니다.
채점에서 원문에 없는 설명을 덧붙였다고 지적된 설명은 영어 지시 48건 중 11건이었고 한국어 지시 24건에는 없었습니다. 내부 표현 글의 저자들은 이렇게 적었습니다. 사람이 정보를 의식하고 있는지 확인할 때 말로 하는 보고가 주된 실험 지표로 자주 쓰였다는 내용입니다. 한 설명은 이 문장에서 "자주"를 빼고, 말로 하는 보고가 의식의 주된 지표라고 단정했습니다.
네 글에서 한 대목씩 골라 원문과 ASD-STE100으로 받은 설명을 견줘 봅니다. 대목은 AIGeek이 골랐고 설명은 첫 번째 실행의 것이며, 설명 전체는 싣지 않았습니다. 영어 지시의 결과라 설명은 영어입니다.
글 | 원문 | ASD-STE100으로 받은 설명 |
|---|---|---|
비정렬 학습 데이터 글 | Our prior work here includes training model organisms of misalignment (Hubinger et al. 2023) and manually red-teaming our alignment techniques and evaluations. | Red-teaming means that people try to break a safety system on purpose. They do this to find weak points and then fix them. |
자기 평가 글 | Each assessment therefore only requires processing a short instruction and generating ~10 additional tokens on average. Over our production API traffic distribution, we estimate that self-assessment adds less than 2% to our inference compute. | The model only reads a short instruction. It then writes about 10 tokens on average. estimates that this adds less than 2% to inference compute. |
보상 해킹 글 | … research suggests that reward hacking could generalize to dangerous misbehaviors, including violating restrictions on aiding various harmful activities, autonomously conducting cyberattacks, deception, and research sabotage. | Research shows that reward hacking can lead to dangerous behavior, for example deception or cyberattacks. |
내부 표현 글 | This information is typically reportable, in the sense that it can be put into words on request; indeed, verbal report has often served as a primary empirical signature of conscious access. | Reportable. A person can put it into words when asked. Verbal report is often the main sign of conscious access. |
비정렬 학습 데이터 글에서는 원문이 든 이전 연구 두 가지가 설명에 나오지 않고, 레드팀이 무엇인지 풀이한 문장만 있습니다. 자기 평가 글에서는 연산이 2% 미만 늘어난다는 추정의 기준인 실제 API 요청이 빠졌습니다. 보상 해킹 글에서는 원문의 "시사한다(suggests)"가 "보여 준다(shows)"로 바뀌었고 예시 네 개 중 둘만 남았습니다. 내부 표현 글에서는 문장이 짧아졌지만 "자주(often)"와 "주된(main)"은 남았습니다.
이 값은 글 4편을 지시마다 3번, 모델 하나로 실행해 얻었습니다. 자세한 내용 6가지는 핵심 내용의 채점 결과를 본 뒤에 정했고, 자세한 내용의 채점은 글마다 한 개가 했습니다. 지시 표시는 지웠지만 설명 본문이 규격 이름을 직접 밝힌 8건은 채점자가 지시를 짐작할 수 있었습니다. 영어 지시와 한국어 지시는 설명 언어도 달라서 문체 원칙의 영향과 언어의 영향을 나누지 못했습니다. 사람 독자의 이해는 측정하지 않았습니다.
Claude에게 연구 글 설명을 시킨 뒤에는 다음 세 가지를 원문과 맞춰 보십시오.
- 배경 문장의 자세한 내용: 앞선 연구 사례나 근거 같은 배경 문장이 설명에 남았는지
- 원문에 없는 설명: 원문에 없는 이유나 용어 풀이가 덧붙지 않았는지
- 기준과 단서: 실제 API 요청 기준이나 "자주" 같은 기준과 단서가 빠지거나 단정으로 바뀌지 않았는지
규격을 관리하는 단체의 최근 소식
규격을 관리하는 쪽에서도 AI와 관련된 소식이 있었습니다. ASD는 유럽 항공·보안·방위 산업 협회입니다. 은 ASD가 소유하고, 협회 안의 STE 관리 그룹인 STEMG가 유지합니다.
ASD 본부가 올린 소식에 따르면 현행판 Issue 9는 내려받은 횟수가 Issue 8의 전체 횟수를 이미 넘었습니다. STEMG는 이 증가의 상당 부분을 AI에 대한 관심과 컴퓨터과학·IT·학계 독자의 유입 탓으로 봅니다.
10월 26일에는 Issue 9가 연구 자료 저장소 Zenodo에도 올라가 인용하기 쉬워졌습니다. 같은 파일을 등록한 것이어서 새 판은 아니고 기술 내용도 그대로입니다. 라이선스는 영리 목적 사용과 내용 변경을 금지하는 CC BY-NC-ND 4.0입니다.
STEMG는 다운로드 페이지에 이용 안내도 붙였습니다. AIGeek이 10월 3일에 받아 둔 같은 페이지에는 없던 글이어서 그 이후에 붙은 것으로 보입니다. 안내에 따르면 STEMG와 ASD는 규격 내용을 쓰겠다는 개인·기업·단체의 요청에 개별 허가를 내주지 않습니다. 규격을 바탕으로 한 제3자 도구는 AI 기반을 포함해 보증하지 않는다고도 적었습니다. ASD가 AI 도구를 보증하지 않으므로, 이번 시험에서 받은 ASD-STE100 설명은 규격 준수를 ASD가 확인한 적 없는 글입니다.
참고한 자료 10
- Andrej Karpathy(@karpathy) X 게시물, LLM 출력 이해법 (2026년 10월 2일)
- Anthropic Alignment Science Blog — Automated Subtle Emergent Misalignment Research (2026년 10월)
- Anthropic Safeguards 블로그 — Scaling Misuse Detection with Self-Assessment (2026년 10월 16일)
- Anthropic Alignment Science Blog — Reducing Reward Hacking by Localizing Bad Behavior Instead of Penalizing It (2026년 10월 19일)
- Transformer Circuits Thread — Verbalizable Representations Form a Global Workspace in Language Models (2026년 7월)
- ASD-STE100 다운로드 페이지(이용 안내 포함)
- ASD-STE100, "About STE"(FAIR 절 포함)
- Zenodo — ASD-STE100 Simplified Technical English - Issue 9 (DOI 10.5281/zenodo.23666006, 2026년 10월 26일 등록)
- ASD — 새 백서 "ASD-STE100 and Artificial Intelligence" 소식
- Lucian Ghinda — Explain to me in Simple Technical English (2026년 8월 14일)
