AI 글은 왜 안 읽힐까, 언어학자들이 14개 모델로 측정해 봤다
뉴욕대·텍사스대 언어학자들이 AI 모델 14종의 답을 분석했습니다. 읽는 사람에게 부담과 관련 있다고 알려진 문장 습관 여섯 가지가 얼마나 나오는지 측정했고, 최신 모델 9종은 모두 사물이 주어인 문장과 드문 단어 조합을 사람 글보다 자주 썼습니다. 저자들은 정답만 채점하는 학습을 원인으로 추측하고, 작은 모델로 그 가능성을 보인 실험도 발표했습니다.
AI 답이 문법은 멀쩡한데 한 번에 읽히지 않을 때가 있습니다. 단어는 다 아는데 두세 번 읽어야 뜻이 들어옵니다. AI 연구자 Karpathy도 10월 초 AI 답을 이해하기 쉽게 받는 법을 소개했습니다. 이 느낌이 기분 탓인지 언어학자들이 측정했습니다.
뉴욕대의 Thomas Hikaru Clark, 텍사스대 오스틴의 Matias B. Martin과 Kyle Mahowald는 10월 21일 에 논문 "Why is AI-generated language so hard to understand?"를 공개했습니다. 저자들은 AI 모델 14종의 답에 문장 습관 여섯 가지가 얼마나 나오는지 측정했습니다. 모두 읽는 사람에게 부담과 관련 있다고 알려진 습관이고, 최신 모델 9종은 그 가운데 여러 습관을 사람 글보다 자주 썼습니다. 아직 (동료 심사)를 거치지 않은 논문입니다.
무엇이 AI 글을 읽기 어렵게 만들고, 왜 그렇게 됐을까요?
읽기 어렵게 만드는 문장 습관
저자들은 서론 첫 문장을 일부러 AI처럼 썼습니다. "Your instinct is right; the convoluted sentence you are currently reading is quietly eating its own reader-patience budget — footnote it." "지금 읽는 이 꼬인 문장이 독자 인내심 예산을 조용히 먹어 치우고 있으니 각주로 달아라"라는 뜻입니다. 문장이 '먹고', 명사 셋이 겹치고, 각주라는 명사 footnote를 동사로 썼습니다.
저자들이 측정한 여섯 가지와 실제 모델 답 예문입니다.
습관 | 모델 답 예문 | 읽는 사람이 걸리는 곳 |
|---|---|---|
드문 단어 조합 | "verified red against the original source"(Opus 5, 코딩) | 사람 글에 거의 없는 짝이다. red는 '실패한 테스트'를 뜻하는 개발자 말이다 |
멀리 떨어진 주어와 동사 | "A cat who can always get up and away is a much calmer cat."(Opus 5) | 주어 cat과 동사 is 사이에 일곱 단어가 끼어 있다 |
that을 뺀 꾸밈말 | "a first name he'd never hear anyone use"(Opus 5) | '누가 쓰는 걸 들어 본 적 없는 이름'이라는 뜻인데, that이 없어 이름을 꾸미는 말이 어디서 시작하는지 표시가 없다 |
명사 겹치기 | "horror movie soundtrack generator"(Sonnet 5) | 명사 넷 가운데 무엇이 무엇을 꾸미는지 따져야 한다 |
명사를 동사로 쓰기 | "So yes — calendar it."(Fable 5) | '캘린더'를 '일정에 넣어라'로 풀어 읽어야 한다 |
사물 주어에 사람 동사 | "is_file() swallows that and returns False" | 함수가 무언가를 '삼킨다'는 비유를 해석해야 한다 |
우리말로 치면 "회의 캘린더해 둬" 같은 말투라, 처음 듣는 사람은 한 번 멈춥니다. 틀린 영어는 아니지만, 기존 연구는 이런 특징이 읽는 사람의 부담과 관련이 있다고 봅니다. 다만 이 논문은 영어 답만 봤습니다. 한국어 답에서도 같은지는 이 논문으로 알 수 없습니다.
어떻게 측정했나
최신 모델 9종은 4종과 -5.6 3종, K2.5, 5입니다. Claude는 Sonnet 5, Opus 5, Opus 5.5, Fable 5이고 GPT-5.6은 Luna, Terra, Sol입니다. 여기에 작은 공개 모델 와 Olmo를 학습 단계별로 5종 넣었습니다. 자료는 최대 12번까지 주고받은 대화 120개, 저장소 5곳에서 버그를 고친 코딩 작업 45회, 에세이 980편입니다.
비교 기준은 둘입니다. 하나는 사람 글입니다. 장르를 대략 맞춰 영화 자막, 개발자 질문답변 사이트인 StackExchange, 높은 점수를 받은 학생 에세이를 골랐습니다. 다른 하나는 round-trip translation(왕복 번역)입니다. 모델 답을 일본어로 번역했다가 다시 영어로 되돌리면 뜻은 그대로 두고 표현만 흔한 꼴로 바뀝니다. 번역 뒤 어떤 습관이 사라졌다면, 같은 뜻을 쉽게 말할 수 있었는데 모델이 어려운 쪽을 골라 썼다는 뜻입니다.
명사를 동사로 쓴 말과 사물 주어는 두 단계로 가려냈습니다. 문장 구조를 분석하는 프로그램이 후보를 먼저 뽑고, 외부에서 만든 분류 모델 Jev가 그 후보를 판정했습니다.
사람 글과 비교하면 최신 모델 9종 모두 사물 주어에 사람 동사를 붙인 문장과 드문 단어 조합을 더 많이 썼습니다. 9종 가운데 대부분은 대화에서 명사 겹치기, that을 뺀 꾸밈말, 멀리 떨어진 주어와 동사도 더 많았습니다.
왕복 번역과 비교해도 같은 결과가 나왔습니다. 거의 모든 최신 모델의 답이 번역 뒤 달라졌고, Llama 모델들과 Olmo 기본 모델은 가장 적게 달라졌습니다. 번역문과 비교하면 모델 답은 that을 넣은 꾸밈말이 적고, 뺀 꾸밈말이 많았습니다.
Olmo 안에서는 기본 모델, 지시를 따르도록 다듬은 모델, 추론 학습을 받은 Think 모델 순으로 번역 뒤 달라지는 정도가 커졌습니다. Olmo Think는 최신 모델만큼 컸습니다. 한 번 묻고 답하는 에세이에서는 번역 뒤 달라지는 정도가 대체로 작았습니다. 저자들은 이렇게 추측했습니다. 여러 번 오가는 긴 대화에서는 같은 뜻을 더 짧게 쓸 필요가 커지고, 그래서 이런 습관이 생길 수 있다는 것입니다.
AI는 왜 짧고 꼬인 표현을 고르게 됐나
사람 언어는 말하는 사람이 편한 쪽과 듣는 사람이 알아듣기 편한 쪽 사이에서 균형을 맞추며 다듬어져 왔다는 연구가 있습니다. 저자들은 여기서 출발합니다. 요즘 모델은 수학·코딩·추론 문제로 추가 학습을 많이 받습니다. 이런 학습에서 모델은 정답을 맞히면 보상을 받지만, 명확하게 썼는지로 꼭 보상받지는 않습니다.
여기에 모델이 한 번에 읽고 쓸 수 있는 글의 양에도 한계가 있습니다. 저자들의 가설은 이 두 가지가 겹치면서 모델이 같은 뜻을 더 짧게 줄여 쓰게 됐다는 것입니다. 사물이 주어인 예문 "Puzzle patterns where this asymmetry bites"에서 "bites"는 "causes an issue(문제를 일으킨다)"를 짧게 줄인 말이라고 저자들은 풀이합니다. 학습을 거치며 모델이 이런 짧은 표현을 즐겨 쓰게 됐을 수 있다는 추측입니다.
이를 확인하려고 작은 모델 Qwen2.5-1.5B-Instruct를 (강화학습)으로 훈련했습니다. 과제는 사건 설명을 영어 한 문장으로 바꾸는 것입니다. 사건 설명은 '누가·무엇을·누구에게' 같은 항목으로 나눠 적혀 있고, 저자들은 "gave his wife a gift"처럼 짧게도 "gave a gift to his wife"처럼 길게도 쓸 수 있는 문장을 골랐습니다. 정답 보상에 길이 벌점만 더했을 뿐, 짧게 쓰라는 지시는 없었습니다. 두 쪽 모두 정답이라 모델은 과제를 계속 맞혔습니다.
벌점을 받은 모델은 짧은 쪽을 고르는 비율이 올라갔습니다. 학습한 표현 가운데 that을 뺄 수 있는 문장이 두 가지 있었습니다. 하나는 "the book that the professor wrote"를 "the book the professor wrote"로 줄이는 것이고, 다른 하나는 "knew that the answer was wrong"에서 that을 빼는 것입니다.
이 학습에는 모델의 답이 원래 답에서 멀어지는 것을 막는 장치를 둘 수 있습니다. 저자들이 이 장치를 빼자, 모델은 두 문장 모두에서 98% 넘게 짧은 쪽을 골랐습니다. 장치를 두면 비율이 더 천천히 올랐습니다. 학습하지 않은 표현인 "sure that"에서도 that을 빼는 경향이 나타났습니다.
사람은 that을 넣은 꼴과 뺀 꼴을 상황에 따라 골라 씁니다. 뒤에 올 내용을 예측하기 어려우면 that을 넣는 경향이 있습니다. 반면 막는 장치 없이 벌점을 받은 모델은 상황과 상관없이 거의 짧은 쪽만 골랐습니다.
사람이 점수를 매기는 학습에서는 오히려 긴 답이 보상을 더 받는다는 연구도 있습니다. 그래서 저자들은 모델이 짧게 줄여 쓰게 된 원인이 사람이 평가하지 않고 정답만 채점하는 학습에 있을 것이라고 봤습니다.
읽기 어려운 습관은 줄일 수 있나
Claude Opus 5.5는 이전 Opus 5보다 거의 모든 측정 항목에서 읽기 어려운 특징이 적었습니다. 특징별·상황별(대화·코딩·에세이)로 나눈 비교 21개 가운데 19개에서 Opus 5.5의 읽기 어려운 특징이 더 적게 나왔고, 그중 8개는 오차 범위가 겹치지 않았습니다. 저자들은 알아듣기 쉽게 쓰도록 모델을 학습시키는 것도 물론 가능하다며, 새 모델이 수치로 확인될 만큼 나아졌다고 적었습니다.
다만 앞의 그래프에서 Opus 5.5 막대도 0은 아닙니다. Opus 5.5가 어떤 학습으로 나아졌는지는 논문에 없습니다. 답 길이에 벌점을 준 실험은 작은 모델로 가능성만 보인 것이고, 사람에게 직접 읽혀 이해도를 측정한 실험은 없습니다. 저자들은 모델이 정답을 잘 맞히도록 학습시켜도, 그 결과가 사람 언어가 다듬어져 온 방향과 같으리라는 보장은 없다고 적었습니다. 그래서 앞으로는 모델의 출력을 사람 독자에게 맞추는 방법을 고려해 볼 만하다고 덧붙였습니다.
독자 쪽에서 쓸 수 있는 것은 여섯 습관의 목록입니다. AI 답이 한 번에 안 읽히면 사물이 주어인지, 명사가 셋 이상 겹쳤는지, 명사를 동사로 썼는지부터 보면 막힌 곳을 찾아낼 수 있습니다.
