🌈GPT Killer 실험실
본 시스템에 저장된 내용은 (주) 무하유의 영업비밀을 포함하고 있습니다.
GPT 5 오픈🎉 GPT Killer로 검증해보세요.
GPT Killer 실험실은 GPT Killer 모델의 품질 평가 및 개선 과정을 체계적으로 기록한 문서입니다. 이 문서에서는 GPT 모델의 주요 업데이트와 성능 향상 방안을 정리하여 공개하며, 이를 바탕으로 성능 분석 결과를 공유하고자 합니다.
AI 생성 문서 탐지 원리
GPT Killer는 생성형 AI, 특히 초거대 언어 모델 (LLM)의 텍스트 작성 알고리즘을 정밀하게 분석하고 역이용하여 AI 생성 문서를 탐지합니다. 다음과 같은 통계적 기법, 최신 딥러닝 (Deep Learning) 모델을 활용하여 높은 수준의 탐지 정확도를 상시 유지합니다.
LLM 알고리즘 역이용
ChatGPT, Gemini를 비롯한 최신 LLM은 주어진 문맥에 기반하여 이어서 출현할 수 있는 단어 (토큰)들의 확률 (Log Probability)을 계산하고, 해당 확률 분포에서 단어를 샘플링하는 과정을 반복하여 (Auto-regressive한 방식으로) 문장을 완성합니다.
GPT Killer는 위와 같은 LLM의 텍스트 작성 알고리즘을 역이용합니다. 문서 내 단어들의 LLM 생성 확률을 추론하고, 생성 확률이 높은 단어가 다수 포함된 경우 해당 문서를 'AI 생성'으로 의심합니다. 동일한 단어라도 전후 문맥에 따라 확률 값이 달라질 수 있습니다.
고정밀 통계 모델 활용
단어의 LLM 생성 확률 추론에는 통계 모델을 활용합니다. 다양한 LLM (ChatGPT, Gemini, Claude 등)이 생성한 수백만 ~ 수천만 건의 텍스트 데이터를 학습한 통계 모델은 텍스트 내용에 관계 없이 매우 정밀한 LLM 생성 확률 값을 도출합니다. (좋은 Generalization 성능)
통계 모델로는 자연어 이해 (Natural Language Understanding) 분야에서 가장 좋은 성능을 보이는 Transformer Encoder 계열의 모델 혹은 (Open Source) LLM을 직접 사용합니다.
텍스트 특성 다각도 분석
이외에도 GPT Killer는 문장 구조, 문체 특성, 내용의 구체성 등 텍스트의 특성을 다각도로 분석하여 'AI 생성' 의심 여부를 판단합니다. 일반화하기는 어렵지만, LLM이 생성한 텍스트는 다음의 특성을 보이는 경우가 많습니다.
문장 구조 : 서술식보다 개조식 (단순 나열식)으로 작성된 경우
문체 특징 : 단조롭고 무미건조한 어투/표현이 반복되는 경우
내용의 구체성 : 구체적이고 상세한 내용보다 두루뭉술하고 모호한 내용으로 작성된 경우
검사 프로세스
실제 GPT Killer 서비스에 제출된 문서는 아래 과정으로 탐지가 수행됩니다.
문서 전처리 : GPT Killer는 카피킬러와 동일하게 txt, hwp, hwpx, doc, docx, pdf 등을 입력 받아 검사에 필요한 문장들을 추출해 냅니다.
검사 단위 구성 : 문서의 단락, 길이 등을 고려하여 검사 단위를 구성합니다. 예시로 2,000자 문서가 400자 내외의 검사 단위 5개로 구성될 수 있습니다. 이는 영역별로 상세한 탐지 결과를 제공하기 위함입니다.
검사 단위별 탐지 수행 : 구성된 검사 단위별로 탐지를 수행합니다.
탐지 결과 취합 및 결과 제공 : 전체 검사 단위 중 'AI 생성'으로 의심되는 검사 단위의 비율을 계산합니다. 구체적으로는 어절 수를 기반으로 표절률을 도출하며, 검사 설정에서 '표절검사'를 함께 선택한 경우 일반적인 표절률과 합쳐서 계산됩니다.
정확도(Accuracy)
GPT Killer 정확도는 문서의 종류에 따라 차이를 보이지만, 평균적으로 98% 이상 수준의 탐지 정확도를 기록합니다.
LLM 모델 및 문서 유형에 따른 탐지 정확도 (2025.08.11 기준)
GPT-5 🎉
96.85%
95.90%
96.33%
97.51%
GPT-4.1
98.89%
95.01%
97.04%
99.00%
GPT-4o
98.16%
96.91%
93.84%
99.80%
GPT-o4-mini
96.00%
98.80%
99.33%
93.30%
Claude-sonnet-4
98.73%
94.24%
99.08%
98.03%
Gemini
96.11%
93.25%
99.65%
96.01%
초기에는 단일 모듈을 사용해 모든 문서 유형을 검사했지만 현재 GPT Killer는 월, 분기마다 문서 유형별 모듈 업데이트를 지속적으로 수행하고 있습니다. GPT, Claude, Gemini까지 다양한 LLM 모델에 대한 업데이트 후 문서 유형별 특성을 더 잘 반영하게 되어 정확도가 크게 향상되었습니다.
Last updated