모든 AI 주장에 인용이 필요한 것은 아님 — 그러나 모든 주장에는 근거가 필요함

왜 “인용 없음”이 충분한 테스트가 아니게 되었는가

신뢰 문제는 추상적이지 않습니다. 그것은 측정 가능하며, 특정하고 문서화된 방식으로 악화되고 있습니다.

2025년 AI 생성 참조에 대한 연구에 따르면, 19.9%가 완전히 조작되었고, 45.4%는 심각한 서지 오류가 있었습니다. 이는 해당 연구에서 AI가 생성한 인용문의 거의 3분의 2가 조작되거나 어떤 중요한 방식으로 손상되었음을 의미합니다. 별도로, 출판된 연구에서 조작된 인용문 추적 결과 2023년과 2025년 사이에 약 12배 증가했으며, 4,000개 이상의 생물의학 논문이 존재하지 않는 연구를 인용하고 있는 것으로 나타났습니다.

법률 시스템은 이미 이 비용을 감당하고 있습니다. 2026년 2월까지, 66건의 미국 법률 사건이 AI 생성 오류로 특별히 제재를 받았으며, 2026년 6월까지 그 수치는 AI 콘텐츠의 조작된 인용문과 관련된 전 세계 1,598건의 소송으로 증가했습니다. 2026년 1분기에만 미국 법원에서 AI 파일링 관련 벌금이 145,000달러를 초과했습니다.

이 모든 것이 AI를 전적으로 불신할 이유는 아닙니다. 그것은 “인용문이 있는가”를 전체 테스트로 사용하는 것을 중단할 이유입니다. 왜냐하면 그 테스트는 실제로 사실이 아니더라도 통과하기 너무 쉽고, 마찬가지로 중요하게도 실제로 올바르더라도 실패하기 너무 쉽기 때문입니다.

이 문제의 다른 측면에도 솔직하게 언급할 가치가 있는 실제 복잡성이 있습니다. 예일대 연구에 따르면 AI 챗봇을 사용하여 뉴스를 검증하는 데 도움을 받은 사람들은 단 4주 만에 자신의 보조 없는 허위 정보 탐지 능력에서 15포인트 하락을 보였습니다. 검증을 아웃소싱하는 것은 공짜가 아닙니다. 그것은 스스로 검증하는 능력을 떨어뜨릴 수 있습니다. 이것이 깔끔해 보이는 답만 제공하는 시스템이 아닌, 자신의 작업을 보여주는 시스템을 원하는 진정한 이유입니다.

주장이 실제로 무엇에 근거할 수 있는가

인용문만으로는 올바른 테스트가 아니라면, 더 유용한 질문은 다음과 같습니다: 이 주장을 생성한 증거의 유형은 무엇인가? 실제로 여섯 가지의 실제적이고 뚜렷한 답변이 있습니다.

1. 외부 연구

실제 현재 출처에 대한 실시간 검색 또는 조회를 기반으로 하는 주장 — 인용문이 가리킬 것으로 예상되는 증거 유형이며, 누락된 경우 진정한 위험 신호입니다.

2. 사용자 제공 정보

시스템에 직접 말한 것(귀하의 브랜드 사실, 귀하의 시장 지식, 귀하가 제공한 수정 사항)으로 구축된 주장입니다. 이것은 외부 인용문이 필요하지 않습니다. 인용문 은 귀하입니다.

3. 이전 단계에서 전달된 증거

다단계 연구에서, 후기 단계는 이전 단계에서 이미 확립하고 검증한 증거에 처음부터 다시 연구하지 않고도 올바르게 의존할 수 있습니다. 인용문은 그것을 사용하는 모든 다운스트림 문장이 아니라 업스트림에 존재합니다.

4. 분석적 추론, 명확하게 추론으로 표시됨

때로는 솔직한 답변이 “수집된 증거를 바탕으로, 이것이 가장 합리적인 해석입니다”입니다. 이는 발견된 사실이 아니라 판단입니다. 그것이 추론으로 표시되고 인용문으로 위장되지 않는 한 합법적입니다.

5. 결정론적 계산

일부 주장은 단순히 산술적인 것입니다. 입력이 정확하다면, 고정되고 재현 가능한 계산은 스프레드시트 공식만큼 인용문이 필요하지 않습니다. “증거”는 동일한 입력이 항상 동일한 출력을 생성한다는 사실입니다.

6. 사실 확인 후 적용된 인간의 수정

이것은 AI 신뢰에 대한 대부분의 보도가 완전히 건너뛰는 부분입니다. 실제 직접적인 지식을 가진 사람이 AI 생성 주장을 수정할 때, 그 수정 자체가 증거의 한 형태이며, 아마도 가장 강력한 종류일 것입니다. 왜냐하면 실제로 그 자리에 있었던 사람으로부터 나오기 때문입니다. 우리는 이것을 다른 다섯 가지에 덧붙여진 품질 관리 단계가 아니라, 그 자체로 실제 여섯 번째 범주라고 생각합니다. 이는 우리의 진정한 종합이며, 확립된 산업 용어는 아닙니다. 있는 그대로 포장하지 않고 솔직하게 말할 가치가 있습니다.

여섯 가지 실제 답변. 하나의 테스트 — “인용문이 있는가” —는 결코 이 여섯 가지를 모두 다룰 수 없었을 것입니다.

거의 아무도 그리지 않는 구분: 간극 대 인공물

여기에 진정으로 덜 탐구된 각도가 있으며, 그 중요성은 들리는 것보다 더 큽니다.

AI 시스템이 무언가를 불확실하다고 표시할 때, 그 표시는 두 가지 매우 다른 의미 중 하나를 가질 수 있습니다:

진정한 증거적 간극 — 해당 주제가 실제로 검증될 수 없었습니다. 아무도 그 숫자를 공개하지 않았습니다. 정보가 공개되지 않았습니다. 불확실성은 실제적이며 세상에 관한 것입니다.

언어적 인공물 — 기본 발견은 괜찮지만, 그것이 실제로 말하는 내용 때문이 아니라 단순히 표현 방식 때문에 부정적 또는 불확실하다고 표시되었습니다. 불확실성은 주제가 아니라 문장에 관한 것입니다.

이것들은 페이지에서 동일하게 보입니다. 둘 다 주석 옆에 노란색 깃발로 나타납니다. 하지만 그것들은 완전히 다른 대응을 요구합니다. 실제 간극은 더 많은 연구가 필요합니다. 언어적 인공물은 더 나은 표현이 필요하며, 그것을 연구 간극처럼 취급하는 것은 전혀 의심의 여지가 없었던 것에 대한 증거를 쫓는 데 시간을 낭비하는 것입니다.

이러한 구분은 AI 신뢰 및 환각에 대한 기존 보도에서는 거의 나타나지 않습니다. 대부분은 “AI는 틀릴 수 있으니 중요한 주장을 확인하라”는 선에서 멈춥니다. 이는 사실이지만 실행 가능하지 않습니다. 어떤 종류의 깃발을 보고 있는지 아는 것이 다음에 무엇을 해야 할지를 실제로 알려줍니다.

왜 좁은 질문이 넓은 질문보다 나은가

명명할 가치가 있는 두 번째 패턴이 있으며, 이는 대부분의 사람들이 “더 철저한” AI 연구가 어떻게 보여야 한다고 가정하는 것과는 반대 방향으로 진행됩니다.

본능적으로는 하나의 크고 열린 질문을 하고 포괄적인 답변을 기대합니다. 실제로는 그 반대가 더 효과적인 경향이 있습니다. 즉, 넓은 질문을 여러 개의 좁고 구체적이며 한정적인 질문으로 나누고 각각을 따로 질문하는 것이, 모든 것을 한 번에 다루려고 하는 하나의 광범위한 답변보다 확인하기 쉽고, 신뢰하기 쉽고, 종종 더 직접적으로 유용한 증거를 생성합니다.

그 이유 중 일부는 다음과 같습니다: 좁은 질문은 시스템이 분리되어야 할 것들을 모호하게 혼합할 여지를 줄여줍니다. 또한 독자에게 실제로 검증하기 훨씬 더 쉬운 주장을 제공합니다. 즉, 특정 질문에 대한 특정 답변은 특정 출처와 비교하여 확인할 수 있는 것입니다. 반면, 다섯 가지를 한 번에 답하려는 단일 단락은 일반적으로 특별히 어떤 것과도 비교하여 확인할 수 없습니다.

적게, 더 정확하게 조준하는 것이 더 많은 것보다 나은 경향이 있습니다.

이것이 실제 시장 조사에서 어떻게 나타났는가

우리는 이 모든 것을 맹목적으로 믿지 않았습니다. 우리는 증거와 신뢰 주장을 하는 AI 도구에 대한 사람들의 불만을 현재 어떻게 묘사하는지에 대해 실제 연구를 수행했습니다. 즉, 그것에 대한 가설이 아니라 사람들이 실제로 사용하는 반복적인 언어를 연구했습니다.

세 가지 문구가 특정 제품이나 회사에 국한되지 않고 독립적으로 충분히 자주 언급되어 여기에 반복할 가치가 있습니다. 왜냐하면 패턴이 중요하며, 어떤 한 공급업체가 중요한 것이 아니기 때문입니다:

• 느껴지는 “5%의 허위 정보 비율” — 대부분 신뢰할 수 있는 AI 도구조차도 자신감 있게 틀린 출력의 작지만 실제적인 비율이 내재되어 있으며, 이 비율은 도구가 아무리 좋아져도 거의 0으로 줄어들지 않는다는 느낌입니다.
• “투명성의 환상” — 도구가 자신의 추론이나 출처를 눈에 띄게 보여주어 신뢰할 수 있는 것처럼 보이지만, 그 보이는 계층이 실제로는 확인 가능하거나 올바르지 않은 경우입니다.
• “검증의 부담” — AI 지원 작업이 검증의 필요성을 제거하지 않고, 단지 검증을 나중에 인간에게 미루며, 종종 여전히 필요하다는 경고 없이 진행된다는 조용하지만 실제적인 비용입니다.

동일한 연구는 또한 사람들이 대신 실제로 원하는 것이 무엇인지, 특정 답변으로 유도되지 않고 독립적으로 반복해서 드러냈습니다: 일관되고 검증 가능한 인용 능력; 결론 자체만이 아니라 AI가 결론에 도달한 방식에 대한 시각적인 설명; 그리고 시스템이 발견한 모든 것을 여과 없이 덤프하는 대신 종합적이고 실행 가능한 판결입니다.

우리는 그 수요를 식별한 공로를 주장하는 것이 아닙니다. 연구 자체가 그것을 발견했습니다. 우리가 지적하고 싶은 것은 그것이 우리가 우리 제품을 구축한 방식과 밀접하게 일치한다는 것입니다: 가정, 간극 및 모순을 숨기지 않고 보여주는 정직성 계층; 처음부터 다시 시작하는 대신 실제 맥락으로 분석을 수정하고 다시 실행하는 방법; 그리고 모든 증거 추적 경로가 그 아래에 제공되어 우리의 작업 과정을 확인하고 싶은 누구에게나 제공되는 하나의 종합된 판결입니다.

다음에 받게 될 AI 주장에 대한 체크리스트

다음 번에 AI 시스템(저희 것이든 다른 어떤 것이든)이 귀하가 행동하려는 주장을 건넬 때, “인용문이 있는가”라는 질문보다 다섯 가지 질문이 귀하를 더 나아가게 할 것입니다:

1. 이것은 어떤 유형인가? 외부 연구, 귀하의 입력, 전달된 증거, 라벨링된 추론, 계산, 또는 인간의 수정 — 이것들은 다른 수준의 신뢰를 요구합니다.
2. 인용문이라면, 출처가 실제로 이것을 말하는가? 인용문이 존재한다는 것과 인용문이 특정 주장을 뒷받침한다는 것은 동일한 확인이 아닙니다.
3. 불확실하다고 표시되었다면, 그것은 간극인가 아니면 인공물인가? 구체적으로 무엇이 확인되지 않았는지 물어보십시오 — 주제인가, 아니면 단순히 문장인가.
4. 이 질문의 더 좁은 버전이 더 확인 가능한 답변을 가져다줄 것인가? 주장이 광범위하다면, 그것을 나누는 것이 도움이 될지 고려하십시오.
5. 직접적인 지식을 가진 사람이 실제로 이것을 살펴보았는가? 인간의 수정은 이용 가능한 경우 종종 목록에서 가장 강력한 증거 유형입니다 — 그것을 사용하십시오.

이 모든 것이 AI를 전적으로 불신할 것을 요구하지 않습니다. 그것은 “인용된” 것과 “사실인” 것을 두 가지 다른 질문으로 취급할 것을 요구합니다. 왜냐하면 실제로 그러하기 때문입니다.