2차 검토: 좋은 AI 연구에 이의를 제기해야 하는 이유

출처는 확실성과 같은 것이 아닙니다.

인용문을 보는 것은 안심이 되지만, 인용 배지 하나만으로 주장이 사실이 되는 것은 아닙니다.

적어도 다음 네 가지 질문을 해볼 가치가 있습니다:

1. 해당 출처가 실제로 존재하는가?
2. 해당 주제에 적합한 출처인가?
3. 해당 출처가 특정 주장을 실제로 뒷받침하는가?
4. 이를 반박하는 다른 신뢰할 수 있는 출처가 있는가?

Opis는 이미 출처의 출처를 장식적인 각주가 아닌 연구 개체의 일부로 취급합니다. 연구 결과는 출처 참조를 포함할 수 있으며, 시스템은 실제로 실행에 사용 가능한 근거 있는 출처를 유지하고, 출력 QA 계층은 유효하지 않은 참조 및 의심스러운 출처 패턴과 같은 문제를 확인합니다.

운영자로서 귀하의 행동 또한 동일하게 신중해야 합니다.

연구 결과가 중요할 때는 출처를 확인하십시오.

“이 보고서에 인용문이 있는가?”라고 묻지 마십시오.

“이 증거를 사용하여 고객에게 이 주장을 방어할 수 있겠는가?”라고 물어보십시오.

그것은 훨씬 더 높은 기준입니다.

배워야 할 네 가지 불확실성 신호

Opis는 여러 종류의 불확실성을 구분하는데, 이는 각각 다른 대응을 요구하기 때문입니다.

가정

가정은 분석을 진행하기 위해 잠정적으로 사실로 취급해야 했던 것입니다.

예시:

“해당 사업은 웹사이트에 표시된 언어와 패키지를 기반으로 중소기업을 대상으로 하는 것으로 보입니다.”

이는 합리적인 해석일 수 있지만, 실제로는 수익의 70%가 기업 계약에서 발생한다는 사실을 알고 있을 수도 있습니다.

이것은 웹 검색 문제가 아닙니다. 맥락 문제입니다.

모호성

모호성은 이용 가능한 자료가 하나 이상의 합리적인 해석을 남길 때 발생합니다.

예를 들어, 공급업체는 홈페이지에 “영국 배송”이라고 명시했지만, 배송 페이지에는 잉글랜드 본토와 웨일스만 언급되어 있습니다.

정보는 존재하지만, 그 의미가 불분명합니다.

모순

모순은 더 강력합니다. 두 가지 증거가 양립할 수 없는 방향을 가리킵니다.

어떤 회사 페이지는 제품을 “언제든지 취소 가능”이라고 부르지만, 현재 약관에는 12개월 약정이 명시되어 있을 수 있습니다.

그것이 자신감 있는 결론으로 조용히 평균화되어서는 안 됩니다.

간극

간극은 현재 연구에 중요한 질문에 답할 충분한 증거가 없음을 의미합니다.

아마도 도매 최소 주문 수량이 공개되지 않았을 수 있습니다. 아마도 공급업체가 얼마나 오랫동안 사업을 했는지 입증할 만한 신뢰할 수 있는 출처가 없을 수 있습니다. 아마도 경쟁사의 현재 가격이 단순히 공개되지 않았을 수 있습니다.

간극은 실패한 보고서가 아닙니다.

그것은 다음에 무엇을 해야 할지에 대한 지도입니다.

ICC: 다시 시작하지 않고 해석을 수정하기

대화형 맥락 교정(ICC)은 공개된 증거가 전부가 아닐 때를 위해 설계된 Opis의 기능입니다.

중요한 아이디어는 귀하의 개입에 유형이 있다는 것입니다.

맥락 추가

Opis가 합리적으로 알 수 없었던 관련 사실이나 제약 조건을 알고 있을 때 맥락을 사용하십시오.

“저희 영업팀은 이 공급업체가 500개 단위부터 자체 브랜드(private-label) 주문을 생산할 것이라고 확인했습니다.”

지시 추가

분석이 기존 정보를 다르게 우선순위를 정하거나 처리하도록 하고 싶을 때 지시를 사용하십시오.

“이 결정에 있어서는 명목상 단위 가격보다 배송 신뢰성이 더 중요합니다.”

질문하기

이미 존재하는 정보를 탐구하고 싶을 때 질문을 사용하십시오.

“현재 증거가 상업 고객에게 보증이 적용된다는 것을 입증하는가?”

질문은 특히 중요한데, Opis는 단지 귀하가 질문했다고 해서 답을 만들어내서는 안 되기 때문입니다.

기존 자료가 질문에 답할 수 없다면, 올바른 결과는 간극입니다.

그 간극은 연구 목표가 될 수 있습니다.

ICC와 새로운 연구는 의도적으로 다른 작업입니다.

이러한 구분은 미묘하지만, 시스템이 작동하도록 의도된 방식에 있어 근본적입니다.

첫 번째 경쟁사 분석이 다음과 같다고 가정해 봅시다:

“경쟁사 A는 주로 소비자를 대상으로 합니다.”

최근 영업 대화를 통해 회사가 6개월 전 방향을 전환하여 현재는 사무실 계약에 중점을 둔다는 것을 알고 있습니다.

귀하는 ICC를 통해 이를 권위 있는 맥락으로 추가합니다.

Opis는 귀하가 제공한 정보를 사용하여 해석을 수정할 수 있습니다. 웹에서 귀하의 개인적인 지식을 독립적으로 발견한 척할 필요가 없습니다.

이제 다음과 같이 질문한다고 가정해 봅시다:

“해당 사업의 기업 고객 비중은 몇 퍼센트입니까?”

원본 증거와 귀하의 설명 모두 그 숫자를 포함하고 있지 않습니다.

솔직한 답변은 생성된 퍼센티지가 아닙니다.

그것은 간극입니다.

Opis의 간극 채우기 경로는 해결되지 않은 간극을 찾아 새로운 증거를 위한 목표 지향적인 근거 검색을 수행할 수 있습니다. 새로 발견된 자료는 첫 번째 통과에서 얻은 정보와 조용히 혼동되지 않고 연구에 추가됩니다.

두 가지 루프를 다음과 같이 생각해 보십시오:

ICC는 묻습니다: “시스템이 상황을 올바르게 이해했는가?”

간극 채우기는 묻습니다: “더 많은 증거가 필요한가?”

종종 두 가지 모두 필요합니다.

실용적인 예시: 공급업체 연구

고객을 위해 제품을 소싱한다고 상상해 보십시오.

첫 번째 통과에서는 네 개의 공급업체를 식별하고 가격, 배송 시간, 리뷰, 사업 기간과 같은 영역을 평가합니다. 이용 가능한 경우 관련 결과에 출처가 첨부됩니다.

공급업체 B는 높은 순위를 차지합니다.

추천하기 전에 두 가지 문제를 발견합니다:

• 표시된 가격은 소매 제품 페이지에서 가져온 것입니다;
• 도매 최소 수량이 확인되지 않았습니다.

순위를 받아들이는 대신, 귀하는 그것과 상호 작용합니다.

먼저, 맥락을 추가하십시오:

“저희는 분기당 약 2,000개 단위의 반복 주문에 대한 도매 공급을 요구합니다. 소매 가격은 의사 결정에 유용하지 않습니다.”

그리고 질문하십시오:

“현재 출처가 공급업체 B가 이 물량에 대해 도매 조건을 제공한다는 것을 입증하는가?”

그렇지 않다면, 그것은 연구할 가치가 있는 간극이 됩니다.

더 나은 증거 또는 권위 있는 사용자 맥락이 점수화된 연구 모드에서 사용되는 기준을 변경하면, 결정론적 점수 부여 계층은 결과를 다시 계산할 수 있습니다.

이는 챗봇에게 “다시 시도해 보라”고 요청하는 것과는 매우 다른 워크플로입니다.

귀하는 무엇이 왜 변경되었는지 알고 있습니다.

정제 이력이 중요한 이유

사업 연구는 변화합니다.

사람들은 새로운 사실을 알게 되고, 웹사이트는 업데이트되며, 고객은 브리프를 수정합니다. 월요일에 합리적으로 보였던 가정은 목요일에 명백히 틀린 것이 됩니다.

정제 이력은 그러한 변화에 역사를 부여합니다.

최신 산문을 아무것도 없는 곳에서 나타난 것처럼 취급하는 대신, Opis는 그것을 생성한 설명 및 정제 순서를 유지할 수 있습니다.

컨설턴트와 에이전시에게 이는 운영상 유용합니다.

고객이 다음과 같이 질문한다고 상상해 보십시오:

“이 권장 사항이 어제 보여주신 초안과 다른 이유는 무엇입니까?”

형편없는 답변은 다음과 같습니다:

“AI가 변경했습니다.”

전문적인 답변은 다음과 같습니다:

“어제 분석에서는 서비스 지역이 웨스트 요크셔에서 끝난다고 가정했습니다. 오늘 아침에 귀하께서 그들이 이제 노스웨스트 지역도 서비스한다는 것을 확인해 주셨습니다. 저희는 그 정보를 통합하여 관련 비교를 재계산했습니다.”

그것이 바로 연구 과정의 모습입니다.

모든 것을 수정하지 마십시오.

ICC는 연구가 귀하의 의견에 동의하도록 강요하는 초대가 아닙니다.

만약 어떤 결과가 귀하의 이전 신념에 도전하고 증거가 강력하다면, 원하는 답을 얻을 때까지 맥락을 변경하는 것은 목적에 어긋납니다.

유용한 훈련은 세 가지 상태를 구분하는 것입니다:

• 이것이 틀렸다는 것을 알고 있다 — 그것을 수정하고 귀하의 지식 기반을 명시하십시오.
• 이것이 틀렸다고 의심한다 — 질문을 하거나 연구 간극을 만드십시오.
• 이 결론이 마음에 들지 않는다 — 증거가 있을 때까지 그대로 두십시오.

그 경계는 컨설팅 작업에서 특히 중요합니다. 인간의 전문 지식은 인간 또한 도전을 기꺼이 받아들일 때만 AI 연구를 향상시킵니다.

두 번째 통과 연습

완료된 Opis 보고서 하나를 가져와서 즉시 다시 실행하지 마십시오.

대신:

1. 결정에 실질적으로 영향을 미칠 결론 하나를 선택하십시오.
2. 그것에 첨부된 출처를 여십시오.
3. 보고서 주변의 가정, 모호성, 모순 및 간극을 읽으십시오.
4. 사실이라고 알고 있는 맥락 하나를 추가하십시오.
5. 답을 진정으로 모르는 질문 하나를 하십시오.
6. 현재 연구가 답할 수 없다면, 그것을 간극으로 만드십시오.
7. 적절한 경우 목표 지향적인 간극 연구를 사용하십시오.
8. 수정된 결과를 원본과 비교하십시오.

목표는 더 많은 텍스트를 생성하는 것이 아닙니다.

그것은 의사 결정의 품질을 향상시키는 것입니다.

기능의 배경 원리

좋은 AI는 인간이 판단을 포기하도록 요구해서는 안 됩니다.

그리고 좋은 인간의 판단은 증거가 의견에 굴복하도록 요구해서는 안 됩니다.

가장 유용한 배치는 둘 사이의 통제된 대화입니다.

Opis는 연구 구조를 제공합니다. 공개된 증거는 외부 시각을 제공합니다. 귀하의 경험은 웹에 절대 포함되지 않을 수 있는 맥락을 제공합니다. 불확실성 계층은 연결이 약한 부분을 알려줍니다.

그러면 결과는 단순히 재생성되는 것이 아니라 향상될 수 있습니다.

그것이 AI에게 답을 요청하는 것과 지능형 프로세스로 작업하는 것의 차이입니다.

다음 시리즈: 증거와 맥락이 워크플로를 통해 전달될 때 개별 연구 모드가 훨씬 더 가치 있게 되는 방법.