Druhé preverenie: Prečo by sa mal dobrý výskum AI spochybňovať

Zdroj nie je to isté ako istota

Vidieť citácie je upokojujúce, ale samotný odznak citácie netvrdí, že tvrdenie je pravdivé.

Stoja za to aspoň štyri samostatné otázky:

1. Existuje zdroj skutočne?
2. Je to správny zdroj pre túto tému?
3. Skutočne podporuje konkrétne tvrdenie, ktoré sa uvádza?
4. Existuje iný dôveryhodný zdroj, ktorý mu odporuje?

Opis už považuje pôvod zdroja za súčasť výskumného objektu, a nie za dekoratívne poznámky pod čiarou. Zistenia môžu obsahovať referencie na zdroje, systém si zachováva podložené zdroje, ktoré boli skutočne k dispozícii pre spustenie, a vrstva kontroly kvality výstupu kontroluje problémy, ako sú neplatné referencie a podozrivé vzory zdrojov.

Pre vás ako operátora by malo byť správanie rovnako zámerné.

Keď na zistení záleží, otvorte zdroj.

Nepýtajte sa „obsahuje táto správa citácie?“

Pýtajte sa „bol by som si istý, že toto tvrdenie obhájim pred klientom pomocou tohto dôkazu?“

To je oveľa vyšší štandard.

Štyri signály neistoty, ktoré sa oplatí naučiť

Opis oddeľuje niekoľko druhov neistoty, pretože si vyžadujú rôzne reakcie.

Predpoklad

Predpoklad je niečo, čo analýza musela považovať za predbežne pravdivé, aby sa mohla posunúť vpred.

Príklad:

„Podnik sa zameriava na malé a stredné podniky na základe jazyka a balíkov zobrazených na jeho webovej stránke.“

To môže byť rozumná interpretácia, ale možno viete, že 70 % jeho príjmov pochádza zo zmlúv s veľkými podnikmi.

To nie je problém s vyhľadávaním na webe. Je to problém kontextu.

Nejednoznačnosť

Nejednoznačnosť existuje, keď dostupný materiál ponecháva viac ako jednu rozumnú interpretáciu.

Napríklad, dodávateľ uvádza na svojej domovskej stránke „dodanie v UK“, ale na stránke s prepravou sú uvedené len kontinentálne Anglicko a Wales.

Informácia existuje. Jej význam je nejasný.

Rozpor

Rozpor je silnejší. Dva dôkazy poukazujú na nekompatibilné smery.

Jedna firemná stránka môže nazývať produkt „zrušiť kedykoľvek“, zatiaľ čo aktuálne podmienky popisujú 12-mesačný záväzok.

To by sa nemalo potichu spriemerovať do sebaistého záveru.

Medzera

Medzera znamená, že výskum v súčasnosti neobsahuje dostatok dôkazov na zodpovedanie niečoho dôležitého.

Možno sa nikdy nezverejní minimálne objednávkové množstvo pre veľkoobchod. Možno žiadny dôveryhodný zdroj neuvádza, ako dlho dodávateľ pôsobí. Možno aktuálne ceny konkurenta jednoducho nie sú verejné.

Medzera nie je zlyhanou správou.

Je to mapa toho, čo sa musí stať ďalej.

ICC: opravte interpretáciu bez opätovného začatia

Interaktívna kontextuálna korekcia – ICC – je súčasť Opis, ktorá je navrhnutá pre okamihy, keď verejné dôkazy nie sú celým príbehom.

Dôležitou myšlienkou je, že vaša intervencia má typ.

Pridajte kontext

Kontext použite, keď poznáte relevantný fakt alebo obmedzenie, ktoré Opis nemohol rozumne vedieť.

„Náš obchodný tím potvrdil, že tento dodávateľ bude vyrábať objednávky pod privátnou značkou od 500 jednotiek.“

Pridajte inštrukciu

Inštrukciu použite, keď chcete, aby analýza uprednostnila alebo spracovala existujúce informácie inak.

„Pre toto rozhodnutie je dôležitejšia spoľahlivosť dodávky ako základná jednotková cena.“

Položte otázku

Otázku použite, keď chcete preskúmať to, čo už je prítomné.

„Dokazujú súčasné dôkazy, že záruka sa vzťahuje na komerčných zákazníkov?“

Otázky sú obzvlášť dôležité, pretože Opis by nemal vyrábať odpoveď len preto, že ste sa spýtali.

Ak existujúci materiál nedokáže odpovedať na otázku, správnym výsledkom je medzera.

Táto medzera sa potom môže stať cieľom výskumu.

ICC a nový výskum sú zámerne odlišné operácie

Tento rozdiel je jemný, ale je zásadný pre to, ako sa má systém správať.

Predpokladajme, že vaša prvá Analýza konkurentov hovorí:

„Konkurent A primárne obsluhuje spotrebiteľov.“

Z nedávnej obchodnej konverzácie viete, že spoločnosť pred šiestimi mesiacmi zmenila stratégiu a teraz sa zameriava na kancelárske zmluvy.

Tieto informácie pridáte prostredníctvom ICC ako autoritatívny kontext.

Opis môže prehodnotiť interpretáciu pomocou toho, čo ste dodali. Nemusí predstierať, že nezávisle objavil vaše súkromné vedomosti na webe.

Teraz predpokladajme, že sa pýtate:

„Aké percento jeho podnikania je korporátne?“

Ani pôvodný dôkaz, ani vaše objasnenie neobsahujú toto číslo.

Čestnou odpoveďou nie je vygenerované percento.

Je to medzera.

Cesta vyplňovania medzier Opis môže vziať nevyriešené medzery a vykonať cielené podložené vyhľadávania nových dôkazov. Novo nájdený materiál sa pripojí k výskumu namiesto toho, aby bol ticho zmiešaný s informáciami z prvého kola.

Myslite na tieto dve slučky takto:

ICC sa pýta: „Rozumel systém situácii správne?“

Vyplňovanie medzier sa pýta: „Potrebujeme viac dôkazov?“

Často potrebujete oboje.

Praktický príklad: výskum dodávateľov

Predstavte si, že zháňate produkt pre klienta.

Prvé kolo identifikuje štyroch dodávateľov a posudzuje oblasti ako cena, dodacia lehota, recenzie a doba pôsobenia na trhu. Zdroje sú priložené k relevantným zisteniam, ak sú k dispozícii.

Dodávateľ B sa umiestňuje vysoko.

Predtým, ako ho odporučíte, si všimnete dva problémy:

• zjavná cena je prevzatá zo stránky maloobchodného produktu;
• minimálne veľkoobchodné množstvo je neoverené.

Namiesto prijatia hodnotenia s ním interagujete.

Najprv pridajte kontext:

„Vyžadujeme veľkoobchodné dodávky pre opakované objednávky približne 2 000 jednotiek za štvrťrok. Maloobchodné ceny nie sú užitočné pre rozhodovanie.“

Potom sa spýtajte:

„Preukazujú súčasné zdroje, že Dodávateľ B ponúka veľkoobchodné podmienky v tomto objeme?“

Ak nie, stane sa to medzerou, ktorú stojí za to preskúmať.

Akonáhle lepšie dôkazy alebo autoritatívny kontext používateľa zmenia kritérium použité bodovaným režimom výskumu, vrstva deterministického bodovania môže prepočítať výsledok.

To je veľmi odlišný pracovný postup od požiadania chatbota, aby to „skúsil znova“.

Viete, čo sa zmenilo a prečo.

Prečo je dôležitá stopa po úpravách

Obchodný výskum sa mení.

Ľudia sa učia nové fakty. Webové stránky sa aktualizujú. Klienti opravujú brífy. Predpoklady, ktoré sa v pondelok zdali rozumné, sa vo štvrtok stanú očividne nesprávnymi.

Stopa po úpravách dáva týmto zmenám históriu.

Namiesto toho, aby sa s najnovšou prózou zaobchádzalo, akoby sa objavila odnikiaľ, Opis si dokáže zachovať postupnosť objasnení a úprav, ktoré ju vytvorili.

Pre konzultantov a agentúry je to operačne užitočné.

Predstavte si, že sa klient pýta:

„Prečo sa toto odporúčanie líši od návrhu, ktorý ste nám ukázali včera?“

Zlá odpoveď je:

„AI to zmenila.“

Profesionálna odpoveď je:

„Včera analýza predpokladala, že ich obslužná oblasť končí v Západnom Yorkshire. Dnes ráno ste potvrdili, že obsluhujú aj Severozápad. Túto informáciu sme začlenili a prepočítali sme relevantné porovnanie.“

Takto znie výskumný proces.

Neopravujte všetko

ICC nie je výzva, aby ste výskum prinútili súhlasiť s vami.

Ak výsledok spochybňuje vašu predchádzajúcu vieru a dôkazy sú silné, zmena kontextu, kým nedostanete požadovanú odpoveď, narúša účel.

Užitočná disciplína je rozlišovať tri stavy:

• Vieme, že je to nesprávne — opravte to a uveďte základ pre svoje vedomosti.
• Mám podozrenie, že je to nesprávne — položte otázku alebo vytvorte výskumnú medzeru.
• Nepáči sa mi tento záver — nechajte to tak, kým nebudete mať dôkazy.

Táto hranica je obzvlášť dôležitá pri konzultačnej práci. Ľudská odbornosť zlepšuje výskum AI len vtedy, keď je človek ochotný byť tiež spochybnený.

Vaše cvičenie druhého kola

Zoberte si jednu dokončenú správu Opis a nespúšťajte ju hneď znova.

Namiesto toho:

1. Vyberte jeden záver, ktorý by podstatne ovplyvnil rozhodnutie.
2. Otvorte zdroje, ktoré sú k nemu priložené.
3. Prečítajte si predpoklady, nejasnosti, rozpory a medzery v správe.
4. Pridajte jeden kontext, o ktorom viete, že je pravdivý.
5. Položte jednu otázku, na ktorú skutočne nepoznáte odpoveď.
6. Ak ju súčasný výskum nedokáže zodpovedať, nechajte ju stať sa medzerou.
7. Použite cielený výskum medzier tam, kde je to vhodné.
8. Porovnajte revidovaný výsledok s originálom.

Cieľom nie je vytvoriť viac textu.

Je to zlepšenie kvality rozhodnutia.

Princíp, ktorý stojí za funkciou

Dobrá AI by nemala vyžadovať, aby sa ľudia vzdali úsudku.

A dobrý ľudský úsudok by nemal vyžadovať, aby sa dôkazy podriadili názoru.

Najužitočnejším usporiadaním je riadená konverzácia medzi nimi.

Opis poskytuje výskumnú štruktúru. Verejné dôkazy poskytujú externý pohľad. Vaša skúsenosť poskytuje kontext, ktorý web nemusí nikdy obsahovať. Vrstva neistoty vám povie, kde sú spoje slabé.

Výsledok sa potom môže zlepšiť namiesto toho, aby sa iba pregeneroval.

To je rozdiel medzi požiadaním AI o odpoveď a prácou s inteligentným procesom.

Ďalej v sérii: ako sa jednotlivé režimy výskumu stávajú oveľa cennejšími, keď dôkazy a kontext prechádzajú pracovným tokom.