Druhé kolo: Proč by se měl dobrý výzkum AI zpochybňovat

Zdroj není totéž co jistota. Vidět citace je uklidňující, ale samotný odznak citace netvoří pravdivé tvrzení. Stojí za to položit si alespoň čtyři samostatné otázky: 1. Skutečně zdroj existuje? 2. Je to správný zdroj pro toto téma? 3. Skutečně podporuje konkrétní tvrzení, které je uvedeno? 4. Existuje jiný důvěryhodný zdroj, který by mu odporoval? Opis již považuje původ zdroje za součást výzkumného objektu spíše než za dekorativní poznámky pod čarou. Zjištění mohou obsahovat odkazy na zdroje, systém uchovává podložené zdroje, které byly skutečně k dispozici pro provedení, a vrstva kontroly kvality výstupu kontroluje problémy, jako jsou neplatné reference a podezřelé vzory zdrojů. Pro vás jako operátora by mělo být chování stejně záměrné. Když na zjištění záleží, otevřete zdroj. Neptejte se: „Má tato zpráva citace?“ Zeptejte se: „Cítil bych se pohodlně obhajovat toto tvrzení před klientem s použitím těchto důkazů?“ To je mnohem vyšší standard. --- Čtyři signály nejistoty, které stojí za to se naučit. Opis rozlišuje několik druhů nejistoty, protože vyžadují odlišné reakce. Předpoklad. Předpoklad je něco, co analýza musela prozatímně považovat za pravdivé, aby se mohla posunout vpřed. Příklad: „Zdá se, že podnik cílí na malé a střední podniky na základě jazyka a balíčků zobrazených na jeho webových stránkách.“ To může být rozumná interpretace, ale možná víte, že 70 % jejích příjmů ve skutečnosti pochází z podnikových smluv. To není problém webového vyhledávání. Je to problém kontextu. Nejednoznačnost. Nejednoznačnost existuje, když dostupný materiál umožňuje více než jednu rozumnou interpretaci. Například dodavatel na své domovské stránce uvádí „doručení do Spojeného království“, ale stránka o dopravě zmiňuje pouze pevninskou Anglii a Wales. Informace existuje. Její význam je nejasný. Rozpor. Rozpor je silnější. Dva důkazy ukazují neslučitelnými směry. Jedna firemní stránka může produkt nazývat „zrušit kdykoli“, zatímco aktuální podmínky popisují 12měsíční závazek. To by nemělo být tiše zprůměrováno do sebevědomého závěru. Mezera. Mezera znamená, že výzkum v současné době neobsahuje dostatek důkazů k zodpovězení něčeho důležitého. Možná se nikdy nezveřejňuje minimální velkoobchodní objednávkové množství. Možná žádný důvěryhodný zdroj nestanovuje, jak dlouho dodavatel obchoduje. Možná aktuální ceny konkurenta prostě nejsou veřejné. Mezera není selhaná zpráva. Je to mapa toho, co se má stát dál. --- ICC: opravte interpretaci, aniž byste začínali znovu. Interaktivní kontextová korekce – ICC – je součástí Opis navrženou pro situace, kdy veřejné důkazy nepředstavují celou pravdu. Důležitou myšlenkou je, že vaše intervence má typ. Přidat kontext. Použijte kontext, když znáte relevantní fakt nebo omezení, které Opis nemohl rozumně vědět. „Náš obchodní tým potvrdil, že tento dodavatel bude vyrábět objednávky privátních značek od 500 kusů.“ Přidat instrukci. Použijte instrukci, když chcete, aby analýza prioritizovala nebo zpracovávala stávající informace odlišně. „Pro toto rozhodnutí je spolehlivost dodání důležitější než titulní jednotková cena.“ Položit otázku. Použijte otázku, když chcete prozkoumat to, co je již přítomno. „Dokládají stávající důkazy, že se záruka vztahuje na komerční zákazníky?“ Otázky jsou obzvláště důležité, protože Opis by neměl vytvářet odpověď jen proto, že jste se zeptali. Pokud existující materiál nemůže odpovědět na otázku, správným výsledkem je mezera. Tato mezera se pak může stát cílem výzkumu. --- ICC a nový výzkum jsou záměrně odlišné operace. Tento rozdíl je jemný, ale je zásadní pro to, jak se má systém chovat. Předpokládejme, že vaše první Analýza konkurence říká: „Konkurent A primárně obsluhuje spotřebitele.“ Z nedávného obchodního rozhovoru víte, že se společnost před šesti měsíci přeorientovala a nyní se zaměřuje na kancelářské smlouvy. To přidáte prostřednictvím ICC jako autoritativní kontext. Opis může revidovat interpretaci s použitím toho, co jste dodali. Nemusí předstírat, že nezávisle objevil vaše soukromé znalosti na webu. Nyní předpokládejme, že se zeptáte: „Jaké procento jeho podnikání tvoří firemní zákazníci?“ Ani původní důkazy, ani vaše upřesnění toto číslo neobsahují. Upřímná odpověď není vygenerované procento. Je to mezera. Cesta Opis pro vyplňování mezer může vzít nevyřešené mezery a provést cílené podkladové vyhledávání nových důkazů. Nově nalezený materiál je připojen k výzkumu, místo aby byl tiše zaměňován s informacemi z prvního průchodu. Představte si tyto dvě smyčky takto: ICC se ptá: „Pochopil systém situaci správně?“ Vyplňování mezer se ptá: „Potřebujeme více důkazů?“ Často potřebujete obojí. --- Praktický příklad: výzkum dodavatelů. Představte si, že sháníte produkt pro klienta. První průchod identifikuje čtyři dodavatele a posuzuje oblasti jako cena, dodací lhůta, recenze a doba působení na trhu. Zdroje jsou připojeny k relevantním zjištěním, pokud jsou k dispozici. Dodavatel B se umisťuje vysoko. Před jeho doporučením si všimnete dvou problémů: – zdánlivá cena je převzata ze stránky maloobchodního produktu; – minimální velkoobchodní množství je neověřeno. Namísto přijetí hodnocení s ním interagujete. Nejprve přidejte kontext: „Potřebujeme velkoobchodní dodávky pro opakované objednávky v objemu přibližně 2 000 kusů za čtvrtletí. Maloobchodní ceny nejsou užitečné pro rozhodování.“ Pak se zeptejte: „Dokazují současné zdroje, že Dodavatel B nabízí velkoobchodní podmínky v tomto objemu?“ Pokud ne, stane se to mezerou, která stojí za prozkoumání. Jakmile lepší důkazy nebo autoritativní uživatelský kontext změní kritérium použité bodovaným výzkumným režimem, deterministická bodovací vrstva může výsledek přepočítat. To je velmi odlišný pracovní postup od požadavku na chatbota, aby „to zkusil znovu“. Víte, co se změnilo a proč. --- Proč záleží na stopě zpřesnění. Obchodní výzkum se mění. Lidé se učí nová fakta. Webové stránky se aktualizují. Klienti opravují zadání. Předpoklady, které v pondělí vypadaly rozumně, se ve čtvrtek stávají zjevně chybnými. Stopa zpřesnění dává těmto změnám historii. Namísto toho, aby zacházel s nejnovějším textem, jako by se objevil z ničeho, může Opis uchovat sekvenci objasnění a zpřesnění, která ho vytvořila. Pro konzultanty a agentury je to provozně užitečné. Představte si, že se klient zeptá: „Proč se toto doporučení liší od návrhu, který jste nám ukázali včera?“ Špatná odpověď je: „AI to změnila.“ Profesionální odpověď je: „Včera analýza předpokládala, že jejich servisní oblast končí v západním Yorkshire. Dnes ráno jste potvrdili, že nyní obsluhují i severozápad. Tyto informace jsme zapracovali a přepočítali relevantní srovnání.“ Tak zní výzkumný proces. --- Neopravujte vše. ICC není pozvánkou k vynucení souhlasu výzkumu s vámi. Pokud výsledek zpochybňuje vaše předchozí přesvědčení a důkazy jsou silné, změna kontextu, dokud nedostanete požadovanou odpověď, maří účel. Užitečnou disciplínou je rozlišovat tři stavy: – Vím, že je to špatně – opravte to a uveďte základ pro své znalosti. – Mám podezření, že je to špatně – položte otázku nebo vytvořte výzkumnou mezeru. – Tento závěr se mi nelíbí – nechte ho být, dokud nebudete mít důkazy. Tato hranice je obzvláště důležitá v konzultační práci. Lidská odbornost zlepšuje výzkum AI pouze tehdy, když je člověk ochoten být zpochybněn. --- Vaše cvičení druhého průchodu. Vezměte jednu dokončenou zprávu Opis a nespouštějte ji ihned znovu. Namísto toho: 1. Vyberte jeden závěr, který by podstatně ovlivnil rozhodnutí. 2. Otevřete k němu připojené zdroje. 3. Přečtěte si předpoklady, nejednoznačnosti, rozpory a mezery kolem zprávy. 4. Přidejte jeden kus kontextu, o kterém víte, že je pravdivý. 5. Položte jednu otázku, na jejíž odpověď skutečně neznáte. 6. Pokud na ni současný výzkum nemůže odpovědět, nechte ji, aby se stala mezerou. 7. Využijte cílený výzkum mezer, kde je to vhodné. 8. Porovnejte revidovaný výsledek s původním. Cílem není vytvářet více textu. Je to zlepšení kvality rozhodnutí. --- Princip za funkcí. Dobrá AI by neměla vyžadovat, aby se lidé vzdali úsudku. A dobrý lidský úsudek by neměl vyžadovat, aby se důkazy podřídily názoru. Nejužitečnější uspořádání je řízená konverzace mezi oběma. Opis poskytuje výzkumnou strukturu. Veřejné důkazy poskytují externí pohled. Vaše zkušenost poskytuje kontext, který web možná nikdy nebude obsahovat. Vrstva nejistoty vám řekne, kde jsou spoje slabé. Výsledek se pak může zlepšit, namísto pouhého znovuvytvoření. To je rozdíl mezi žádostí AI o odpověď a prací s inteligentním procesem. Další v sérii: jak se jednotlivé výzkumné režimy stávají mnohem cennějšími, když důkazy a kontext procházejí pracovním postupem.