Det andet gennemløb: Hvorfor god AI-forskning bør udfordres

En kilde er ikke det samme som sikkerhed. At se citater er beroligende, men et citat alene gør ikke en påstand sand. Der er mindst fire separate spørgsmål, der er værd at stille: 1. Eksisterer kilden virkelig? 2. Er det den rette kilde til dette emne? 3. Understøtter den faktisk den specifikke påstand, der fremsættes? 4. Findes der en anden troværdig kilde, der modsiger den? Opis behandler allerede kildeherkomst som en del af forskningsobjektet snarere end som dekorative fodnoter. Fund kan bære kildereferencer, systemet bevarer de funderede kilder, der faktisk var tilgængelige for kørslen, og output-QA-laget kontrollerer for problemer som ugyldige referencer og mistænkelige kildemønstre. For dig som operatør bør adfærden være lige så bevidst. Når et fund er vigtigt, skal du åbne kilden. Spørg ikke: "Har denne rapport citater?" Spørg: "Ville jeg være tryg ved at forsvare denne påstand over for en klient ved hjælp af dette bevis?" Det er en meget højere standard.---De fire usikkerhedssignaler, der er værd at lære. Opis adskiller flere former for usikkerhed, fordi de kræver forskellige svar.Antagelse. En antagelse er noget, analysen måtte behandle som foreløbigt sandt for at komme videre.Eksempel: "Virksomheden ser ud til at målrette mod SMV'er baseret på sproget og pakkerne vist på dens hjemmeside." Det kan være en rimelig fortolkning, men måske ved du, at 70 % af dens omsætning faktisk kommer fra virksomhedskontrakter. Det er ikke et web-søgningsproblem. Det er et kontekstproblem.Tvetydighed. En tvetydighed eksisterer, når det tilgængelige materiale tillader mere end én rimelig fortolkning. For eksempel angiver en leverandør "UK delivery" på sin hjemmeside, men en fragtside nævner kun fastlandet England og Wales. Informationen findes. Dens betydning er uklar.Modstrid. En modstrid er stærkere. To stykker bevis peger i uforenelige retninger. En virksomhedsside kan kalde et produkt "opsig når som helst", mens de nuværende vilkår beskriver en 12-måneders forpligtelse. Det bør ikke tavst gennemsnitligt indgå i en selvsikker konklusion.Hul. Et hul betyder, at forskningen aktuelt ikke indeholder tilstrækkelig dokumentation til at besvare noget vigtigt. Måske oplyses minimumsordremængden for engros aldrig. Måske etablerer ingen troværdig kilde, hvor længe en leverandør har handlet. Måske er konkurrentens nuværende prissætning simpelthen ikke offentlig. Et hul er ikke en fejlslagen rapport. Det er et kort over, hvad der skal ske næste gang.---ICC: korriger fortolkningen uden at starte forfra. Interaktiv Kontextuel Korrektion – ICC – er den del af Opis, der er designet til situationer, hvor den offentlige dokumentation ikke fortæller hele historien. Den vigtige idé er, at din intervention har en type.Tilføj kontekst. Brug kontekst, når du kender en relevant kendsgerning eller begrænsning, som Opis ikke med rimelighed kunne vide. "Vores salgsteam bekræftede, at denne leverandør vil producere private-label ordrer fra 500 enheder."Tilføj en instruktion. Brug en instruktion, når du ønsker, at analysen skal prioritere eller håndtere den eksisterende information anderledes. "For denne beslutning er leveringspålidelighed vigtigere end overskriftsenhedsprisen."Stil et spørgsmål. Brug et spørgsmål, når du vil undersøge, hvad der allerede er til stede. "Etablerer den nuværende dokumentation, at garantien gælder for kommercielle kunder?" Spørgsmål er særligt vigtige, fordi Opis ikke bør producere et svar blot fordi du spurgte. Hvis det eksisterende materiale ikke kan besvare spørgsmålet, er det korrekte resultat et hul. Dette hul kan derefter blive et forskningsmål.---ICC og ny forskning er bevidst forskellige operationer. Denne sondring er subtil, men den er fundamental for, hvordan systemet er tiltænkt at fungere. Antag, at din første Konkurrentanalyse siger: "Konkurrent A betjener primært forbrugere." Du ved fra en nylig salgssamtale, at virksomheden ændrede strategi for seks måneder siden og nu fokuserer på kontorkontrakter. Du tilføjer dette via ICC som autoritativ kontekst. Opis kan revidere fortolkningen ved hjælp af det, du har leveret. Systemet behøver ikke at foregive, at det uafhængigt har opdaget din private viden på nettet. Forestil dig nu, at du spørger: "Hvor stor en procentdel af dens forretning er virksomhedskunder?" Hverken den oprindelige dokumentation eller din afklaring indeholder dette tal. Det ærlige svar er ikke en genereret procentdel. Det er et hul. Opis's hul-udfyldningssti kan tage uafklarede huller og udføre målrettede jordingssøgninger efter ny dokumentation. Nyfundet materiale tilføjes forskningen i stedet for at blive tavst forvekslet med informationen fra første gennemgang. Tænk på de to sløjfer sådan her: ICC spørger: "Forstod systemet situationen korrekt?" Huludfyldning spørger: "Har vi brug for mere dokumentation?" Du har ofte brug for begge dele.---Et praktisk eksempel: leverandørforskning. Forestil dig, at du indkøber et produkt til en klient. Første gennemgang identificerer fire leverandører og vurderer områder som pris, leveringstid, anmeldelser og tid i forretning. Kilder er vedhæftet de relevante fund, hvor de er tilgængelige. Leverandør B rangerer højt. Før du anbefaler den, bemærker du to problemer: • den tilsyneladende pris er taget fra en detailproduktside; • minimums engrosmængde er uverificeret. I stedet for at acceptere rangeringen, interagerer du med den. Først skal du tilføje kontekst: "Vi har brug for engrosforsyning til tilbagevendende ordrer på ca. 2.000 enheder pr. kvartal. Detailpriser er ikke beslutningsnyttige." Spørg derefter: "Beviser de nuværende kilder, at leverandør B tilbyder engrosvilkår ved dette volumen?" Hvis de ikke gør, bliver det et hul, der er værd at undersøge. Når bedre dokumentation eller autoritativ brugerkontekst ændrer et kriterium, der bruges af en scorebaseret forskningsmode, kan det deterministiske scoringslag genberegne resultatet. Det er en meget anderledes arbejdsgang end at bede en chatbot om at "prøve igen". Du ved, hvad der ændrede sig og hvorfor.---Hvorfor forfiningstsporet er vigtigt. Forretningsforskning ændrer sig. Folk lærer nye fakta. Hjemmesider opdateres. Kunder retter briefs. Antagelser, der virkede rimelige mandag, bliver åbenlyst forkerte torsdag. Et forfiningstspor giver disse ændringer en historie. I stedet for at behandle den nyeste prosa, som om den opstod ud af intet, kan Opis bevare rækkefølgen af afklaring og forfining, der producerede den. For konsulenter og bureauer er det operationelt nyttigt. Forestil dig, at en klient spørger: "Hvorfor er denne anbefaling anderledes end det udkast, du viste os i går?" Et dårligt svar er: "AI'en ændrede det." Et professionelt svar er: "I går antog analysen, at deres serviceområde stoppede ved West Yorkshire. Du bekræftede i morges, at de nu også betjener North West. Vi indarbejdede den information og genberegnede den relevante sammenligning." Sådan lyder en forskningsproces.---Ret ikke alt. ICC er ikke en invitation til at tvinge forskningen til at være enig med dig. Hvis et resultat udfordrer din tidligere overbevisning, og beviserne er stærke, så undergraver det formålet at ændre konteksten, indtil du modtager det svar, du ønskede. En nyttig disciplin er at skelne mellem tre tilstande: • Jeg ved, at dette er forkert — ret det, og angiv grundlaget for din viden. • Jeg mistænker, at dette er forkert — stil et spørgsmål eller skab et forskningshul. • Jeg bryder mig ikke om denne konklusion — lad den være, indtil du har beviser. Den grænse er særligt vigtig i konsulentarbejde. Menneskelig ekspertise forbedrer AI-forskning kun, når mennesket også er villigt til at blive udfordret.---Din anden gennemgangs øvelse. Tag en afsluttet Opis-rapport og kør den ikke med det samme igen. I stedet: 1. Vælg en konklusion, der væsentligt ville påvirke en beslutning. 2. Åbn kilderne, der er vedhæftet den. 3. Læs antagelserne, tvetydighederne, modsigelserne og hullerne omkring rapporten. 4. Tilføj et stykke kontekst, du ved er sandt. 5. Stil et spørgsmål, hvis svar du oprigtigt ikke kender. 6. Hvis den nuværende forskning ikke kan besvare det, lad det blive et hul. 7. Brug målrettet hul-forskning, hvor det er relevant. 8. Sammenlign det reviderede resultat med det originale. Målet er ikke at producere mere tekst. Det er at forbedre kvaliteten af beslutningen.---Princippet bag funktionen. God AI bør ikke kræve, at mennesker opgiver deres dømmekraft. Og god menneskelig dømmekraft bør ikke kræve, at beviser overgiver sig til meninger. Den mest nyttige ordning er en kontrolleret samtale mellem de to. Opis leverer forskningsstrukturen. Offentlig dokumentation giver et eksternt syn. Din erfaring giver kontekst, som internettet måske aldrig indeholder. Usikkerhedslaget fortæller dig, hvor samlingerne er svage. Resultatet kan derefter forbedres i stedet for blot at regenerere. Det er forskellen mellem at spørge AI om et svar og at arbejde med en intelligensproces.Næste i serien: hvordan individuelle forskningsmetoder bliver meget mere værdifulde, når dokumentation og kontekst rejser gennem en arbejdsgang.