Drugi prolaz: Zašto dobro AI istraživanje treba dovesti u pitanje

Izvor nije isto što i sigurnost.Videti citate je ohrabrujuće, ali samo oznaka citata ne čini tvrdnju istinitom.Vredi postaviti najmanje četiri odvojena pitanja:1. Da li izvor zaista postoji?2. Da li je to pravi izvor za ovu temu?3. Da li zaista podržava određenu tvrdnju koja se iznosi?4. Postoji li drugi verodostojan izvor koji joj protivreči?Opis već tretira poreklo izvora kao deo istraživačkog objekta, a ne kao ukrasne fusnote. Nalazi mogu da sadrže reference na izvore, sistem čuva osnovne izvore koji su zaista bili dostupni za pokretanje, a sloj kontrole kvaliteta izlaznih podataka proverava probleme kao što su nevažeće reference i sumnjivi obrasci izvora.Za vas kao operatora, ponašanje bi trebalo da bude podjednako promišljeno.Kada je nalaz važan, otvorite izvor.Ne pitajte „da li ovaj izveštaj ima citate?“.Pitajte „da li bih bio siguran da ovu tvrdnju branim pred klijentom koristeći ove dokaze?“.To je mnogo viši standard.---## Četiri signala neizvesnosti koje vredi naučitiOpis razdvaja nekoliko vrsta neizvesnosti jer zahtevaju različite odgovore.### PretpostavkaPretpostavka je nešto što je analiza morala da tretira kao privremeno istinito da bi se nastavilo.Primer:> „Poslovanje izgleda da cilja mala i srednja preduzeća na osnovu jezika i paketa prikazanih na njegovoj veb-stranici.“To može biti razumna interpretacija, ali možda znate da 70% njegovih prihoda zapravo dolazi od ugovora sa velikim preduzećima.To nije problem veb-pretrage. To je problem konteksta.### DvosmislenostDvosmislenost postoji kada dostupni materijal ostavlja više od jedne razumne interpretacije.Na primer, dobavljač kaže „Isporuka u UK“ na svojoj početnoj stranici, ali stranica za isporuku navodi samo kopnenu Englesku i Vels.Informacija postoji. Njeno značenje je nejasno.### KontradikcijaKontradikcija je jača. Dva dokaza ukazuju u nekompatibilnim pravcima.Jedna stranica kompanije može da nazove proizvod „otkažite bilo kada“, dok trenutni uslovi opisuju obavezu od 12 meseci.To ne bi trebalo tiho da se prosečno obračunava u samouveren zaključak.### PrazninaPraznina znači da istraživanje trenutno ne sadrži dovoljno dokaza da odgovori na nešto važno.Možda minimalna količina veleprodajne narudžbine nikada nije otkrivena. Možda nijedan verodostojan izvor ne utvrđuje koliko dugo dobavljač posluje. Možda trenutne cene konkurenta jednostavno nisu javne.Praznina nije neuspešan izveštaj.To je mapa onoga što treba da se desi sledeće.---## ICC: ispravite interpretaciju bez ponovnog pokretanjaInteractive Contextual Correction — ICC — je deo Opis-a dizajniran za trenutke kada javni dokazi nisu cela priča.Važna ideja je da vaša intervencija ima tip.### Dodajte kontekstKoristite kontekst kada znate relevantnu činjenicu ili ograničenje koje Opis nije mogao razumno da zna.> „Naš prodajni tim je potvrdio da će ovaj dobavljač proizvoditi porudžbine privatne marke od 500 jedinica.“### Dodajte instrukcijuKoristite instrukciju kada želite da analiza prioritetizuje ili obrađuje postojeće informacije na drugačiji način.> „Za ovu odluku, pouzdanost isporuke je važnija od početne jedinične cene.“### Postavite pitanjeKoristite pitanje kada želite da ispitate ono što je već prisutno.> „Da li trenutni dokazi potvrđuju da garancija važi za komercijalne klijente?“Pitanja su posebno važna jer Opis ne bi trebalo da fabrikuje odgovor samo zato što ste pitali.Ako postojeći materijal ne može da odgovori na pitanje, ispravan ishod je praznina.Ta praznina onda može postati meta istraživanja.---## ICC i nova istraživanja su namerno različite operacijeOva razlika je suptilna, ali je fundamentalna za način na koji sistem treba da se ponaša.Pretpostavimo da vaša prva Analiza konkurencije kaže:> „Konkurent A prvenstveno opslužuje potrošače.“Iz nedavnog prodajnog razgovora znate da se kompanija pre šest meseci preorijentisala i da se sada fokusira na ugovore sa kancelarijama.To dodajete putem ICC-a kao autoritativni kontekst.Opis može da revidira interpretaciju koristeći ono što ste mu dostavili. Ne mora da se pretvara da je nezavisno otkrio vaše privatno znanje na vebu.Sada pretpostavimo da pitate:> „Koji procenat njenog poslovanja je korporativni?“Ni originalni dokazi ni vaše pojašnjenje ne sadrže taj broj.Iskren odgovor nije generisani procenat.To je praznina.Opis-ov put popunjavanja praznina može preuzeti nerešene praznine i izvršiti ciljane pretrage zasnovane na dokazima za nove dokaze. Novopronađeni materijal se dodaje istraživanju umesto da se tiho meša sa informacijama iz prvog prolaza.Razmislite o ove dve petlje ovako:**ICC pita: „Da li je sistem ispravno razumeo situaciju?“****Popunjavanje praznina pita: „Da li nam je potrebno više dokaza?“**Često su vam potrebna oba.---## Praktičan primer: istraživanje dobavljačaZamislite da nabavljate proizvod za klijenta.Prvi prolaz identifikuje četiri dobavljača i procenjuje oblasti kao što su cena, vreme isporuke, recenzije i vreme poslovanja. Izvori su priloženi relevantnim nalazima gde su dostupni.Dobavljač B je visoko rangiran.Pre nego što ga preporučite, primećujete dva problema:– prividna cena je preuzeta sa stranice maloprodajnog proizvoda;– minimalna veleprodajna količina je neproverena.Umesto da prihvatite rangiranje, komunicirate sa njim.Prvo, dodajte kontekst:> „Zahtevamo veleprodajnu isporuku za ponavljajuće narudžbine od približno 2.000 jedinica po kvartalu. Maloprodajne cene nisu korisne za donošenje odluka.“Zatim pitajte:> „Da li trenutni izvori dokazuju da Dobavljač B nudi veleprodajne uslove u ovom obimu?“Ako ne, to postaje praznina vredna istraživanja.Kada bolji dokazi ili autoritativni korisnički kontekst promene kriterijum koji koristi ocenjeni režim istraživanja, deterministički sloj ocenjivanja može ponovo izračunati rezultat.To je veoma drugačiji tok rada od traženja od četbota da „pokuša ponovo“.Znate šta se promenilo i zašto.---## Zašto je trag usavršavanja važanPoslovna istraživanja se menjaju.Ljudi uče nove činjenice. Veb-sajtovi se ažuriraju. Klijenti ispravljaju briefove. Pretpostavke koje su u ponedeljak izgledale razumne, u četvrtak postaju očigledno pogrešne.Trag usavršavanja daje tim promenama istoriju.Umesto da najnoviju prozu tretira kao da se pojavila niotkuda, Opis može da zadrži sekvencu razjašnjenja i usavršavanja koja ju je proizvela.Za konsultante i agencije, to je operativno korisno.Zamislite da klijent pita:> „Zašto se ova preporuka razlikuje od nacrta koji ste nam pokazali juče?“Loš odgovor je:> „AI ju je promenio.“Profesionalan odgovor je:> „Juče je analiza pretpostavljala da se njihova oblast usluge zaustavlja na Vest Jorkširu. Jutros ste potvrdili da sada opslužuju i Severozapad. Uključili smo tu informaciju i preračunali relevantno poređenje.“Tako zvuči proces istraživanja.---## Ne ispravljajte sveICC nije poziv da se istraživanje prisili da se složi sa vama.Ako rezultat dovodi u pitanje vaše prethodno uverenje i dokazi su jaki, promena konteksta dok ne dobijete željeni odgovor pobeđuje svrhu.Korisna disciplina je razlikovanje tri stanja:– Znam da je ovo pogrešno — ispravite to i navedite osnovu za svoje znanje.– Sumnjam da je ovo pogrešno — postavite pitanje ili stvorite prazninu u istraživanju.– Ne sviđa mi se ovaj zaključak — ostavite ga na miru dok ne dobijete dokaze.Ta granica je posebno važna u konsultantskom radu. Ljudska ekspertiza poboljšava AI istraživanje samo kada je čovek takođe spreman da bude izazvan.---## Vaša vežba drugog prolazaUzmite jedan kompletiran Opis izveštaj i ne pokrećite ga odmah ponovo.Umesto toga:1. Izaberite jedan zaključak koji bi suštinski uticao na odluku.2. Otvorite izvore priložene uz njega.3. Pročitajte pretpostavke, dvosmislenosti, kontradikcije i praznine oko izveštaja.4. Dodajte jedan deo konteksta za koji znate da je istinit.5. Postavite jedno pitanje na koje zaista ne znate odgovor.6. Ako trenutno istraživanje ne može da odgovori na njega, dozvolite da postane praznina.7. Koristite ciljano istraživanje praznina tamo gde je to prikladno.8. Uporedite revidirani rezultat sa originalnim.Cilj nije da se proizvede više teksta.Cilj je poboljšanje kvaliteta odluke.---## Princip iza funkcijeDobar AI ne bi trebalo da zahteva da ljudi odustanu od prosuđivanja.A dobro ljudsko prosuđivanje ne bi trebalo da zahteva da dokazi popuste mišljenju.Najkorisniji aranžman je kontrolisan razgovor između to dvoje.Opis pruža istraživačku strukturu. Javni dokazi pružaju spoljni pogled. Vaše iskustvo pruža kontekst koji veb možda nikada neće sadržati. Sloj neizvesnosti vam govori gde su veze slabe.Rezultat se tada može poboljšati umesto da se samo regeneriše.To je razlika između traženja odgovora od AI-ja i rada sa procesom inteligencije.Sledeće u seriji: kako pojedinačni režimi istraživanja postaju mnogo vredniji kada dokazi i kontekst putuju kroz tok rada.