Toinen tarkistus: Hyvän tekoälytutkimuksen haastaminen

Lähde ei ole sama asia kuin varmuusNäkeminen viittauksia on rauhoittavaa, mutta pelkkä viittausmerkki ei tee väittämästä totta.On ainakin neljä erillistä kysymystä, jotka kannattaa esittää:1. Onko lähde todella olemassa?2. Onko se oikea lähde tähän aiheeseen?3. Tukeeko se todella esitettyä väitettä?4. Onko olemassa jokin muu uskottava lähde, joka kumoaa sen?Opis käsittelee lähteiden alkuperää jo tutkimusobjektin osana eikä koristeellisina alaviitteinä. Löydökset voivat sisältää lähdeviitteitä, järjestelmä säilyttää todelliset, käytettävissä olleet lähteet, ja tulosten laadunvalvontakerros tarkistaa ongelmia, kuten virheelliset viittaukset ja epäilyttävät lähdemallit.Sinun, käyttäjän, toiminnan tulisi olla yhtä harkittua.Kun löydös on tärkeä, avaa lähde.Älä kysy ”sisältääkö tämä raportti viittauksia?”Kysy ”olisinko valmis puolustamaan tätä väittämää asiakkaalle tällä todisteella?”Se on paljon korkeampi standardi.---## Neljä epävarmuussignaalia, jotka kannattaa oppiaOpis erottaa useita epävarmuuden tyyppejä, koska ne vaativat erilaisia vastauksia.### OletusOletus on jotakin, mitä analyysin oli pakko pitää totena edetäkseen.Esimerkki:> ”Yritys vaikuttaa kohdistavan palvelunsa pk-yrityksiin verkkosivustollaan esitetyn kielen ja pakettien perusteella.”Tämä voi olla kohtuullinen tulkinta, mutta ehkä tiedät, että 70 % sen tuloista tulee itse asiassa yrityssopimuksista.Tämä ei ole verkkohakuongelma. Se on kontekstiongelma.### MoniselitteisyysMoniselitteisyys syntyy, kun saatavilla oleva materiaali jättää useamman kuin yhden kohtuullisen tulkinnan.Esimerkiksi toimittaja ilmoittaa kotisivullaan ”toimitus Suomeen”, mutta toimitussivu mainitsee vain manner-Suomen ja tietyt kaupungit.Tieto on olemassa. Sen merkitys on epäselvä.### RistiriitaRistiriita on vahvempi. Kaksi todistetta osoittaa yhteensopimattomiin suuntiin.Yksi yrityssivu voi kutsua tuotetta ”peruuta milloin tahansa”, kun taas nykyiset ehdot kuvaavat 12 kuukauden sitoumusta.Tätä ei pidä keskiarvoistaa hiljaisesti luotettavaksi johtopäätökseksi.### AukkoAukko tarkoittaa, että tutkimus ei tällä hetkellä sisällä tarpeeksi todisteita vastatakseen johonkin tärkeään.Ehkä tukkukaupan vähimmäistilausmäärää ei koskaan ilmoiteta. Ehkä mikään uskottava lähde ei vahvista, kuinka kauan toimittaja on toiminut. Ehkä kilpailijan nykyinen hinnoittelu ei yksinkertaisesti ole julkista.Aukko ei ole epäonnistunut raportti.Se on kartta siitä, mitä seuraavaksi on tapahduttava.---## ICC: korjaa tulkinta aloittamatta alustaInteraktiivinen kontekstuaalinen korjaus – ICC – on se osa Opista, joka on suunniteltu tilanteisiin, joissa julkinen todisteaineisto ei kerro koko tarinaa.Tärkeä ajatus on, että puuttumisellasi on tyyppi.### Lisää kontekstiaKäytä kontekstia, kun tiedät olennaisen seikan tai rajoituksen, jota Opis ei voinut kohtuudella tietää. > ”Myyntitiimimme vahvisti, että tämä toimittaja valmistaa private-label-tilauksia alkaen 500 yksiköstä.”### Lisää ohjeKäytä ohjetta, kun haluat analyysin priorisoivan tai käsittelevän olemassa olevaa tietoa eri tavalla.> ”Tätä päätöstä varten toimitusvarmuus on tärkeämpää kuin yksikköhinnan yleisarvio.”### Esitä kysymysKäytä kysymystä, kun haluat tarkastella sitä, mikä on jo olemassa.> ”Vahvistaako nykyinen todisteaineisto, että takuu koskee kaupallisia asiakkaita?”Kysymykset ovat erityisen tärkeitä, koska Opiksen ei pitäisi tuottaa vastausta vain siksi, että kysyit.Jos olemassa oleva materiaali ei voi vastata kysymykseen, oikea lopputulos on aukko.Tästä aukosta voi sitten tulla tutkimuskohde.---## ICC ja uusi tutkimus ovat tarkoituksellisesti erilaisia toimintojaTämä ero on hienovarainen, mutta se on perustavanlaatuinen järjestelmän tarkoitetulle toiminnalle.Oletetaan, että ensimmäinen kilpailija-analyysisi sanoo:> ”Kilpailija A palvelee ensisijaisesti kuluttajia.”Tiedät äskettäisestä myyntikeskustelusta, että yritys vaihtoi suuntaa kuusi kuukautta sitten ja keskittyy nyt toimistosopimuksiin.Lisäät sen ICC:n kautta auktoriteettisena kontekstina.Opis voi tarkistaa tulkintaa käyttämällä antamaasi tietoa. Sen ei tarvitse teeskennellä, että se olisi itsenäisesti löytänyt yksityisen tietosi verkosta.Oletetaanpa nyt, että kysyt:> ”Kuinka suuri prosenttiosuus sen liiketoiminnasta on yritysasiakkaita?”Alkuperäinen todisteaineisto tai selvennyksesi eivät sisällä tätä numeroa.Rehellinen vastaus ei ole generoitu prosenttiosuus.Se on aukko.Opiksen aukkojen täyttämisen polku voi ottaa ratkaisemattomia aukkoja ja suorittaa kohdennettuja perusteluja uusien todisteiden löytämiseksi. Uudet löydetyt materiaalit liitetään tutkimukseen sen sijaan, että ne sekoittuisivat hiljaisesti ensimmäisen kierroksen tietoihin.Ajattele näitä kahta silmukkaa näin:ICC kysyy: ”Ymmärsikö järjestelmä tilanteen oikein?” **Aukkojen täyttäminen kysyy: ”Tarvitsemmeko lisää todisteita?”**Tarvitset usein molempia.---## Käytännön esimerkki: toimittajatutkimusKuvittele, että hankit tuotetta asiakkaalle.Ensimmäisellä kierroksella tunnistetaan neljä toimittajaa ja arvioidaan alueita, kuten hinta, toimitusaika, arvostelut ja toiminta-aika. Lähteet liitetään asiaankuuluviin havaintoihin, jos saatavilla.Toimittaja B sijoittuu korkealle.Ennen kuin suosittelet sitä, huomaat kaksi ongelmaa:- näennäinen hinta on otettu vähittäismyyntituotesivulta;- tukkukaupan vähimmäismäärää ei ole vahvistettu.Sen sijaan, että hyväksyisit sijoituksen, vuorovaikutat sen kanssa.Lisää ensin konteksti:> ”Tarvitsemme tukkukaupan toimitusta toistuville tilauksille, noin 2 000 yksikköä neljännesvuosittain. Vähittäismyyntihinnoittelu ei ole hyödyllinen päätöksenteossa.”Kysy sitten:> ”Todistavatko nykyiset lähteet, että toimittaja B tarjoaa tukkukaupan ehtoja tällä volyymilla?”Jos eivät, siitä tulee tutkimisen arvoinen aukko.Kun parempi todisteaineisto tai auktoriteettinen käyttäjäkonteksti muuttaa pisteytetyn tutkimustilan käyttämää kriteeriä, deterministinen pisteytyskerros voi laskea tuloksen uudelleen.Tämä on hyvin erilainen työnkulku kuin chatbotin pyytäminen ”yritä uudelleen”.Tiedät, mikä muuttui ja miksi.---## Miksi tarkennuspolulla on merkitystäLiiketoiminnan tutkimus muuttuu.Ihmiset oppivat uusia faktoja. Verkkosivustot päivittyvät. Asiakkaat korjaavat briefejä. Oletukset, jotka näyttivät kohtuullisilta maanantaina, muuttuvat ilmeisen vääriksi torstaina.Tarkennuspolku antaa näille muutoksille historian.Sen sijaan, että uusin teksti käsiteltäisiin ikään kuin se olisi ilmestynyt tyhjästä, Opis voi säilyttää sitä tuottaneen selvennyksen ja tarkennuksen järjestyksen.Konsulteille ja toimistoille tämä on hyödyllistä operatiivisesti.Kuvittele, että asiakas kysyy:> ”Miksi tämä suositus eroaa eilen näyttämästänne luonnoksesta?”Huono vastaus on:> ”Tekoäly muutti sen.”Ammattimainen vastaus on:> ”Eilen analyysi oletti, että heidän palvelualueensa päättyi Länsi-Yorkshireen. Vahvistitte tänä aamuna, että he palvelevat nyt myös Luoteis-Englantia. Sisällytimme tiedon ja laskimme asiaankuuluvan vertailun uudelleen.”Tältä tutkimusprosessi kuulostaa.---## Älä korjaa kaikkeaICC ei ole kutsu pakottaa tutkimusta olemaan samaa mieltä kanssasi.Jos tulos haastaa ennakkokäsityksesi ja todisteet ovat vahvoja, kontekstin muuttaminen, kunnes saat haluamasi vastauksen, tekee tarkoituksen tyhjäksi.Hyödyllinen kurinalaisuus on erottaa kolme tilaa:- Tiedän tämän olevan väärin – korjaa se ja ilmoita tietosi perusta.- Epäilen tämän olevan väärin – esitä kysymys tai luo tutkimusaukko.- En pidä tästä johtopäätöksestä – anna sen olla, kunnes sinulla on todisteita.Tämä raja on erityisen tärkeä konsultointityössä. Ihmisen asiantuntemus parantaa tekoälytutkimusta vain silloin, kun ihminen on myös valmis tulemaan haastetuksi.---## Toisen kierroksen harjoituksesiOta yksi valmis Opis-raportti, äläkä suorita sitä heti uudelleen.Sen sijaan:1. Valitse yksi johtopäätös, joka vaikuttaisi olennaisesti päätökseen.2. Avaa siihen liitetyt lähteet.3. Lue raportin ympärillä olevat oletukset, moniselitteisyydet, ristiriidat ja aukot.4. Lisää yksi kontekstitieto, jonka tiedät olevan totta.5. Esitä yksi kysymys, jonka vastausta et aidosti tiedä.6. Jos nykyinen tutkimus ei voi vastata siihen, anna sen muodostua aukoksi.7. Käytä kohdennettua aukkotutkimusta tarvittaessa.8. Vertaa tarkistettua tulosta alkuperäiseen.Tavoitteena ei ole tuottaa lisää tekstiä.Se on parantaa päätöksen laatua.---## Ominaisuuden taustalla oleva periaateHyvä tekoäly ei saisi vaatia ihmisiä luopumaan arvostelukyvystään.Ja hyvä ihmisen arvostelukyky ei saisi vaatia todisteita antautumaan mielipiteille.Hyödyllisin järjestely on hallittu keskustelu näiden kahden välillä.Opis tarjoaa tutkimusrakenteen. Julkinen todisteaineisto tarjoaa ulkoisen näkemyksen. Kokemuksesi tarjoaa kontekstia, jota verkko ei välttämättä koskaan sisällä. Epävarmuuskerros kertoo, missä liitokset ovat heikkoja.Tulos voi sitten parantua sen sijaan, että se vain generoituisi uudelleen.Se on ero siinä, kysytkö tekoälyltä vastausta vai työskenteletkö älyprosessin kanssa.Sarjan seuraava osa: miten yksittäisistä tutkimustiloista tulee paljon arvokkaampia, kun todisteet ja konteksti kulkevat työnkulun läpi.