Drugie podejście: Dlaczego dobre badania AI powinny być kwestionowane

Źródło to nie to samo co pewność

Widok cytowań jest uspokajający, ale sama odznaka cytowania nie czyni twierdzenia prawdziwym.

Warto zadać co najmniej cztery osobne pytania:

1. Czy źródło faktycznie istnieje?
2. Czy jest to właściwe źródło dla tego tematu?
3. Czy faktycznie wspiera konkretne twierdzenie?
4. Czy istnieje inne wiarygodne źródło, które mu zaprzecza?

Opis już traktuje pochodzenie źródła jako część obiektu badawczego, a nie jako ozdobne przypisy. Ustalenia mogą zawierać odniesienia do źródeł, system przechowuje ugruntowane źródła, które były faktycznie dostępne dla przebiegu, a warstwa kontroli jakości wyjścia sprawdza problemy takie jak nieprawidłowe odniesienia i podejrzane wzorce źródeł.

Dla Ciebie jako operatora, zachowanie powinno być równie rozważne.

Gdy ustalenie ma znaczenie, otwórz źródło.

Nie pytaj „czy ten raport ma cytowania?”

Zapytaj „czy czułbym się komfortowo broniąc tego twierdzenia przed klientem, używając tych dowodów?”

To znacznie wyższy standard.

Cztery sygnały niepewności, które warto poznać

Opis rozróżnia kilka rodzajów niepewności, ponieważ wymagają one różnych reakcji.

Założenie

Założenie to coś, co analiza musiała potraktować jako tymczasowo prawdziwe, aby móc kontynuować.

Przykład:

„Firma wydaje się kierować do MŚP, bazując na języku i pakietach wyświetlanych na jej stronie internetowej.”

Może to być rozsądna interpretacja, ale być może wiesz, że 70% jej przychodów pochodzi faktycznie z kontraktów korporacyjnych.

To nie jest problem wyszukiwania w sieci. To problem kontekstu.

Niejednoznaczność

Niejednoznaczność występuje, gdy dostępny materiał pozostawia więcej niż jedną rozsądną interpretację.

Na przykład, dostawca na swojej stronie głównej deklaruje „dostawę na terenie Wielkiej Brytanii”, ale strona z informacjami o wysyłce wymienia tylko Anglię kontynentalną i Walię.

Informacja istnieje. Jej znaczenie jest niejasne.

Sprzeczność

Sprzeczność jest silniejsza. Dwa fragmenty dowodów wskazują w niekompatybilnych kierunkach.

Jedna strona firmy może nazywać produkt „anuluj w dowolnym momencie”, podczas gdy aktualne warunki opisują 12-miesięczne zobowiązanie.

Tego nie należy cicho uśredniać do pewnego wniosku.

Luka

Luka oznacza, że badanie nie zawiera obecnie wystarczających dowodów, aby odpowiedzieć na coś ważnego.

Być może minimalna ilość zamówienia hurtowego nigdy nie jest ujawniana. Być może żadne wiarygodne źródło nie ustala, jak długo dostawca działa na rynku. Być może aktualne ceny konkurenta po prostu nie są publiczne.

Luka nie jest nieudanym raportem.

To mapa tego, co musi się wydarzyć dalej.

ICC: popraw interpretację bez rozpoczynania od nowa

Interaktywna Korekta Kontekstowa — ICC — to część Opisu zaprojektowana na momenty, gdy publiczne dowody nie stanowią całej historii.

Ważna idea polega na tym, że Twoja interwencja ma typ.

Dodaj kontekst

Użyj kontekstu, gdy znasz istotny fakt lub ograniczenie, którego Opis nie mógłby racjonalnie znać.

„Nasz zespół sprzedaży potwierdził, że ten dostawca będzie produkować zamówienia pod marką własną od 500 sztuk.”

Dodaj instrukcję

Użyj instrukcji, gdy chcesz, aby analiza priorytetyzowała lub przetwarzała istniejące informacje inaczej.

„Dla tej decyzji niezawodność dostawy ma większe znaczenie niż cena jednostkowa.”

Zadaj pytanie

Użyj pytania, gdy chcesz zbadać to, co już jest obecne.

„Czy obecne dowody potwierdzają, że gwarancja dotyczy klientów komercyjnych?”

Pytania są szczególnie ważne, ponieważ Opis nie powinien tworzyć odpowiedzi tylko dlatego, że o nią poprosiłeś.

Jeśli istniejący materiał nie może odpowiedzieć na pytanie, prawidłowym wynikiem jest luka.

Ta luka może następnie stać się celem badania.

ICC i nowe badania to celowo różne operacje

To rozróżnienie jest subtelne, ale fundamentalne dla zamierzonego działania systemu.

Załóżmy, że Twoja pierwsza Analiza konkurencji mówi:

„Konkurent A obsługuje głównie konsumentów.”

Z ostatniej rozmowy handlowej wiesz, że firma zmieniła kierunek sześć miesięcy temu i teraz koncentruje się na kontraktach biurowych.

Dodajesz to poprzez ICC jako autorytatywny kontekst.

Opis może skorygować interpretację, używając dostarczonych przez Ciebie danych. Nie musi udawać, że niezależnie odkrył Twoją prywatną wiedzę w sieci.

Teraz załóżmy, że pytasz:

„Jaki procent jego działalności to kontrakty korporacyjne?”

Ani pierwotne dowody, ani Twoje wyjaśnienie nie zawierają tej liczby.

Uczciwa odpowiedź to nie wygenerowany procent.

To luka.

Ścieżka wypełniania luk w Opis może przyjąć nierozwiązane luki i przeprowadzić ukierunkowane wyszukiwania ugruntowujące w celu znalezienia nowych dowodów. Nowo znaleziony materiał jest dołączany do badania, zamiast być cicho mylony z informacjami z pierwszego przebiegu.

Pomyśl o tych dwóch pętlach w ten sposób:

ICC pyta: „Czy system poprawnie zrozumiał sytuację?”

Wypełnianie luk pyta: „Czy potrzebujemy więcej dowodów?”

Często potrzebujesz obu.

Praktyczny przykład: badanie dostawców

Wyobraź sobie, że pozyskujesz produkt dla klienta.

Pierwszy przebieg identyfikuje czterech dostawców i ocenia obszary takie jak cena, czas dostawy, recenzje i czas prowadzenia działalności. Źródła są dołączane do odpowiednich ustaleń, jeśli są dostępne.

Dostawca B zajmuje wysoką pozycję.

Przed jego rekomendacją zauważasz dwie kwestie:

• widoczna cena pochodzi ze strony produktu detalicznego;
• minimalna ilość hurtowa jest niezweryfikowana.

Zamiast akceptować ranking, wchodzisz z nim w interakcję.

Najpierw dodaj kontekst:

„Wymagamy dostaw hurtowych dla cyklicznych zamówień około 2000 sztuk kwartalnie. Ceny detaliczne nie są przydatne do podejmowania decyzji.”

Następnie zapytaj:

„Czy obecne źródła dowodzą, że Dostawca B oferuje warunki hurtowe przy tej objętości?”

Jeśli nie, staje się to luką wartą zbadania.

Kiedy lepsze dowody lub autorytatywny kontekst użytkownika zmieniają kryterium używane przez punktowany tryb badania, deterministyczna warstwa punktacji może ponownie obliczyć wynik.

To zupełnie inny przepływ pracy niż proszenie chatbota, aby „spróbował jeszcze raz”.

Wiesz, co się zmieniło i dlaczego.

Dlaczego ścieżka udoskonalania ma znaczenie

Badania biznesowe się zmieniają.

Ludzie poznają nowe fakty. Strony internetowe są aktualizowane. Klienci poprawiają briefy. Założenia, które w poniedziałek wydawały się rozsądne, w czwartek stają się ewidentnie błędne.

Ścieżka udoskonalenia nadaje tym zmianom historię.

Zamiast traktować najnowszy tekst tak, jakby pojawił się znikąd, Opis może zachować sekwencję wyjaśnień i udoskonaleń, która go stworzyła.

Dla konsultantów i agencji jest to użyteczne operacyjnie.

Wyobraź sobie, że klient pyta:

„Dlaczego ta rekomendacja różni się od projektu, który nam wczoraj pokazałeś?”

Zła odpowiedź to:

„AI to zmieniło.”

Profesjonalna odpowiedź to:

„Wczoraj analiza zakładała, że ich obszar usług kończył się na West Yorkshire. Dziś rano potwierdziłeś, że obsługują również Północno-Zachodnią Anglię. Włączyliśmy te informacje i ponownie obliczyliśmy odpowiednie porównanie.”

Tak brzmi proces badawczy.

Nie poprawiaj wszystkiego

ICC nie jest zaproszeniem do wymuszania na badaniach zgodności z Twoimi poglądami.

Jeśli wynik kwestionuje Twoje wcześniejsze przekonania, a dowody są mocne, zmienianie kontekstu, aż otrzymasz pożądaną odpowiedź, niweczy cel.

Przydatną dyscypliną jest rozróżnienie trzech stanów:

• Wiem, że to jest błędne — popraw to i podaj podstawę swojej wiedzy.
• Podejrzewam, że to jest błędne — zadaj pytanie lub stwórz lukę badawczą.
• Nie podoba mi się ten wniosek — pozostaw go, dopóki nie będziesz miał dowodów.

Ta granica jest szczególnie ważna w pracy doradczej. Wiedza ekspercka człowieka poprawia badania AI tylko wtedy, gdy człowiek jest również gotów być poddany wyzwaniu.

Twoje ćwiczenie z drugiego przebiegu

Weź jeden ukończony raport Opis i nie uruchamiaj go ponownie natychmiast.

Zamiast tego:

1. Wybierz jeden wniosek, który istotnie wpłynąłby na decyzję.
2. Otwórz dołączone do niego źródła.
3. Przeczytaj założenia, niejasności, sprzeczności i luki wokół raportu.
4. Dodaj jeden fragment kontekstu, który wiesz, że jest prawdziwy.
5. Zadaj jedno pytanie, na którego odpowiedź szczerze nie znasz.
6. Jeśli obecne badanie nie może na nie odpowiedzieć, pozwól, aby stało się luką.
7. Użyj ukierunkowanego badania luk, gdy jest to stosowne.
8. Porównaj zmieniony wynik z oryginalnym.

Celem nie jest stworzenie większej ilości tekstu.

Jest nim poprawa jakości decyzji.

Zasada stojąca za funkcją

Dobre AI nie powinno wymagać od ludzi rezygnacji z osądu.

I dobry ludzki osąd nie powinien wymagać, aby dowody ustępowały opinii.

Najbardziej użytecznym rozwiązaniem jest kontrolowana rozmowa między nimi.

Opis zapewnia strukturę badania. Publiczne dowody dostarczają zewnętrznego widoku. Twoje doświadczenie dostarcza kontekstu, którego sieć może nigdy nie zawierać. Warstwa niepewności informuje Cię, gdzie połączenia są słabe.

Wynik może się wtedy poprawić, zamiast jedynie odtwarzać.

To jest różnica między pytaniem AI o odpowiedź a pracą z procesem wywiadowczym.

Następnie w serii: jak poszczególne tryby badania stają się znacznie cenniejsze, gdy dowody i kontekst przepływają przez workflow.