Semakan Kedua: Mengapa Penyelidikan AI Baik Perlu Dicabar

Sumber bukanlah perkara yang sama dengan kepastianMelihat rujukan adalah meyakinkan, tetapi lencana rujukan sahaja tidak menjadikan sesuatu dakwaan itu benar.Terdapat sekurang-kurangnya empat soalan berasingan yang perlu ditanya:1. Adakah sumber itu benar-benar wujud?2. Adakah ia sumber yang tepat untuk subjek ini?3. Adakah ia benar-benar menyokong dakwaan khusus yang dibuat?4. Adakah terdapat sumber kredibel lain yang bercanggah dengannya?Opis sudah menganggap asal-usul sumber sebagai sebahagian daripada objek penyelidikan dan bukannya nota kaki hiasan. Penemuan boleh disertakan rujukan sumber, sistem mengekalkan sumber yang berasas yang sebenarnya tersedia untuk pelaksanaan, dan lapisan QA output memeriksa masalah seperti rujukan tidak sah dan pola sumber yang mencurigakan.Bagi anda sebagai pengendali, tingkah laku haruslah sama berhati-hati.Apabila sesuatu penemuan penting, buka sumbernya.Jangan tanya “adakah laporan ini mempunyai rujukan?”Tanya “adakah saya selesa mempertahankan dakwaan ini kepada pelanggan menggunakan bukti ini?”Itu adalah piawaian yang jauh lebih tinggi.---## Empat isyarat ketidakpastian yang perlu dipelajariOpis memisahkan beberapa jenis ketidakpastian kerana ia memerlukan tindak balas yang berbeza.### AnggapanAnggapan adalah sesuatu yang perlu dianggap benar sementara oleh analisis untuk meneruskan.Contoh:> “Perniagaan itu kelihatan menyasarkan PKS berdasarkan bahasa dan pakej yang dipaparkan di laman webnya.”Itu mungkin tafsiran yang munasabah, tetapi mungkin anda tahu bahawa 70% daripada pendapatannya sebenarnya berasal dari kontrak perusahaan.Itu bukan masalah carian web. Itu masalah konteks.### KekaburanKekaburan wujud apabila bahan yang tersedia meninggalkan lebih daripada satu tafsiran yang munasabah.Sebagai contoh, pembekal mengatakan “penghantaran UK” di halaman utamanya tetapi halaman penghantaran hanya menamakan tanah besar England dan Wales.Maklumat itu wujud. Maksudnya tidak jelas.### PercanggahanPercanggahan adalah lebih kuat. Dua keping bukti menunjuk ke arah yang tidak serasi.Satu halaman syarikat mungkin memanggil produk “batal bila-bila masa” manakala syarat semasa menerangkan komitmen 12 bulan.Itu tidak seharusnya dirata-ratakan secara senyap menjadi kesimpulan yang yakin.### JurangJurang bermaksud penyelidikan pada masa ini tidak mengandungi bukti yang mencukupi untuk menjawab sesuatu yang penting.Mungkin kuantiti pesanan minimum borong tidak pernah didedahkan. Mungkin tiada sumber kredibel yang menetapkan berapa lama pembekal telah berdagang. Mungkin harga semasa pesaing hanya tidak umum.Jurang bukanlah laporan yang gagal.Ia adalah peta tentang apa yang perlu berlaku seterusnya.---## ICC: betulkan tafsiran tanpa bermula semulaPembetulan Kontekstual Interaktif—ICC—adalah bahagian Opis yang direka untuk saat-saat apabila bukti awam bukanlah keseluruhan cerita.Idea penting adalah bahawa campur tangan anda mempunyai jenis.### Tambah konteksGunakan konteks apabila anda mengetahui fakta atau kekangan yang relevan yang Opis tidak mungkin tahu secara munasabah.> “Pasukan jualan kami mengesahkan bahawa pembekal ini akan mengeluarkan pesanan label peribadi bermula dari 500 unit.”### Tambah arahanGunakan arahan apabila anda mahu analisis mengutamakan atau mengendalikan maklumat sedia ada secara berbeza.> “Untuk keputusan ini, kebolehpercayaan penghantaran lebih penting daripada harga unit utama.”### Tanya soalanGunakan soalan apabila anda mahu menyoal siasat apa yang sudah ada.> “Adakah bukti semasa menetapkan bahawa waranti terpakai kepada pelanggan komersial?”Soalan sangat penting kerana Opis tidak seharusnya mencipta jawapan hanya kerana anda bertanya.Jika bahan sedia ada tidak dapat menjawab soalan, hasil yang betul adalah jurang.Jurang itu kemudian boleh menjadi sasaran penyelidikan.---## ICC dan penyelidikan baharu adalah operasi yang sengaja berbezaPerbezaan ini halus, tetapi ia adalah asas kepada bagaimana sistem ini bertujuan untuk berfungsi.Katakan analisis pesaing pertama anda mengatakan:> “Pesaing A terutamanya melayani pengguna.”Anda tahu dari perbualan jualan baru-baru ini bahawa syarikat itu beralih arah enam bulan lalu dan kini menumpukan pada kontrak pejabat.Anda menambahkannya melalui ICC sebagai konteks berwibawa.Opis boleh menyemak semula tafsiran menggunakan apa yang anda bekalkan. Ia tidak perlu berpura-pura ia secara bebas menemui pengetahuan peribadi anda di web.Sekarang andaikan anda bertanya:> “Berapa peratus perniagaannya adalah korporat?”Bukan bukti asal mahupun penjelasan anda mengandungi nombor itu.Jawapan yang jujur bukanlah peratusan yang dijana.Ia adalah jurang.Laluan pengisian jurang Opis boleh mengambil jurang yang belum diselesaikan dan melakukan carian asas yang disasarkan untuk bukti baharu. Bahan yang baru ditemui dilampirkan pada penyelidikan dan bukannya secara senyap bercampur dengan maklumat dari lulus pertama.Fikirkan dua gelung seperti ini:**ICC bertanya: “Adakah sistem memahami situasi dengan betul?”****Pengisian jurang bertanya: “Adakah kita memerlukan lebih banyak bukti?”**Anda sering memerlukan kedua-duanya.---## Contoh praktikal: penyelidikan pembekalBayangkan anda sedang menyumberkan produk untuk pelanggan.Lulus pertama mengenal pasti empat pembekal dan menilai kawasan seperti harga, masa penghantaran, ulasan dan tempoh perniagaan. Sumber dilampirkan pada penemuan yang relevan jika tersedia.Pembekal B mendapat kedudukan tinggi.Sebelum mengesyorkannya, anda mendapati dua isu:- harga yang jelas diambil dari halaman produk runcit;- kuantiti minimum borong tidak disahkan.Daripada menerima kedudukan itu, anda berinteraksi dengannya.Pertama, tambah konteks:> “Kami memerlukan bekalan borong untuk pesanan berulang kira-kira 2,000 unit setiap suku tahun. Penetapan harga runcit tidak berguna untuk membuat keputusan.”Kemudian tanya:> “Adakah sumber semasa membuktikan Pembekal B menawarkan syarat borong pada volum ini?”Jika tidak, itu menjadi jurang yang patut diselidiki.Apabila bukti yang lebih baik atau konteks pengguna berwibawa mengubah kriteria yang digunakan oleh mod penyelidikan yang dinilai, lapisan penilaian deterministik boleh mengira semula hasilnya.Itu adalah aliran kerja yang sangat berbeza daripada meminta chatbot untuk “cuba lagi.”Anda tahu apa yang berubah dan mengapa.---## Mengapa jejak penapisan pentingPenyelidikan perniagaan berubah.Orang ramai mempelajari fakta baharu. Laman web dikemas kini. Pelanggan membetulkan ringkasan. Anggapan yang kelihatan munasabah pada hari Isnin menjadi jelas salah pada hari Khamis.Jejak penapisan memberikan perubahan itu sejarah.Daripada menganggap prosa terbaharu seolah-olah ia muncul dari tiada, Opis boleh mengekalkan urutan penjelasan dan penapisan yang menghasilkannya.Bagi perunding dan agensi, itu berguna dari segi operasi.Bayangkan seorang pelanggan bertanya:> “Mengapa cadangan ini berbeza daripada draf yang anda tunjukkan kepada kami semalam?”Jawapan yang tidak baik adalah:> “AI mengubahnya.”Jawapan profesional adalah:> “Semalam analisis mengandaikan kawasan perkhidmatan mereka berhenti di West Yorkshire. Anda mengesahkan pagi ini bahawa mereka kini juga melayani North West. Kami menggabungkan maklumat itu dan mengira semula perbandingan yang relevan.”Begitulah bunyi proses penyelidikan.---## Jangan betulkan semuanyaICC bukanlah jemputan untuk memaksa penyelidikan bersetuju dengan anda.Jika sesuatu hasil mencabar kepercayaan awal anda dan bukti itu kuat, mengubah konteks sehingga anda menerima jawapan yang anda inginkan akan mengalahkan tujuan.Disiplin yang berguna adalah untuk membezakan tiga keadaan:- Saya tahu ini salah — betulkan dan nyatakan dasar pengetahuan anda.- Saya mengesyaki ini salah — tanya soalan atau cipta jurang penyelidikan.- Saya tidak suka kesimpulan ini — biarkan sahaja sehingga anda mempunyai bukti.Sempadan itu sangat penting dalam kerja perundingan. Kepakaran manusia meningkatkan penyelidikan AI hanya apabila manusia juga bersedia untuk dicabar.---## Latihan pas kedua andaAmbil satu laporan Opis yang lengkap dan jangan jalankannya semula dengan segera.Sebaliknya:1. Pilih satu kesimpulan yang akan memberi kesan material kepada keputusan.2. Buka sumber yang dilampirkan padanya.3. Baca andaian, kekaburan, percanggahan dan jurang di sekitar laporan.4. Tambah satu keping konteks yang anda tahu adalah benar.5. Tanya satu soalan yang jawapannya anda benar-benar tidak tahu.6. Jika penyelidikan semasa tidak dapat menjawabnya, biarkan ia menjadi jurang.7. Gunakan penyelidikan jurang yang disasarkan apabila sesuai.8. Bandingkan hasil yang disemak dengan yang asal.Objektifnya bukan untuk menghasilkan lebih banyak teks.Ia adalah untuk meningkatkan kualiti keputusan.---## Prinsip di sebalik ciri iniAI yang baik tidak seharusnya menuntut manusia menyerahkan pertimbangan.Dan pertimbangan manusia yang baik tidak seharusnya menuntut bukti menyerah kepada pendapat.Susunan yang paling berguna adalah perbualan terkawal antara kedua-duanya.Opis menyediakan struktur penyelidikan. Bukti awam menyediakan pandangan luaran. Pengalaman anda menyediakan konteks yang mungkin tidak pernah terkandung dalam web. Lapisan ketidakpastian memberitahu anda di mana sambungan adalah lemah.Hasilnya kemudian boleh bertambah baik dan bukannya hanya menjana semula.Itulah perbezaan antara meminta AI untuk jawapan dan bekerja dengan proses kecerdasan.Seterusnya dalam siri ini: bagaimana mod penyelidikan individu menjadi lebih berharga apabila bukti dan konteks mengalir melalui aliran kerja.