Lần duyệt thứ hai: Tại sao Nghiên cứu AI tốt nên được Thử thách

Nguồn không đồng nghĩa với sự chắc chắn

Việc nhìn thấy các trích dẫn có thể đáng tin cậy, nhưng một huy hiệu trích dẫn đơn thuần không làm cho một tuyên bố trở thành sự thật.

Có ít nhất bốn câu hỏi riêng biệt đáng để đặt ra:

1. Nguồn có thực sự tồn tại không?
2. Đây có phải là nguồn phù hợp cho chủ đề này không?
3. Nó có thực sự hỗ trợ tuyên bố cụ thể đang được đưa ra không?
4. Có nguồn đáng tin cậy nào khác mâu thuẫn với nó không?

Opis đã coi nguồn gốc của tài liệu là một phần của đối tượng nghiên cứu chứ không phải là các chú thích mang tính trang trí. Các phát hiện có thể mang theo tham chiếu nguồn, hệ thống lưu giữ các nguồn đã được chứng minh thực sự có sẵn cho quá trình chạy, và lớp kiểm soát chất lượng đầu ra kiểm tra các vấn đề như tham chiếu không hợp lệ và các mẫu nguồn đáng ngờ.

Đối với bạn, với tư cách là người vận hành, hành vi phải nhất quán và có chủ đích.

Khi một phát hiện quan trọng, hãy mở nguồn.

Đừng hỏi “báo cáo này có trích dẫn không?”

Hãy hỏi “tôi có cảm thấy thoải mái khi bảo vệ tuyên bố này trước khách hàng bằng cách sử dụng bằng chứng này không?”

Đó là một tiêu chuẩn cao hơn nhiều.

Bốn tín hiệu không chắc chắn đáng học hỏi

Opis phân tách một số loại không chắc chắn vì chúng đòi hỏi các phản hồi khác nhau.

Giả định

Một giả định là điều mà phân tích phải coi là đúng tạm thời để tiếp tục.

Ví dụ:

“Doanh nghiệp này dường như nhắm mục tiêu đến các doanh nghiệp vừa và nhỏ dựa trên ngôn ngữ và các gói sản phẩm được hiển thị trên trang web của họ.”

Đó có thể là một diễn giải hợp lý, nhưng có lẽ bạn biết rằng 70% doanh thu của họ thực sự đến từ các hợp đồng với doanh nghiệp lớn.

Đó không phải là vấn đề tìm kiếm trên web. Đó là vấn đề bối cảnh.

Mơ hồ

Sự mơ hồ tồn tại khi tài liệu có sẵn để lại nhiều hơn một cách diễn giải hợp lý.

Ví dụ, một nhà cung cấp ghi “giao hàng tại Vương quốc Anh” trên trang chủ của họ nhưng trang vận chuyển chỉ nêu tên vùng lục địa Anh và xứ Wales.

Thông tin tồn tại. Ý nghĩa của nó không rõ ràng.

Mâu thuẫn

Sự mâu thuẫn mạnh mẽ hơn. Hai bằng chứng chỉ ra các hướng không tương thích.

Một trang của công ty có thể gọi một sản phẩm là “hủy bỏ bất cứ lúc nào” trong khi các điều khoản hiện tại mô tả cam kết 12 tháng.

Điều đó không nên được ngầm trung bình hóa thành một kết luận tự tin.

Khoảng trống

Khoảng trống có nghĩa là nghiên cứu hiện không chứa đủ bằng chứng để trả lời một điều gì đó quan trọng.

Có thể số lượng đặt hàng tối thiểu bán buôn không bao giờ được tiết lộ. Có thể không có nguồn đáng tin cậy nào xác định thời gian một nhà cung cấp đã hoạt động. Có thể giá hiện tại của đối thủ cạnh tranh đơn giản là không công khai.

Một khoảng trống không phải là một báo cáo thất bại.

Đó là một bản đồ về những gì cần xảy ra tiếp theo.

ICC: sửa lỗi diễn giải mà không cần bắt đầu lại

Điều chỉnh Ngữ cảnh Tương tác — ICC — là phần của Opis được thiết kế cho những thời điểm khi bằng chứng công khai không phải là toàn bộ câu chuyện.

Ý tưởng quan trọng là sự can thiệp của bạn có một kiểu.

Thêm ngữ cảnh

Sử dụng ngữ cảnh khi bạn biết một sự thật hoặc ràng buộc có liên quan mà Opis không thể biết một cách hợp lý.

“Đội ngũ bán hàng của chúng tôi xác nhận rằng nhà cung cấp này sẽ sản xuất đơn hàng nhãn hiệu riêng từ 500 đơn vị.”

Thêm hướng dẫn

Sử dụng hướng dẫn khi bạn muốn phân tích ưu tiên hoặc xử lý thông tin hiện có theo cách khác.

“Đối với quyết định này, độ tin cậy giao hàng quan trọng hơn giá đơn vị niêm yết.”

Đặt câu hỏi

Sử dụng câu hỏi khi bạn muốn tìm hiểu những gì đã có sẵn.

“Bằng chứng hiện tại có xác định rằng bảo hành áp dụng cho khách hàng doanh nghiệp không?”

Các câu hỏi đặc biệt quan trọng vì Opis không nên tạo ra câu trả lời chỉ vì bạn đã hỏi.

Nếu tài liệu hiện có không thể trả lời câu hỏi, kết quả đúng là một khoảng trống.

Khoảng trống đó sau đó có thể trở thành mục tiêu nghiên cứu.

ICC và nghiên cứu mới là những hoạt động khác biệt có chủ đích

Sự khác biệt này tuy tinh tế nhưng lại rất cơ bản đối với cách hệ thống được thiết kế để hoạt động.

Giả sử Phân tích đối thủ đầu tiên của bạn nói:

“Đối thủ cạnh tranh A chủ yếu phục vụ người tiêu dùng.”

Bạn biết từ một cuộc trò chuyện bán hàng gần đây rằng công ty đã xoay trục sáu tháng trước và hiện tập trung vào các hợp đồng văn phòng.

Bạn thêm điều đó thông qua ICC như một ngữ cảnh có thẩm quyền.

Opis có thể sửa đổi cách diễn giải bằng cách sử dụng thông tin bạn cung cấp. Nó không cần phải giả vờ rằng nó tự mình khám phá kiến thức riêng tư của bạn trên web.

Bây giờ giả sử bạn hỏi:

“Tỷ lệ phần trăm kinh doanh của họ dành cho doanh nghiệp là bao nhiêu?”

Cả bằng chứng gốc lẫn lời giải thích của bạn đều không chứa con số đó.

Câu trả lời trung thực không phải là một tỷ lệ phần trăm được tạo ra.

Đó là một khoảng trống.

Con đường lấp đầy khoảng trống của Opis có thể lấy các khoảng trống chưa được giải quyết và thực hiện các tìm kiếm có mục tiêu để tìm bằng chứng mới. Tài liệu mới tìm được sẽ được thêm vào nghiên cứu thay vì bị nhầm lẫn một cách thầm lặng với thông tin từ lần chạy đầu tiên.

Hãy nghĩ về hai vòng lặp như thế này:

ICC hỏi: “Hệ thống có hiểu đúng tình huống không?”

Việc lấp đầy khoảng trống hỏi: “Chúng ta có cần thêm bằng chứng không?”

Bạn thường cần cả hai.

Một ví dụ thực tế: nghiên cứu nhà cung cấp

Hãy tưởng tượng bạn đang tìm nguồn cung ứng sản phẩm cho một khách hàng.

Lần chạy đầu tiên xác định bốn nhà cung cấp và đánh giá các lĩnh vực như giá cả, thời gian giao hàng, đánh giá và thời gian kinh doanh. Các nguồn được đính kèm vào các phát hiện liên quan khi có sẵn.

Nhà cung cấp B được xếp hạng cao.

Trước khi giới thiệu, bạn nhận thấy hai vấn đề:

• giá hiển thị được lấy từ một trang sản phẩm bán lẻ;
• số lượng tối thiểu bán buôn chưa được xác minh.

Thay vì chấp nhận xếp hạng, bạn tương tác với nó.

Đầu tiên, thêm ngữ cảnh:

“Chúng tôi yêu cầu cung cấp bán buôn cho các đơn hàng định kỳ khoảng 2.000 đơn vị mỗi quý. Giá bán lẻ không hữu ích cho việc ra quyết định.”

Sau đó hỏi:

“Các nguồn hiện tại có chứng minh Nhà cung cấp B cung cấp các điều khoản bán buôn ở mức khối lượng này không?”

Nếu không, đó trở thành một khoảng trống đáng để nghiên cứu.

Khi bằng chứng tốt hơn hoặc ngữ cảnh người dùng có thẩm quyền thay đổi một tiêu chí được sử dụng bởi một chế độ nghiên cứu được chấm điểm, lớp chấm điểm xác định có thể tính toán lại kết quả.

Đó là một quy trình làm việc rất khác so với việc yêu cầu một chatbot “thử lại lần nữa.”

Bạn biết điều gì đã thay đổi và tại sao.

Tại sao dấu vết tinh chỉnh lại quan trọng

Nghiên cứu kinh doanh thay đổi.

Con người học được những sự thật mới. Các trang web được cập nhật. Khách hàng sửa đổi các yêu cầu tóm tắt. Các giả định tưởng chừng hợp lý vào thứ Hai trở nên rõ ràng sai lầm vào thứ Năm.

Dấu vết tinh chỉnh mang lại lịch sử cho những thay đổi đó.

Thay vì coi văn xuôi mới nhất như thể nó xuất hiện từ hư không, Opis có thể giữ lại chuỗi làm rõ và tinh chỉnh đã tạo ra nó.

Đối với các nhà tư vấn và đại lý, điều đó hữu ích về mặt hoạt động.

Hãy tưởng tượng một khách hàng hỏi:

“Tại sao khuyến nghị này lại khác với bản nháp bạn đã cho chúng tôi xem ngày hôm qua?”

Một câu trả lời kém là:

“AI đã thay đổi nó.”

Một câu trả lời chuyên nghiệp là:

“Hôm qua, phân tích giả định rằng khu vực dịch vụ của họ dừng lại ở West Yorkshire. Sáng nay bạn đã xác nhận rằng họ hiện cũng phục vụ khu vực Tây Bắc. Chúng tôi đã kết hợp thông tin đó và tính toán lại sự so sánh liên quan.”

Đó là cách một quy trình nghiên cứu hoạt động.

Đừng sửa mọi thứ

ICC không phải là lời mời buộc nghiên cứu phải đồng ý với bạn.

Nếu một kết quả thách thức niềm tin trước đây của bạn và bằng chứng vững chắc, việc thay đổi ngữ cảnh cho đến khi bạn nhận được câu trả lời mong muốn sẽ làm mất đi mục đích.

Một nguyên tắc hữu ích là phân biệt ba trạng thái:

• Tôi biết điều này sai — hãy sửa nó và nêu cơ sở kiến thức của bạn.
• Tôi nghi ngờ điều này sai — hãy đặt câu hỏi hoặc tạo một khoảng trống nghiên cứu.
• Tôi không thích kết luận này — hãy để yên cho đến khi bạn có bằng chứng.

Ranh giới đó đặc biệt quan trọng trong công việc tư vấn. Chuyên môn của con người chỉ cải thiện nghiên cứu AI khi con người cũng sẵn sàng bị thách thức.

Bài tập kiểm tra lần thứ hai của bạn

Lấy một báo cáo Opis đã hoàn thành và không chạy lại ngay lập tức.

Thay vào đó:

1. Chọn một kết luận có thể ảnh hưởng đáng kể đến một quyết định.
2. Mở các nguồn đính kèm.
3. Đọc các giả định, sự mơ hồ, mâu thuẫn và khoảng trống xung quanh báo cáo.
4. Thêm một phần ngữ cảnh mà bạn biết là đúng.
5. Đặt một câu hỏi mà bạn thực sự không biết câu trả lời.
6. Nếu nghiên cứu hiện tại không thể trả lời, hãy cho phép nó trở thành một khoảng trống.
7. Sử dụng nghiên cứu khoảng trống có mục tiêu khi thích hợp.
8. So sánh kết quả đã sửa đổi với bản gốc.

Mục tiêu không phải là tạo ra nhiều văn bản hơn.

Đó là để cải thiện chất lượng của quyết định.

Nguyên tắc đằng sau tính năng này

AI tốt không nên yêu cầu con người từ bỏ khả năng phán đoán.

Và khả năng phán đoán tốt của con người không nên yêu cầu bằng chứng phải tuân theo ý kiến cá nhân.

Sự sắp xếp hữu ích nhất là một cuộc đối thoại có kiểm soát giữa hai bên.

Opis cung cấp cấu trúc nghiên cứu. Bằng chứng công khai cung cấp một cái nhìn bên ngoài. Kinh nghiệm của bạn cung cấp ngữ cảnh mà web có thể không bao giờ chứa. Lớp không chắc chắn cho bạn biết nơi các mối nối yếu.

Kết quả sau đó có thể được cải thiện thay vì chỉ đơn thuần là tái tạo.

Đó là sự khác biệt giữa việc yêu cầu AI một câu trả lời và làm việc với một quy trình tình báo.

Tiếp theo trong loạt bài: cách các chế độ nghiên cứu riêng lẻ trở nên giá trị hơn nhiều khi bằng chứng và ngữ cảnh di chuyển qua một quy trình làm việc.