Chuyên gia BCG: 7 kỹ thuật chính để kiểm soát ảo giác AI

1. Meta description:
Hướng dẫn chi tiết cách giảm thiểu ảo giác AI chatbot thông qua các kỹ thuật đặt câu hỏi hiệu quả, từ việc đưa ra chỉ dẫn rõ ràng đến phương pháp tự kiểm chứng.

2. Meta keywords:
Ảo giác AI, chatbot AI, hạn chế ảo giác, kỹ thuật đặt prompt, meta-prompting, chuỗi suy luận, tự kiểm chứng AI, chỉ dẫn chi tiết

3. SEO title:
7 Kỹ thuật đột phá giúp kiểm soát ảo giác của AI chatbot - Lời khuyên từ chuyên gia BCG

Chi tiết nội dung:
- Ảo giác AI xuất phát từ hai nguyên nhân chính: dữ liệu huấn luyện không đầy đủ/mâu thuẫn và người dùng đưa ra yêu cầu không đủ chi tiết

- Matt Kropp, giám đốc công nghệ tại BCG X đề xuất các kỹ thuật giảm thiểu ảo giác:
  + Đưa ra chỉ dẫn chi tiết và chính xác cho AI
  + Sử dụng ngôn ngữ rõ ràng, súc tích
  + Mọi thông tin trong prompt phải liên quan trực tiếp đến câu hỏi

- Phương pháp đặt câu hỏi theo bước:
  + Chia nhỏ thành các câu hỏi trực tiếp thay vì một câu hỏi mở
  + Xây dựng context qua đối thoại
  + Yêu cầu AI trả lời theo cấu trúc: giới thiệu, phát hiện chính, ưu nhược điểm

- Hướng dẫn AI sử dụng nguồn tin cậy:
  + Chỉ định rõ các nguồn tham khảo uy tín
  + Sử dụng cú pháp "According to..." để trích dẫn từ nguồn cụ thể
  + Tránh nguồn thông tin không đáng tin cậy như Reddit

- Kỹ thuật meta-prompting:
  + Yêu cầu AI tự viết câu hỏi
  + Gán vai trò chuyên gia cho AI
  + Giúp tăng chất lượng và giảm sai sót trong câu trả lời

- Phương pháp chuỗi suy luận:
  + Chia nhỏ vấn đề thành các bước logic
  + Cho phép kiểm tra quá trình suy luận của AI
  + Bắt đầu bằng cụm từ "Using chain of thought..." 

- Kỹ thuật tự kiểm chứng:
  + AI tự đặt câu hỏi kiểm tra độ chính xác
  + Xem xét lại và điều chỉnh câu trả lời ban đầu
  + Đưa ra câu trả lời cuối cùng đã được xác minh

📌 7 kỹ thuật chính để kiểm soát ảo giác AI bao gồm: chỉ dẫn chi tiết, đặt câu hỏi theo bước, sử dụng nguồn đáng tin cậy, meta-prompting, chuỗi suy luận và tự kiểm chứng. Các phương pháp này do chuyên gia BCG X và các nhà nghiên cứu từ Meta, Google phát triển.

https://www.wsj.com/tech/ai/ai-chatgpt-chatbot-hallucinations-tips-f081079c

#WSJ

Cách giảm ảo giác của chatbot AI

Một số lỗi là không thể tránh khỏi. Nhưng có những cách đặt câu hỏi giúp chatbot ít bịa đặt hơn.

Tác giả: Bart Ziegler
Ngày 30 tháng 1 năm 2025, 11:00 sáng ET

Bạn không thể hoàn toàn ngăn chatbot AI thỉnh thoảng gặp ảo giác—tức là đưa ra câu trả lời sai lệch, gây hiểu lầm hoặc thậm chí hoàn toàn bịa đặt. Nhưng có một số cách giúp giảm bớt lượng thông tin sai lệch mà chatbot cung cấp khi phản hồi yêu cầu của bạn.

Tại sao chatbot AI bị ảo giác?

Theo Matt Kropp, giám đốc công nghệ tại BCG X, một đơn vị thuộc Boston Consulting Group, ảo giác AI bắt nguồn từ hai nguyên nhân:

1. Dữ liệu đào tạo có vấn đề – Nếu chatbot được huấn luyện trên dữ liệu có mâu thuẫn, sai sót hoặc thiếu sót về chủ đề bạn đang hỏi, nó có thể đưa ra thông tin không chính xác. Người dùng không thể kiểm soát yếu tố này.

2. Lệnh yêu cầu chưa đủ cụ thể – Nếu bạn không chỉ định rõ những gì mình muốn, chatbot có thể tự "điền vào chỗ trống" bằng thông tin không chính xác. Đây là yếu tố bạn có thể kiểm soát được.

Dưới đây là một số kỹ thuật mà các chuyên gia khuyên dùng để giảm thiểu nhưng không loại bỏ hoàn toàn hiện tượng ảo giác của chatbot AI.

1. Đưa ra hướng dẫn chi tiết cho AI

Hãy nói rõ ràng với AI chính xác những gì bạn muốn. Nếu câu lệnh của bạn quá chung chung, AI có thể tự do tìm kiếm trong cơ sở dữ liệu của mình, làm tăng nguy cơ trả lời sai hoặc bịa đặt.

Darin Stewart, chuyên gia phân tích tại công ty tư vấn công nghệ Gartner, cho biết:

“Bạn cần đưa ra hướng dẫn chi tiết, sử dụng ngôn ngữ chính xác, nhưng cũng phải đảm bảo ngắn gọn để mọi thông tin trong yêu cầu đều liên quan trực tiếp đến câu hỏi.”

Ví dụ, khi tôi đang tìm mua một chiếc ô tô và nhờ AI so sánh, chatbot cung cấp cho tôi thông tin hữu ích về kích thước, giá cả và tính năng của các mẫu SUV mà tôi quan tâm. Tuy nhiên, tôi thấy mức tiêu thụ nhiên liệu của một mẫu xe có vẻ quá cao so với thực tế.

Sau khi kiểm tra kỹ hơn, tôi nhận ra AI đã lấy thông số từ phiên bản động cơ diesel—một phiên bản không được bán tại Mỹ.

Trong một lần khác, AI đưa ra thông tin về một mẫu SUV nhưng lại khác với thông tin trên website chính hãng. Hóa ra, chatbot đã dựa vào thông tin của một phiên bản cũ, thay vì mẫu xe năm 2025.

Cách phòng tránh: Tôi nên nói rõ trong lệnh yêu cầu rằng tôi muốn thông tin giới hạn trong các mẫu xe đang có mặt trên thị trường Mỹ.

Đưa ra hướng dẫn rõ ràng và chi tiết có thể giúp giảm sai sót của chatbot AI, từ đó cải thiện độ chính xác của thông tin mà bạn nhận được.

2. Cấu trúc câu hỏi theo từng bước

Các chuyên gia khuyên rằng bạn nên đặt câu hỏi dưới dạng các câu hỏi nhỏ, trực tiếp, thay vì một câu hỏi mở duy nhất. Hãy hỏi từng câu một, theo một quá trình gọi là nhắc lệnh lặp (iterative prompting). Cách này giúp hạn chế AI đưa ra thông tin sai lệch và cũng tạo ra kết quả hữu ích hơn.

Matt Kropp cho biết:

“Tôi không nghĩ về tương tác với mô hình AI như một câu hỏi và câu trả lời một lần, mà như một cuộc đối thoại. Bạn đang xây dựng ngữ cảnh.”

Ví dụ, nếu bạn đang tìm mua máy rửa bát, đừng chỉ hỏi: “Tôi nên mua máy rửa bát nào?”. Thay vào đó, hãy bắt đầu với:

• “Tôi cần mua một máy rửa bát mới. Những tính năng chính tôi nên cân nhắc là gì?”

Sau khi AI trả lời, bạn có thể tiếp tục với các câu hỏi như:

• “Những thương hiệu nào nổi tiếng về độ bền và thương hiệu nào nên tránh?”
• “Tôi nên chi bao nhiêu tiền?”
• “Các mẫu máy giá cao có đáng để đầu tư không?”

3. Hướng dẫn AI xây dựng câu trả lời có cấu trúc

Để định hướng AI trả lời một cách có hệ thống, bạn có thể yêu cầu nó trình bày theo một cấu trúc cụ thể, ví dụ:

“Hãy trả lời theo cấu trúc sau: phần mở đầu, những phát hiện chính, ưu và nhược điểm của các mẫu máy khác nhau, và kết luận. Hãy đảm bảo cung cấp bằng chứng hỗ trợ cho từng nhận định của bạn.”

Khi tôi đưa ra yêu cầu như vậy, AI đã tạo một phân tích chi tiết 500 từ về các mẫu máy rửa bát tôi nên xem xét và những mẫu nên tránh. Và theo tôi đánh giá, không có ảo giác nào xuất hiện.

4. Hướng dẫn AI sử dụng nguồn đáng tin cậy

Bạn có thể yêu cầu AI sử dụng các nguồn cụ thể, giúp nó tránh lấy thông tin từ những trang web thiếu chính xác, thiên vị hoặc không đáng tin cậy.

Ví dụ, khi tôi tìm mua xe hơi, AI đôi khi trích dẫn các bài viết từ những người dùng ngẫu nhiên trên diễn đàn xe hơi hoặc Reddit. Một số thông tin từ đó có vẻ thiếu hiểu biết, sai lệch hoặc quá tâng bốc.

Ngoài ra, trích dẫn của AI có thể không đáng tin. Các chuyên gia cho biết AI thường không thực sự biết thông tin của nó đến từ đâu. Thậm chí, đôi khi AI có thể tạo ra các tài liệu tham khảo không tồn tại.

Tôi đã thử nhập lại câu hỏi nhưng yêu cầu AI chỉ sử dụng đánh giá chuyên nghiệp từ một số nguồn đáng tin cậy, như:

• Consumer Reports
• Tạp chí Car and Driver
• Trang web mua xe Edmunds

Dù tôi không chắc AI thực sự sử dụng các nguồn này, các chuyên gia cho biết việc liệt kê nguồn có thể giúp AI hướng tới những tài liệu tương tự. Và kết quả tôi nhận được chính xác hơn, ít thông tin sai lệch hơn.

Một nghiên cứu của Đại học Johns Hopkins đã tìm ra cách hướng AI truy vấn trực tiếp vào một nguồn nhất định trong cơ sở dữ liệu của nó.

Ví dụ, nếu bạn bắt đầu câu hỏi bằng:

• “Theo Wikipedia, XYZ là gì?” → AI sẽ trích dẫn trực tiếp từ Wikipedia.
• “Theo PubMed, hãy cho tôi biết về XYZ?” → Đối với thông tin y tế, AI có xu hướng lấy dữ liệu từ PubMed.

5. Yêu cầu AI không bịa đặt câu trả lời

Điều này nghe có vẻ giống như một giáo viên nhắc học sinh không gian lận, nhưng một số chuyên gia khuyên rằng bạn nên yêu cầu chatbot nói “Tôi không biết” nếu nó không chắc chắn.

Bạn có thể thêm vào lệnh của mình:

• “Nếu bạn không chắc chắn, hãy nói ‘Tôi không biết’ thay vì đoán.”
• “Không bịa đặt câu trả lời nếu bạn không có dữ liệu đáng tin cậy.”

Kropp giải thích:

“Bạn thực ra đang cấp quyền cho AI làm điều mà nó không được huấn luyện để làm—đó là thừa nhận rằng ‘Tôi sai’ hoặc ‘Tôi không biết’.”

Dù không thể loại bỏ hoàn toàn hiện tượng ảo giác AI, những chiến lược trên có thể giảm đáng kể tỷ lệ thông tin sai lệch và giúp chatbot cung cấp câu trả lời đáng tin cậy hơn.

6. "Meta-prompt" AI – Để AI tự viết câu hỏi

Một mẹo khác để cải thiện chất lượng câu hỏi của bạn là nhờ AI tự tạo câu hỏi. Kỹ thuật này gọi là meta-prompting, nghe có vẻ kỳ lạ—giống như yêu cầu học sinh tự viết đề thi cho mình. Nhưng theo các chuyên gia, phương pháp này có thể hiệu quả.

Ví dụ, tôi đã yêu cầu ChatGPT của OpenAI tạo một meta-prompt cho một câu hỏi về khí tượng. Điểm đáng chú ý trong câu hỏi mà AI tạo ra là nó tự nhận mình là một chuyên gia, một kỹ thuật gọi là tạo nhân cách (persona assignment). Nghiên cứu cho thấy cách này có thể giúp cải thiện chất lượng và độ chính xác của câu trả lời.

Ví dụ về meta-prompting

Tôi đã nhập lệnh sau vào ChatGPT:

“Hãy tạo một meta-prompt cho câu hỏi sau: Tại sao mưa có thể rơi xuống đất ngay cả khi nhiệt độ không khí dưới mức đóng băng, thay vì biến thành tuyết hoặc mưa đá?”

ChatGPT phản hồi:

“Bạn là một chuyên gia khí tượng. Hãy giải thích tại sao mưa có thể rơi xuống đất ngay cả khi nhiệt độ không khí dưới mức đóng băng. Giải thích của bạn nên rõ ràng, súc tích và nhắm đến đối tượng phổ thông, không có nhiều kiến thức về khí tượng. Hãy sử dụng ngôn ngữ đơn giản và cung cấp ví dụ nếu có thể.”

Sau đó, tôi nhập meta-prompt này vào lại ChatGPT và nhận được một câu trả lời dễ hiểu, chính xác và không quá kỹ thuật về lý do tại sao mưa có thể rơi trong điều kiện thời tiết đóng băng.

7. Sử dụng "Chain of Thought" – Hướng dẫn AI lập luận theo từng bước

Một cách khác để định hướng AI trả lời chính xác hơn là yêu cầu nó chia nhỏ câu trả lời thành từng bước hợp lý. Kỹ thuật này được gọi là "chain-of-thought prompting", và nghiên cứu của Google cho thấy nó có thể giúp cải thiện độ chính xác của AI.

Ngoài ra, cách này còn giúp bạn kiểm tra quá trình suy luận của AI để tìm ra các lỗi có thể xảy ra.

Cách thực hiện

Có một số cách phức tạp để hướng dẫn AI sử dụng chain-of-thought, chẳng hạn như cung cấp mẫu các bước suy luận mà nó nên làm theo. Tuy nhiên, một cách đơn giản hơn là bắt đầu câu hỏi của bạn bằng các cụm từ sau:

• "Hãy suy nghĩ từng bước trước khi trả lời..."
• "Hãy sử dụng phương pháp lập luận theo chuỗi:..."
• "Hãy chia nhỏ câu trả lời của bạn thành các bước rõ ràng..."

Ví dụ, thay vì hỏi:

“Tại sao mưa có thể rơi khi nhiệt độ dưới mức đóng băng?”

Bạn có thể hỏi:

"Hãy suy nghĩ từng bước: Trước tiên, giải thích cách nước ngưng tụ trên mây. Sau đó, phân tích điều kiện nào khiến nước vẫn ở dạng lỏng thay vì đóng băng. Cuối cùng, kết luận tại sao mưa có thể rơi xuống mà không biến thành tuyết hoặc mưa đá."

Cách này không chỉ giúp AI trả lời chi tiết hơn mà còn giảm nguy cơ đưa ra kết luận sai hoặc thiếu cơ sở.

Yêu cầu AI tự kiểm tra câu trả lời ("Chain of Verification")

Một cách giảm ảo giác AI khác là bắt AI tự kiểm tra lại câu trả lời của chính nó. Kỹ thuật này được gọi là "chain of verification", do các nhà khoa học của Meta phát triển.

Cách thực hiện

Bạn có thể nhập lệnh sau vào AI và thêm câu hỏi của mình vào phần đầu:

"Đây là câu hỏi: [Nhập câu hỏi của bạn]

Đầu tiên, tạo một câu trả lời.

Sau đó, tạo và trả lời các câu hỏi kiểm tra dựa trên câu trả lời ban đầu để xác minh tính chính xác. Hãy suy nghĩ kỹ và đảm bảo câu trả lời cực kỳ chính xác dựa trên câu hỏi được đưa ra.

Sau khi trả lời từng câu hỏi kiểm tra, hãy xem xét lại các câu trả lời này và chỉnh sửa phản hồi ban đầu để tạo ra một câu trả lời cuối cùng, đã được xác minh. Đảm bảo câu trả lời cuối cùng phản ánh chính xác kết quả của quá trình xác minh."

Kết quả thực tế

Khi tôi thử nghiệm với ChatGPT và Gemini của Google, AI đã tự tạo ra các câu hỏi xác minh dựa trên phản hồi ban đầu, tự trả lời chúng, và sau đó đưa ra một câu trả lời đã được chỉnh sửa dựa trên quá trình kiểm tra.

Điều này giúp cải thiện độ chính xác vì AI có cơ hội rà soát lại chính nó, thay vì đưa ra câu trả lời ngay lập tức mà có thể mắc lỗi.

How to Reduce AI Chatbot Hallucinations
Some mistakes are inevitable. But there are ways to ask a chatbot questions that make it more likely that it won’t make stuff up.
By 
Bart Ziegler
Jan. 30, 2025 11:00 am ET

You can’t stop an AI chatbot from sometimes hallucinating—giving misleading or mistaken answers to a prompt, or even making things up. But there are some things you can do to limit the amount of faulty information a chatbot gives you in response to your request.
AI hallucinations arise from a couple of things, says Matt Kropp, chief technology officer at BCG X, a unit of Boston Consulting Group. One is that the data on which an AI chatbot was trained contained conflicting, incorrect or incomplete information about the subject you’re asking about. You can’t do anything about that. The second is that “you haven’t specified enough of what you want,” Kropp says—and that is something you can address.  
Below are some techniques that experts say can minimize—though not eliminate—hallucinations.
Give the AI detailed instructions
Tell the AI exactly what you are seeking. If your prompt gives it too much freedom to root around its database, it’s more likely to respond with erroneous or fabricated information.
“You want detailed instructions, you want precise language, but you also have to make sure that it is concise in that everything in that prompt is directly relevant to the query,” says Darin Stewart, an analyst at technology advisory firm Gartner.
When shopping for a car recently I asked an AI for help. It gave me useful comparisons of the size, price and features of SUVs I was interested in. But the miles-per-gallon rating for one of the cars seemed awfully high. Digging a little deeper, I figured out the AI gave me the rating for a diesel-engine vehicle—a version not sold in the U.S.
Another AI told me about features of an SUV that differed from what I read on the carmaker’s website—the chatbot had based its answer on a model from a number of years ago, not the 2025 one.
To prevent these mistakes, I should have told the AIs I wanted information confined to U.S.-model vehicles and ones currently on the market.

Structure your query in steps
Experts say you should construct your query in the form of small, direct questions instead of a single, open-ended one. Ask these questions one after the other, a process called iterative prompting. This can keep the AI from generating falsehoods as well as produce more-useful results. 
“I think about my interactions with the [AI] models not as a one-shot question and answer, but rather as a dialogue,” says Kropp. “You’re building up context.”
If you’re in the market, say, for a new dishwasher, don’t simply ask “what dishwasher should I buy,” but instead start the prompt this way: “I need a new dishwasher. What are the major features I should consider?”
After it answers this question, you could respond with questions such as: “Which brands are known for reliability and which should I avoid? How much should I spend? Are higher-priced models worth the extra cost?” 
To further guide the AI you could ask it to build its response in a formal manner, such as:
“Structure your answer this way: an introduction, your key findings, the pros and cons of the various models and your conclusion. Be sure to provide supporting evidence for each of your findings.”
When I gave these prompts to an AI it created a comprehensive, 500-word analysis of what dishwashers I should consider and which to stay away from. And as far as I could tell it didn’t hallucinate.
Direct the AI to known sources
Tell the AI to use certain types of sources, which may keep it from using sketchy, biased or incorrect material.
In my car search, AIs at times gave citations for their answers to random people writing on car-fan websites and Reddit. Some of those answers seemed uninformed, misleading or too glowing. 
Aside from the quality of the sources, citations can be unreliable. They may or may not mean an AI explicitly used that information in its responses, experts say. In fact, AIs don’t generally know where the material in their answers came from. Moreover, AIs have been known to cite documents, research or other sources that don’t exist.
I repeated my query but told the AIs to stick to professional reviews and named a few sources to use, including Consumer Reports, Car and Driver magazine and the car shopping site Edmunds. I’m not sure if they used them—experts told me my listing of sources could have guided the AIs to similar, though not identical, material. But the result was more-informed answers that appeared to have few questionable assertions.
Researchers at Johns Hopkins University have found a way to send an AI directly to certain source material in its database. Simply starting a question with the phrase “According to Wikipedia, what is…” for general queries or “According to PubMed, tell me about…” for health-related ones prompted an AI to quote directly from those sources, the researchers said in a report.
Tell the AI not to make things up
This may sound like a teacher instructing a recalcitrant pupil not to cheat, but some experts say you should instruct the chatbot to “say I don’t know” or “don’t make up an answer” if it’s unsure of something. That might keep it from fabricating a response despite the fact that the evidence for the answer in its database is murky.
“You’re actually giving it permission to do something it’s not really trained to do, which is to say ‘I’m wrong’ or ‘I don’t know,’ ” Kropp says.

‘Meta-prompt’ the AI
Here’s another trick to improve your questions: Tell the AI to write them. The technique, called meta-prompting, sounds odd—like asking students to write the questions for their exam. But experts say it can work.
As an example, I asked OpenAI’s ChatGPT to give me the wording for a meteorological question. Note that in the sample question it created it tells itself that it is an expert, a technique called giving it a persona. Research has shown that this method can boost the quality, and reduce the errors, of responses.
My prompt to ChatGPT:
“Please create a meta-prompt for this question: Why is it that rain can fall to the ground when the air temperature is below freezing instead of turning into snow or sleet?”
ChatGPT responded: 
“You are a meteorology expert. Explain why rain can fall to the ground when the air temperature is below freezing. Your explanation should be clear, concise, and aimed at a general audience with minimal prior knowledge of meteorology. Use simple language and provide examples if possible.”
I then fed this prompt to ChatGPT and got back a nontechnical and informative explanation of why rain can fall in below-freezing weather.
Use “chain of thought” prompting
Another way to direct an AI is to tell it to answer a question by breaking it down into logical steps. The technique, called chain-of-thought prompting, can lead to more accurate responses, Google researchers found. It also allows you to examine the AI’s thought process to look for errors. 
Experts have devised complex ways to guide chain-of-thought reasoning, such as giving the AI a sample of the steps it should take. But an easier, though perhaps less effective, technique is to literally start your query with the words “Using chain of thought…” or “Let’s think about the answer step by step…” 
Tell the AI to double-check its work
In another odd twist, you can tell an AI to quiz itself about the accuracy of its responses. The technique, dubbed chain of verification, can reduce hallucinations, according to scientists at Facebook parent Meta who developed it.
Below is a simplified text for instructing an AI to perform the self-questioning, as written by a company called PromptHub. Simply copy and paste this entire block of text into an AI chatbot and add your question to the top.
“Here is the question: [Type your question here]
“First, generate a response.
“Then, create and answer verification questions based on this response to check for accuracy. Think it through and make sure you are extremely accurate based on the question asked.
“After answering each verification question, consider these answers and revise the initial response to formulate a final, verified answer. Ensure the final response reflects the accuracy and findings of the verification process.”
When I asked ChatGPT and Google’s Gemini a question using this format they came back with the verification questions they asked themselves about their initial response, their answers to those questions and then their revised final response. 
Bart Ziegler is a former Wall Street Journal editor. He can be reached at [email protected].