Что такое галлюцинация AI — ложные ответы нейросети
Галлюцинация AI — явление, при котором языковая модель генерирует уверенный, но фактически неверный или полностью выдуманный ответ. Модель «галлюцинирует» несуществующие факты, цитаты или ссылки.
Галлюцинации — одна из главных проблем современных языковых моделей. Они возникают потому, что модель обучена предсказывать наиболее вероятное продолжение текста, а не проверять факты. Модель может придумать научную статью с правдоподобным названием и авторами, которых не существует. Способы борьбы: RAG (дополнение актуальными источниками), верификация фактов, снижение temperature, запрос цитат и источников. Новые модели (GPT-4, Claude 3.5) галлюцинируют значительно реже предшественников.
Примеры использования
- •AI уверенно цитирует несуществующую научную статью с вымышленными авторами
- •Чат-бот сообщает неверную дату исторического события
- •Модель генерирует несуществующий URL как ссылку на источник
Связанные термины
Попробуйте Галлюцинация в Stone AI
Открыть AI-чат →