Выделите текст, чтобы комментировать.
На связи Андрей Бежан, CEO Камертон.Тех. Я адвокат с 20‑летним стажем, но последние несколько лет моя страсть — LegalTech. Мы в Камертон.Тех не просто пишем юридические статьи, а создаем продукты, которые помогают юристам работать быстрее и точнее. Поэтому о проблеме галлюцинаций нейросетей знаю не понаслышке — и как практик, и как разработчик.
Сегодня больше 40% юридических фирм в России уже пробуют использовать искусственный интеллект. Цифра обнадеживающая. Но за ней скрывается реальность, с которой сталкивается каждый: нейросети уверенно выдают несуществующие нормы, ссылаются на отмененные законы и придумывают судебные решения, которых никогда не было. В США уже есть прецедент, когда адвоката публично осудили за использование ChatGPT, сгенерировавшего несуществующие дела.
Почему это происходит и, главное, как защитить себя и клиентов от таких «галлюцинаций»? Разбираюсь с точки зрения и юриста, и инженера.
Галлюцинации нейросетей — не баг, а следствие самой архитектуры больших языковых моделей (LLM). Многие представляют ИИ как гигантскую базу знаний, но это не так. На самом деле LLM — это машина предсказания следующего токена. Они обучены на гигантских массивах текстов из интернета: Reddit, «Википедия», художественная литература, форумы. Модель запоминает статистические закономерности: какие слова чаще всего встречаются рядом. Но она не понимает, существует ли на самом деле статья закона, на которую ссылается, — ей важно лишь, чтобы ссылка выглядела правдоподобно в контексте.
Для юриста это критично. Как метко сформулировала налоговый адвокат Людмила Ганичева, нейросеть — это «гиперэрудированный, но иногда бредящий стажер». Доверить ему финальный ответ без проверки нельзя.
Исследования называют три главных барьера внедрения ИИ в юридическую практику:
Главный технологический ответ на галлюцинации — RAG (Retrieval-Augmented Generation), или «генерация, дополненная поиском».
Суть проста: вместо того чтобы просить нейросеть «вспомнить» право по памяти, мы даем ей доступ к проверенной базе знаний — актуальным кодексам, судебной практике, комментариям. Модель ищет там релевантные фрагменты и только потом, опираясь на них, формулирует ответ.
Как это работает технически? Тексты из базы знаний превращаются в эмбеддинги — векторные координаты в многомерном пространстве (обычно 768–1024 измерений). Когда пользователь задает вопрос, его запрос тоже превращается в вектор, и система ищет ближайшие по смыслу фрагменты в базе. Чем выше косинусное сходство (ближе к 1), тем релевантнее найденный текст.
Именно RAG позволяет добиться того, что каждый вывод в ответе подкреплён ссылкой на конкретный документ. Это превращает ИИ из черного ящика в прозрачный инструмент, где источник всегда можно проверить.
На практике борьба с галлюцинациями выстраивается на нескольких уровнях.
Первый уровень — жёсткие фильтры. Система блокирует ответы, содержащие определённые опасные паттерны. По оценкам экспертов, это предотвращает 40–60% типовых ошибок, но не спасает от нестандартных.
Второй уровень — человеческий буфер в критичных точках. ИИ отвечает на простые вопросы сам, но если диалог касается изменения условий договора, компенсаций или конфиденциальной информации — подключается человек. Такая схема позволяет обрабатывать 80–90% запросов автоматически, сохраняя 100% качество по сложным.
Третий уровень — архитектура «доверенного ИИ». Это когда модель работает только в закрытой базе знаний и не может генерировать ответы без источника. Каждый ответ содержит метаданные — версию модели, дату, ссылку на документ. При конфликте вы точно знаете, какая версия ошиблась и почему. Мы реализовали это в «Камертон.Вердикт»: система выдаёт ответ только на тех документах, которые есть в её корпусе. Никакой генерации «из головы».
Для юридических данных критически важна безопасность. Загрузка договоров, претензий и исков во внешние сервисы нарушает адвокатскую тайну и закон о персональных данных.
Решение — гибридная архитектура. Все операции с чувствительными данными выполняются на локальных моделях внутри периметра компании. Для задач анализа и скрининга договоров часто достаточно компактных специализированных решений, не требующих дорогого «железа». Для менее чувствительных операций можно использовать облачные модели с предварительной анонимизацией.
Именно по такой логике мы строим продукты в Камертон.Тех. Наша платформа Камертон.Вердикт разворачивается на серверах клиента или в защищённом контуре, встраивается в существующий workflow и работает по принципу Evidence-First — доказательность прежде всего.
Если руководство запрещает ИИ из-за страха рисков, возникает «партизанское» использование — сотрудники применяют публичные инструменты без правил и методологии. Это создает еще больше рисков.
Правильный подход — это сделать использование ИИ прозрачным и регламентированным:
Галлюцинации ИИ перестали быть технической погрешностью — они стали источником судебных исков и репутационных потерь. Но это не повод отказываться от технологии. Правильно спроектированная архитектура — RAG, локальные модели, человеческий контроль — превращает нейросеть из «бредящего стажера» в надежного помощника, который экономит до 70% времени на рутинном анализе.
Тот, кто выстраивает прозрачные и контролируемые процессы работы с ИИ сегодня, получает колоссальное конкурентное преимущество. Остальные рискуют однажды обнаружить себя в суде с пачкой сфабрикованных нейросетью «прецедентов».
Скидка российским компаниям! Кризис – время возможностей: усилить интернет-маркетинг со скидкой. Закажите SEO+SERM+ORM+Директ со скидкой 20%.
Проведем бесплатный конверсионный аудит.
Оставьте свой номер телефона и мы свяжемся с Вами в рабочее время.