Локальные ИИ-модели вместо облачных: обрабатываем конфиденциальные документы без утечки данных

Полгода назад ко мне пришёл директор юридической фирмы с вопросом в лоб: можно ли гонять договоры и переписку клиентов через ChatGPT, не боясь, что текст улетит на сервер в другую страну и там осядет навсегда. Я ответил честно — в том виде, в котором он это делал, нельзя. Через месяц мы подняли ему локальную модель на обычном рабочем компьютере, и с тех пор через неё проходит всё, вплоть до персональных данных клиентов, и ничего никуда не уходит. Расскажу, как это устроено и кому вообще стоит этим заниматься.

Откуда вообще взялась эта паранойя насчёт нейросетей

Когда вы печатаете запрос в ChatGPT, Claude или любую другую облачную модель через браузер, текст физически покидает ваш офис. Он идёт на сервер компании-разработчика, где-нибудь в США или Ирландии, там обрабатывается и, если вы не отключили это специально в настройках, может использоваться для дообучения модели. То есть кусок вашего договора аренды или выписка по зарплате сотрудника теоретически становится частью чужой базы данных. Формально это уже передача данных за пределы вашего контроля, а если в тексте есть ФИО, паспортные данные или диагноз — это прямое нарушение 152-ФЗ.

У меня был случай с одной бухгалтерией на Таганке. Девушка-бухгалтер, чтобы быстро составить письмо в налоговую, скопировала в бесплатный ChatGPT реальную выписку с ФИО и суммами зарплат — просто чтобы модель помогла красиво сформулировать. Ни умысла, ни злого случая, обычная рабочая рутина. Но с точки зрения закона это уже трансграничная передача персональных данных без согласия субъекта. Роскомнадзор такие вещи если и не ловит массово, то штрафовать умеет больно — от 60 до 500 тысяч рублей за эпизод, и это ещё по старым ставкам.

Я не хочу никого пугать специально. Но за двенадцать лет в IT-аутсорсинге я видел, во что обходится одна серьёзная утечка — репутация, суд, иногда потеря ключевого клиента. И на этом фоне разговор про локальные модели — это не блажь параноика, а вполне трезвый расчёт.

Что такое локальная модель и при чём тут Ollama

Локальная модель — это та же самая нейросеть, только она крутится не на серверах OpenAI или Anthropic, а прямо у вас, на компьютере в серверной или даже на обычном рабочем ноутбуке. Инструмент Ollama делает это почти так же просто, как установка 1С: скачиваешь программу, одной командой в консоли загружаешь модель размером в несколько гигабайт, и всё — она уже отвечает на вопросы. Никакого интернета для самой работы после этого не требуется.

Разница с облаком принципиальная. Когда вы спрашиваете что-то у локальной Llama или Mistral через Ollama, запрос не покидает вашу сеть вообще. Ни логов на чужом сервере, ни истории переписки, которую могут субпоенить по суду в другой юрисдикции, ни риска, что администратор облачного сервиса случайно увидит текст вашего договора о неразглашении. Всё физически лежит на диске, который стоит у вас в шкафу.

Кроме Ollama есть LM Studio и GPT4All — по сути похожие оболочки с разным уровнем удобства. Я в проектах чаще беру Ollama, потому что она легче встраивается в скрипты и хорошо ведёт себя на Linux-серверах, а именно так у большинства моих клиентов и стоит инфраструктура.

Реальный случай: медклиника и истории болезни

Была у меня небольшая частная клиника, пять врачей, обычная амбулаторная работа. Врачебная тайна и данные о здоровье — это отдельная, самая жёсткая категория персональных данных по закону, там штрафы и ответственность серьёзнее, чем за обычные ФИО и телефоны. Врачи же хотели того же, что и все — чтобы нейросеть помогала быстро оформлять анамнез, вытаскивать код по МКБ-10 из свободного текста, приводить записи к единому формату для отчётности.

Мы поставили сервер с одной видеокартой RTX 4090 примерно за 210 тысяч рублей, развернули на нём Qwen2.5 в русскоязычной дообученной версии. Обработка одной карты пациента — секунд сорок, раньше медсестра тратила на это же самое минут пятнадцать-двадцать вручную. И ни один байт данных о пациентах не покинул здание клиники.

Есть тут и забавная сторона. Врачи первые пару недель порывались спросить у модели совет по диагнозу — привычка. Пришлось объяснять: модель чистит и структурирует текст, а диагноз всё равно ставит живой человек с медицинским образованием. Локальная нейросеть — это не замена врачу, это замена той самой уставшей медсестре, которая полдня набирала карточки.

Сколько это стоит на самом деле

Тут развею миф сразу: не нужен суперкомпьютер за миллионы. Для небольших моделей в 7-8 миллиардов параметров, которых с запасом хватает на извлечение данных из документов, суммаризацию и черновики писем, достаточно обычного игрового компьютера с видеокартой на 16-24 гигабайта видеопамяти. Это от 130 до 220 тысяч рублей за железо один раз, без ежемесячных списаний.

Для сравнения — подписка на ChatGPT Plus стоит 20 долларов в месяц на человека. Если в компании десять человек, которые регулярно работают с документами, это уже 200 долларов в месяц, то есть примерно 20 тысяч рублей — и каждый месяц заново, плюс риск, который никуда не девается. Локальная машина окупается за год, а данные при этом вообще не уезжают из компании.

Есть и промежуточный вариант для тех, кто не готов сразу тратиться на железо — арендовать выделенный GPU-сервер у российского провайдера на пару недель, обкатать процесс, понять, какая модель и конфигурация подходит под конкретные задачи, и только потом покупать своё. Мы обычно так и делаем на пилоте — сначала аренда, потом, если всё прижилось, железо в собственность.

Какие модели реально тянут и насколько они хуже ChatGPT

Скажу прямо и без маркетинга: локальная модель размером в 7-8 миллиардов параметров не сравнится с GPT-4 или Claude по глубине рассуждений в сложных юридических или аналитических задачах. Это факт, а не повод расстраиваться. Но для восьмидесяти процентов офисной рутины — извлечь суммы из счёта, свести таблицу, составить типовой договор по шаблону, сократить длинный протокол совещания до пяти пунктов — разница почти не заметна.

Из моделей, которые реально работают на русском языке и адекватно понимают юридические и бухгалтерские термины, я бы назвал Qwen2.5 (китайская разработка, но с русским справляется на удивление хорошо), Saiga — русскую дообученную версию Llama, и DeepSeek. Mistral тоже неплох, особенно в версиях побольше, если железо позволяет.

Для оставшихся двадцати процентов задач — там, где нужна действительно глубокая аналитика или сложная юридическая интерпретация — мы советуем клиентам всё-таки пользоваться облачными моделями, но предварительно обезличив документ: убрать ФИО, номера договоров, суммы заменить на условные. Смысл сохраняется, персональные данные и коммерческая тайна — нет.

Что локальная модель не решит — честно о минусах

Не буду продавать вам сказку. У локальных моделей есть свои проблемы. Во-первых, галлюцинации — модель может выдумать цифру или факт с абсолютно уверенным видом, и это не лечится полностью ни в облаке, ни локально. Результат обязательно должен проверять человек, особенно если речь о юридических или медицинских документах.

Во-вторых, обновления и сопровождение никто не отменял. Модель не обновляется сама, новые версии нужно скачивать и тестировать руками, а если видеокарта выйдет из строя — работа встанет, пока не привезут замену. Тут нужен хотя бы один человек в штате или на аутсорсе, который следит за этим железом, как раньше следили за сервером 1С.

Был у меня клиент, юрфирма, где один из сотрудников настолько привык доверять локальной модели, что перестал перепроверять сгенерированные пункты договора. Обнаружили это, когда модель без всякого злого умысла перепутала сроки в двух похожих пунктах. Ничего страшного не случилось, договор поймали до подписания, но это хороший урок — локальность решает проблему утечки данных, а не проблему доверия к машине.

С чего начать, если решили попробовать

Первый шаг — не покупка железа, а инвентаризация. Сядьте и честно распишите, какие документы в компании реально содержат персональные данные или составляют коммерческую тайну: договоры, зарплатные ведомости, истории болезни, клиентские базы. Именно эти потоки переводим на локальную модель в первую очередь, всё остальное может спокойно оставаться в облаке.

Дальше — пилот на одном отделе, не на всей компании сразу. Берём один сценарий, например обработку входящих счетов или составление типовых писем, ставим модель на существующий компьютер без закупки нового железа и смотрим на реальную выработку две-три недели. Если результат устраивает — масштабируем и уже тогда думаем про отдельный сервер.

Мы в «АйТи-Фреш» такие внедрения делаем под ключ для компаний до пятидесяти рабочих мест — от подбора модели под задачи заказчика до написания внутренней политики, какие данные можно отправлять во внешние нейросети, а какие обязаны оставаться внутри периметра. Это отдельный документ, и его удивительно мало у кого есть, хотя стоит он копейки по сравнению с ценой одной утечки.

Частые вопросы

Значит, ChatGPT в бухгалтерии или юрфирме использовать вообще нельзя?
Можно, но не с любыми данными. Для формулировки письма без реальных цифр и имён облачная модель вполне подходит. А вот загружать в неё реальную выписку с ФИО, паспортными данными или диагнозом — это уже риск нарушения 152-ФЗ и режима коммерческой тайны, и здесь нужна либо локальная модель, либо предварительное обезличивание документа.

Нужен ли для локальной модели дорогой сервер?
Нет, для старта хватит обычного компьютера с видеокартой на 16-24 гигабайта видеопамяти — это от 130 до 220 тысяч рублей разово. Многие небольшие компании вообще начинают с аренды GPU-сервера на пару недель, чтобы обкатать процесс, и только потом покупают своё железо.

Насколько локальная модель хуже облачной по качеству ответов?
В сложных аналитических и юридических задачах локальная модель заметно уступает GPT-4 или Claude, тут не буду лукавить. Но для типовой офисной работы — извлечение данных, суммаризация, составление документов по шаблону — разница практически не ощущается на глаз.

Сколько времени занимает внедрение локальной модели в небольшой компании?
Пилот на одном отделе обычно занимает две-три недели вместе с установкой и настройкой. Полное масштабирование на всю компанию, включая написание внутренней политики по работе с ИИ, укладывается в один-два месяца, если не тянуть с решением.