LibreChat: корпоративный AI-ассистент, который не сливает ваши данные
Проблема: ChatGPT в компании = риск утечки данных
Сотрудники уже используют ChatGPT для работы:
- Копируют клиентские данные в промпты
- Загружают конфиденциальные документы
- Делятся внутренней информацией для анализа
OpenAI хранит все эти данные и может использовать для обучения моделей (если не отключить настройку вручную).
Риски использования публичного ChatGPT
- Утечка коммерческой тайны: конкуренты могут получить вашу стратегию
- Нарушение GDPR/152-ФЗ: персональные данные уходят за границу
- Нет контроля: не видно, кто и что спрашивал
- Зависимость от OpenAI: блокировки, лимиты, рост цен
Решение: LibreChat на ваших серверах
LibreChat — open-source платформа для работы с LLM, аналог ChatGPT:
- Развертывается на ваших серверах (on-premise или облако)
- Подключается к GPT-4, Claude, Mistral, Gemini
- Работает с локальными моделями (LLaMA, Qwen и др.)
- Интегрируется с корпоративными базами знаний и API
Ключевые отличия от публичного ChatGPT
| Параметр | ChatGPT | LibreChat |
|---|---|---|
| Где хранятся данные | OpenAI (США) | Ваши сервера |
| Модели | Только OpenAI | GPT-4, Claude, Mistral, локальные |
| Интеграция с 1С/CRM | Нет | Да, через RAG + API |
| Управление доступом | Нет (всем один аккаунт) | Роли, права, квоты |
| Логирование запросов | Нет | Да, все сохраняется |
| 152-ФЗ | Не соответствует | Соответствует |
| Стоимость | $20/мес на человека | ~$0.30-1 за 1000 запросов |
Кейс: розничная сеть (12 магазинов)
Исходная ситуация:
- 45 сотрудников используют ChatGPT для работы
- Загружают финансовые отчеты, данные клиентов, внутренние регламенты
- IT-отдел не контролирует, что уходит в OpenAI
- Руководство не понимает, кто сколько пользуется AI
Что внедрили
1. Развернули LibreChat на VPS
# docker-compose.yml
version: '3'
services:
librechat:
image: ghcr.io/danny-avila/librechat:latest
ports:
- "3080:3080"
environment:
- OPENAI_API_KEY=${OPENAI_API_KEY}
- ANTHROPIC_API_KEY=${ANTHROPIC_API_KEY}
- MONGO_URI=mongodb://mongo:27017/librechat
- JWT_SECRET=${JWT_SECRET}
- DOMAIN_SERVER=https://chat.company.ru
- ALLOW_REGISTRATION=false # только по приглашениям
volumes:
- ./data:/app/client/public/images
depends_on:
- mongo
mongo:
image: mongo:latest
volumes:
- ./mongo_data:/data/db
qdrant:
image: qdrant/qdrant:latest
ports:
- "6333:6333"
volumes:
- ./qdrant_data:/qdrant/storage
Результат: развернули за 1 день, доступ по https://chat.company.ru
2. Подключили корпоративные документы (RAG)
RAG (Retrieval-Augmented Generation) = поиск в базе знаний + генерация ответа LLM
from langchain.document_loaders import DirectoryLoader, PDFLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_openai import OpenAIEmbeddings
from langchain_qdrant import Qdrant
# 1. Загружаем документы из папки
loader = DirectoryLoader(
'./company_docs',
glob='**/*.pdf',
loader_cls=PDFLoader
)
documents = loader.load()
# 2. Разбиваем на чанки
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=1000,
chunk_overlap=200
)
chunks = text_splitter.split_documents(documents)
# 3. Создаем embeddings
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
# 4. Загружаем в Qdrant
vectorstore = Qdrant.from_documents(
chunks,
embeddings,
url="http://localhost:6333",
collection_name="company_knowledge"
)
Что загрузили:
- Финансовые отчеты за 2 года
- Должностные инструкции
- Регламенты и процедуры
- Прайс-листы поставщиков
- История переписки с ключевыми клиентами
Итого: 2.5 ГБ документов → 120 000 векторов в Qdrant
3. Интегрировали с 1С
from langchain.agents import Tool
from langchain_openai import ChatOpenAI
class OneCAPIClient:
"""Клиент для работы с 1С через OData"""
def get_sales_summary(self, date_from: str, date_to: str):
# Запрос к 1С OData API
response = requests.get(
f"http://1c.company.local/odata/standard.odata/Document_РеализацияТоваровИУслуг",
params={
"$filter": f"Date ge {date_from} and Date le {date_to}",
"$select": "Сумма,Контрагент"
},
auth=('username', 'password')
)
return response.json()
# Создаем tool для агента
tool_1c_sales = Tool(
name="get_1c_sales",
func=lambda dates: OneCAPIClient().get_sales_summary(*dates.split(',')),
description="Получить данные о продажах из 1С за период. Аргумент: 'date_from,date_to' в формате YYYY-MM-DD"
)
# LLM агент с доступом к 1С
from langchain.agents import create_openai_functions_agent
agent = create_openai_functions_agent(
llm=ChatOpenAI(model="gpt-4-turbo"),
tools=[tool_1c_sales, ...],
prompt=...
)
Примеры вопросов:
“Какие продажи были на прошлой неделе?”
→ Агент вызывает get_1c_sales('2025-01-06,2025-01-12') → возвращает ответ с разбивкой по магазинам
“Покажи топ-5 клиентов по выручке в декабре”
→ Агент делает запрос к 1С и форматирует таблицу
4. Настроили роли и права
// config/roles.json
{
"admin": {
"models": ["gpt-4", "claude-3-5-sonnet", "gpt-4o"],
"tools": ["web_search", "1c_access", "file_upload"],
"max_tokens_per_day": 1000000
},
"manager": {
"models": ["gpt-4o-mini", "claude-3-5-sonnet"],
"tools": ["1c_access"],
"max_tokens_per_day": 100000
},
"employee": {
"models": ["gpt-4o-mini"],
"tools": [],
"max_tokens_per_day": 30000
}
}
Результаты за 4 месяца
| Метрика | До | После |
|---|---|---|
| Затраты на AI | $900/мес (45 × $20) | $280/мес (токены API) |
| Время на поиск инфо | 10 мин | 30 сек |
| Соответствие 152-ФЗ | ❌ | ✅ |
| Контроль использования | ❌ | ✅ (логи, дашборды) |
| Интеграция с 1С | ❌ | ✅ |
Экономия: $900 - $280 = $620/мес (~60 000 ₽)
Дополнительные эффекты:
- 10 часов в неделю экономии времени на поиск информации
- 85% вопросов решаются через чат, не нужно искать коллег
- +12 п.п. к NPS сотрудников (удобнее работать)
Продвинутые возможности
1. LLM-агенты для автоматизации
# Агент для автоматической генерации отчетов
from langchain.agents import AgentExecutor
sales_analyst_agent = AgentExecutor(
agent=create_openai_functions_agent(
llm=ChatOpenAI(model="gpt-4-turbo"),
tools=[
tool_1c_sales,
tool_clickhouse_query,
tool_create_chart,
tool_send_email
],
prompt="""
Ты — аналитик продаж. Каждое утро в 9:00 ты:
1. Получаешь данные о продажах за вчера из 1С
2. Сравниваешь с планом и прошлой неделей
3. Создаешь график
4. Отправляешь отчет на почту директору
"""
),
tools=[...],
verbose=True
)
# Запускаем по расписанию
@schedule.every().day.at("09:00")
def daily_sales_report():
result = sales_analyst_agent.run("Создай ежедневный отчет по продажам")
2. Мультимодальность (работа с изображениями)
# GPT-4 Vision для анализа фото с камер в магазинах
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="gpt-4o")
response = llm.invoke([
{"type": "text", "text": "Оцени заполненность полок на этом фото"},
{"type": "image_url", "image_url": "http://camera.store3.local/snapshot.jpg"}
])
# Ответ: "Полки заполнены на ~60%. Отсутствуют товары в категории 'Молочка'"
3. Локальные модели для сверхчувствительных данных
# Вместо OpenAI API — локальная LLaMA 3 на своем GPU
from langchain_community.llms import Ollama
llm_local = Ollama(
model="llama3.1:70b",
base_url="http://gpu-server.local:11434"
)
# Данные не покидают вашу сеть
response = llm_local.invoke("Проанализируй эту зарплатную ведомость...")
Плюсы локальных моделей:
- ✅ Данные не уходят из компании (даже в OpenAI)
- ✅ Нет recurring costs (только железо)
- ✅ Неограниченное использование
Минусы:
- ❌ Качество ниже GPT-4 / Claude
- ❌ Нужен GPU (дорого)
- ❌ Сложнее настраивать
Технический стек
- Frontend: LibreChat (React)
- Backend: Node.js + Express
- LLM API: OpenAI, Anthropic, Mistral, Google AI
- Vector DB: Qdrant
- Database: MongoDB (история чатов, пользователи)
- Cache: Redis
- Monitoring: Grafana + Prometheus
- Deploy: Docker + Nginx
Стоимость содержания
Вариант 1: On-premise (собственный сервер)
| Статья | Стоимость |
|---|---|
| Сервер (16 CPU, 64 GB RAM, 500 GB SSD) | 15 000 ₽/мес (аренда VPS) |
| API ключи LLM (OpenAI, Anthropic) | 20 000 - 80 000 ₽/мес |
| Администрирование | 30 000 ₽/мес (аутсорс) |
| Итого | 65 000 - 125 000 ₽/мес |
Вариант 2: Облако (Yandex Cloud / VK Cloud)
| Статья | Стоимость |
|---|---|
| VM + managed MongoDB | 20 000 ₽/мес |
| API ключи LLM | 20 000 - 80 000 ₽/мес |
| Администрирование | 30 000 ₽/мес |
| Итого | 70 000 - 130 000 ₽/мес |
Для компании 50 человек: 130 000 ₽ / 50 = 2600 ₽/чел/мес
Сравните с ChatGPT Plus ($20 = 2000 ₽/чел/мес) — примерно одинаково, но с полным контролем.
Внедрение: шаг за шагом
Этап 1: Пилот (2 недели)
- Разворачиваем LibreChat на тестовом сервере
- Подключаем GPT-4 и Claude
- Даем доступ 5-10 сотрудникам
- Собираем feedback
Стоимость: от 50 000 ₽
Этап 2: RAG + интеграции (3-4 недели)
- Загружаем корпоративные документы (PDF, Word, Excel)
- Индексируем в векторную БД
- Подключаем 1С / CRM через API
- Настраиваем роли и права
Стоимость: от 200 000 ₽
Этап 3: Production (1-2 недели)
- Переезд на production сервер
- Настройка мониторинга
- Обучение команды (4 часа)
- Документация
Стоимость: от 100 000 ₽
Итого под ключ: от 350 000 ₽ + 65 000 ₽/мес поддержка
Частые вопросы
Q: Можно просто купить ChatGPT Team ($30/user/мес)?
A: ChatGPT Team не обучается на ваших данных, но данные все равно проходят через OpenAI. Если нужен 152-ФЗ или интеграция с 1С — нужен LibreChat.
Q: Какая модель лучше: GPT-4 или Claude?
A: Зависит от задачи:
- GPT-4: лучше для кода, математики, Tool Use
- Claude: лучше для длинных текстов, резюмирования, более “человечный”
- Рекомендуем давать доступ к обеим моделям
Q: Сложно ли настроить?
A: Базовая установка — 1-2 дня. Интеграции (RAG, 1С) — 2-4 недели. Зависит от количества источников данных.
Q: Можно использовать локальные модели вместо OpenAI?
A: Да! LLaMA 3.1 70B / Qwen 2.5 72B дают качество близкое к GPT-4 (но не идентичное). Нужен GPU (NVIDIA A100/H100 или аренда).
Заключение
LibreChat — это:
- ✅ Безопасно: данные на ваших серверах
- ✅ Гибко: любые модели, интеграции, кастомизация
- ✅ Экономично: $0.30-1 за 1000 запросов вместо $20/мес с человека
- ✅ 152-ФЗ: соответствует законодательству
Подходит для компаний от 20 человек.
Хотите корпоративный AI-ассистент без утечки данных?
Мы разворачиваем LibreChat на ваших серверах, интегрируем с 1С/CRM/базами знаний, обучаем команду. Под ключ за 2-4 недели.
📞 +7 (924) 547-36-78 📧 info@bi-ai.ru 💬 Telegram: @bi_ai_team