LibreChat: корпоративный AI-ассистент, который не сливает ваши данные

LibreChat: корпоративный AI-ассистент, который не сливает ваши данные


Проблема: ChatGPT в компании = риск утечки данных

Сотрудники уже используют ChatGPT для работы:

  • Копируют клиентские данные в промпты
  • Загружают конфиденциальные документы
  • Делятся внутренней информацией для анализа

OpenAI хранит все эти данные и может использовать для обучения моделей (если не отключить настройку вручную).

Риски использования публичного ChatGPT

  • Утечка коммерческой тайны: конкуренты могут получить вашу стратегию
  • Нарушение GDPR/152-ФЗ: персональные данные уходят за границу
  • Нет контроля: не видно, кто и что спрашивал
  • Зависимость от OpenAI: блокировки, лимиты, рост цен

Решение: LibreChat на ваших серверах

LibreChat — open-source платформа для работы с LLM, аналог ChatGPT:

  • Развертывается на ваших серверах (on-premise или облако)
  • Подключается к GPT-4, Claude, Mistral, Gemini
  • Работает с локальными моделями (LLaMA, Qwen и др.)
  • Интегрируется с корпоративными базами знаний и API

Ключевые отличия от публичного ChatGPT

ПараметрChatGPTLibreChat
Где хранятся данныеOpenAI (США)Ваши сервера
МоделиТолько OpenAIGPT-4, Claude, Mistral, локальные
Интеграция с 1С/CRMНетДа, через RAG + API
Управление доступомНет (всем один аккаунт)Роли, права, квоты
Логирование запросовНетДа, все сохраняется
152-ФЗНе соответствуетСоответствует
Стоимость$20/мес на человека~$0.30-1 за 1000 запросов

Кейс: розничная сеть (12 магазинов)

Исходная ситуация:

  • 45 сотрудников используют ChatGPT для работы
  • Загружают финансовые отчеты, данные клиентов, внутренние регламенты
  • IT-отдел не контролирует, что уходит в OpenAI
  • Руководство не понимает, кто сколько пользуется AI

Что внедрили

1. Развернули LibreChat на VPS

# docker-compose.yml
version: '3'
services:
  librechat:
    image: ghcr.io/danny-avila/librechat:latest
    ports:
      - "3080:3080"
    environment:
      - OPENAI_API_KEY=${OPENAI_API_KEY}
      - ANTHROPIC_API_KEY=${ANTHROPIC_API_KEY}
      - MONGO_URI=mongodb://mongo:27017/librechat
      - JWT_SECRET=${JWT_SECRET}
      - DOMAIN_SERVER=https://chat.company.ru
      - ALLOW_REGISTRATION=false  # только по приглашениям
    volumes:
      - ./data:/app/client/public/images
    depends_on:
      - mongo

  mongo:
    image: mongo:latest
    volumes:
      - ./mongo_data:/data/db

  qdrant:
    image: qdrant/qdrant:latest
    ports:
      - "6333:6333"
    volumes:
      - ./qdrant_data:/qdrant/storage

Результат: развернули за 1 день, доступ по https://chat.company.ru

2. Подключили корпоративные документы (RAG)

RAG (Retrieval-Augmented Generation) = поиск в базе знаний + генерация ответа LLM

from langchain.document_loaders import DirectoryLoader, PDFLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_openai import OpenAIEmbeddings
from langchain_qdrant import Qdrant

# 1. Загружаем документы из папки
loader = DirectoryLoader(
    './company_docs',
    glob='**/*.pdf',
    loader_cls=PDFLoader
)
documents = loader.load()

# 2. Разбиваем на чанки
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200
)
chunks = text_splitter.split_documents(documents)

# 3. Создаем embeddings
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")

# 4. Загружаем в Qdrant
vectorstore = Qdrant.from_documents(
    chunks,
    embeddings,
    url="http://localhost:6333",
    collection_name="company_knowledge"
)

Что загрузили:

  • Финансовые отчеты за 2 года
  • Должностные инструкции
  • Регламенты и процедуры
  • Прайс-листы поставщиков
  • История переписки с ключевыми клиентами

Итого: 2.5 ГБ документов → 120 000 векторов в Qdrant

3. Интегрировали с 1С

from langchain.agents import Tool
from langchain_openai import ChatOpenAI

class OneCAPIClient:
    """Клиент для работы с 1С через OData"""

    def get_sales_summary(self, date_from: str, date_to: str):
        # Запрос к 1С OData API
        response = requests.get(
            f"http://1c.company.local/odata/standard.odata/Document_РеализацияТоваровИУслуг",
            params={
                "$filter": f"Date ge {date_from} and Date le {date_to}",
                "$select": "Сумма,Контрагент"
            },
            auth=('username', 'password')
        )
        return response.json()

# Создаем tool для агента
tool_1c_sales = Tool(
    name="get_1c_sales",
    func=lambda dates: OneCAPIClient().get_sales_summary(*dates.split(',')),
    description="Получить данные о продажах из 1С за период. Аргумент: 'date_from,date_to' в формате YYYY-MM-DD"
)

# LLM агент с доступом к 1С
from langchain.agents import create_openai_functions_agent

agent = create_openai_functions_agent(
    llm=ChatOpenAI(model="gpt-4-turbo"),
    tools=[tool_1c_sales, ...],
    prompt=...
)

Примеры вопросов:

“Какие продажи были на прошлой неделе?”

→ Агент вызывает get_1c_sales('2025-01-06,2025-01-12') → возвращает ответ с разбивкой по магазинам

“Покажи топ-5 клиентов по выручке в декабре”

→ Агент делает запрос к 1С и форматирует таблицу

4. Настроили роли и права

// config/roles.json
{
  "admin": {
    "models": ["gpt-4", "claude-3-5-sonnet", "gpt-4o"],
    "tools": ["web_search", "1c_access", "file_upload"],
    "max_tokens_per_day": 1000000
  },
  "manager": {
    "models": ["gpt-4o-mini", "claude-3-5-sonnet"],
    "tools": ["1c_access"],
    "max_tokens_per_day": 100000
  },
  "employee": {
    "models": ["gpt-4o-mini"],
    "tools": [],
    "max_tokens_per_day": 30000
  }
}

Результаты за 4 месяца

МетрикаДоПосле
Затраты на AI$900/мес (45 × $20)$280/мес (токены API)
Время на поиск инфо10 мин30 сек
Соответствие 152-ФЗ
Контроль использования✅ (логи, дашборды)
Интеграция с 1С

Экономия: $900 - $280 = $620/мес (~60 000 ₽)

Дополнительные эффекты:

  • 10 часов в неделю экономии времени на поиск информации
  • 85% вопросов решаются через чат, не нужно искать коллег
  • +12 п.п. к NPS сотрудников (удобнее работать)

Продвинутые возможности

1. LLM-агенты для автоматизации

# Агент для автоматической генерации отчетов
from langchain.agents import AgentExecutor

sales_analyst_agent = AgentExecutor(
    agent=create_openai_functions_agent(
        llm=ChatOpenAI(model="gpt-4-turbo"),
        tools=[
            tool_1c_sales,
            tool_clickhouse_query,
            tool_create_chart,
            tool_send_email
        ],
        prompt="""
        Ты — аналитик продаж. Каждое утро в 9:00 ты:
        1. Получаешь данные о продажах за вчера из 1С
        2. Сравниваешь с планом и прошлой неделей
        3. Создаешь график
        4. Отправляешь отчет на почту директору
        """
    ),
    tools=[...],
    verbose=True
)

# Запускаем по расписанию
@schedule.every().day.at("09:00")
def daily_sales_report():
    result = sales_analyst_agent.run("Создай ежедневный отчет по продажам")

2. Мультимодальность (работа с изображениями)

# GPT-4 Vision для анализа фото с камер в магазинах
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o")

response = llm.invoke([
    {"type": "text", "text": "Оцени заполненность полок на этом фото"},
    {"type": "image_url", "image_url": "http://camera.store3.local/snapshot.jpg"}
])

# Ответ: "Полки заполнены на ~60%. Отсутствуют товары в категории 'Молочка'"

3. Локальные модели для сверхчувствительных данных

# Вместо OpenAI API — локальная LLaMA 3 на своем GPU
from langchain_community.llms import Ollama

llm_local = Ollama(
    model="llama3.1:70b",
    base_url="http://gpu-server.local:11434"
)

# Данные не покидают вашу сеть
response = llm_local.invoke("Проанализируй эту зарплатную ведомость...")

Плюсы локальных моделей:

  • ✅ Данные не уходят из компании (даже в OpenAI)
  • ✅ Нет recurring costs (только железо)
  • ✅ Неограниченное использование

Минусы:

  • ❌ Качество ниже GPT-4 / Claude
  • ❌ Нужен GPU (дорого)
  • ❌ Сложнее настраивать

Технический стек

  • Frontend: LibreChat (React)
  • Backend: Node.js + Express
  • LLM API: OpenAI, Anthropic, Mistral, Google AI
  • Vector DB: Qdrant
  • Database: MongoDB (история чатов, пользователи)
  • Cache: Redis
  • Monitoring: Grafana + Prometheus
  • Deploy: Docker + Nginx

Стоимость содержания

Вариант 1: On-premise (собственный сервер)

СтатьяСтоимость
Сервер (16 CPU, 64 GB RAM, 500 GB SSD)15 000 ₽/мес (аренда VPS)
API ключи LLM (OpenAI, Anthropic)20 000 - 80 000 ₽/мес
Администрирование30 000 ₽/мес (аутсорс)
Итого65 000 - 125 000 ₽/мес

Вариант 2: Облако (Yandex Cloud / VK Cloud)

СтатьяСтоимость
VM + managed MongoDB20 000 ₽/мес
API ключи LLM20 000 - 80 000 ₽/мес
Администрирование30 000 ₽/мес
Итого70 000 - 130 000 ₽/мес

Для компании 50 человек: 130 000 ₽ / 50 = 2600 ₽/чел/мес

Сравните с ChatGPT Plus ($20 = 2000 ₽/чел/мес) — примерно одинаково, но с полным контролем.

Внедрение: шаг за шагом

Этап 1: Пилот (2 недели)

  • Разворачиваем LibreChat на тестовом сервере
  • Подключаем GPT-4 и Claude
  • Даем доступ 5-10 сотрудникам
  • Собираем feedback

Стоимость: от 50 000 ₽

Этап 2: RAG + интеграции (3-4 недели)

  • Загружаем корпоративные документы (PDF, Word, Excel)
  • Индексируем в векторную БД
  • Подключаем 1С / CRM через API
  • Настраиваем роли и права

Стоимость: от 200 000 ₽

Этап 3: Production (1-2 недели)

  • Переезд на production сервер
  • Настройка мониторинга
  • Обучение команды (4 часа)
  • Документация

Стоимость: от 100 000 ₽

Итого под ключ: от 350 000 ₽ + 65 000 ₽/мес поддержка

Частые вопросы

Q: Можно просто купить ChatGPT Team ($30/user/мес)?

A: ChatGPT Team не обучается на ваших данных, но данные все равно проходят через OpenAI. Если нужен 152-ФЗ или интеграция с 1С — нужен LibreChat.


Q: Какая модель лучше: GPT-4 или Claude?

A: Зависит от задачи:

  • GPT-4: лучше для кода, математики, Tool Use
  • Claude: лучше для длинных текстов, резюмирования, более “человечный”
  • Рекомендуем давать доступ к обеим моделям

Q: Сложно ли настроить?

A: Базовая установка — 1-2 дня. Интеграции (RAG, 1С) — 2-4 недели. Зависит от количества источников данных.


Q: Можно использовать локальные модели вместо OpenAI?

A: Да! LLaMA 3.1 70B / Qwen 2.5 72B дают качество близкое к GPT-4 (но не идентичное). Нужен GPU (NVIDIA A100/H100 или аренда).

Заключение

LibreChat — это:

  • Безопасно: данные на ваших серверах
  • Гибко: любые модели, интеграции, кастомизация
  • Экономично: $0.30-1 за 1000 запросов вместо $20/мес с человека
  • 152-ФЗ: соответствует законодательству

Подходит для компаний от 20 человек.


Хотите корпоративный AI-ассистент без утечки данных?

Мы разворачиваем LibreChat на ваших серверах, интегрируем с 1С/CRM/базами знаний, обучаем команду. Под ключ за 2-4 недели.

📞 +7 (924) 547-36-78 📧 info@bi-ai.ru 💬 Telegram: @bi_ai_team