RAG без простоев: настраиваем инкрементальное обновление документов с Qdrant и LangChain
Qdrant
LangChain
Предложен ETL-скрипт на Python для инкрементального обновления векторной базы Qdrant через LangChain без остановки сервиса. Система отслеживает новые, изменённые и удалённые файлы с помощью хешей и сравнивает даты модификации, что позволяет обновлять только изменившиеся документы.
В статье на Хабре описан подход к инкрементальному обновлению векторной базы знаний для RAG-ассистента без downtime. Полная переиндексация всех документов с остановкой сервиса — простое, но неприемлемое для продакшена решение, особенно при сотнях тысяч документов и требованиях SLA. Автор предлагает ETL-скрипт на Python с использованием Qdrant (векторный движок с открытым кодом) и LangChain. Система состоит из четырёх шагов: рекурсивный обход директорий с формированием таблицы файлов с md5-хешами полного пути; вычисление дельты — определение статусов new, update, delete на основе сравнения хешей и дат модификации с мастер-таблицей; загрузка новых и изменённых документов в контейнеры Document из LangChain с метаданными (хеш, дата, статус); обновление коллекции Qdrant — удаление документов по ID (хеш) и добавление/обновление через vector_store.add_documents. Статусы хранятся в мастер-таблице: после успешной загрузки статус меняется на load, записи удалённых документов удаляются. Векторное хранилище использует экземпляр QdrantVectorStore из LangChain. В туториале один документ равен одному чанку (без сегментации).
- Сокращения
- ETL = Extract, Transform, Load — извлечение, преобразование, загрузка
- RAG = Retrieval-Augmented Generation — генерация с дополнением извлечением
- SLA = Service Level Agreement — соглашение об уровне обслуживания
- API = Application Programming Interface — интерфейс программирования приложений
- ID = Identifier — идентификатор
- md5 = Message Digest 5 — пятая версия алгоритма хеширования
Источник: Хабр — Data Mining —
оригинал