rag-service/Improvements.md

Improvements / TODO по оптимизации Embedding-service

1. Оптимизация вычислений в VectorStore

• Заменить np.sort(...)[-k:] на np.argpartition + np.take для выбора top‑k:
  • снизит асимптотику с O(n log n) до O(n) по числу примеров;
  • особенно актуально при росте числа эмбеддингов до тысяч и выше.

2. Работа с типами данных эмбеддингов

• Рассмотреть хранение эмбеддингов в VectorStore в формате float16:
  • веса модели остаются в float32 (как сейчас);
  • вектора примеров после нормализации можно приводить к float16;
  • это даст ~2× экономию памяти на примерах при минимальной потере точности для косинусного сходства.

3. Управление потоками Torch

• Явно ограничить количество потоков для Torch:
  • при инициализации добавить:
    • torch.set_num_threads(1–2)
    • torch.set_num_interop_threads(1)
  • это снизит конкуренцию за CPU на серверах, где крутятся ещё боты.

4. Батчирование запросов к модели

• На будущее, если появится нагрузка:
  • добавить внутри RAGService очередь запросов на эмбеддинги и воркер, который шлёт их в модель батчами (например, окно 5–20 мс);
  • это уменьшит overhead от частых одиночных вызовов encode.