Andrey
7f6f0f028c
- Обновлен Dockerfile для установки необходимых зависимостей. - Добавлены новые переменные окружения для настройки ML-скоринга в env.example. - Реализованы методы для получения и обновления ML-скоров в AsyncBotDB и PostRepository. - Обновлены обработчики публикации постов для интеграции ML-скоринга. - Добавлен новый обработчик для получения статистики ML-скоринга в админ-панели. - Обновлены функции для форматирования сообщений с учетом ML-скоров.
94 lines
3.6 KiB
Python
94 lines
3.6 KiB
Python
#!/usr/bin/env python3
|
||
"""
|
||
Миграция: Добавление колонок для ML-скоринга постов.
|
||
|
||
Добавляет:
|
||
- ml_scores (TEXT/JSON) - JSON с результатами оценки от разных моделей
|
||
- vector_hash (TEXT) - хеш текста для кеширования векторов
|
||
|
||
Структура ml_scores:
|
||
{
|
||
"deepseek": {"score": 0.75, "model": "deepseek-chat", "ts": 1706198400},
|
||
"rag": {"score": 0.90, "model": "rubert-base-cased", "ts": 1706198400}
|
||
}
|
||
"""
|
||
import argparse
|
||
import asyncio
|
||
import os
|
||
import sys
|
||
from pathlib import Path
|
||
|
||
# Добавляем корень проекта в путь
|
||
project_root = Path(__file__).resolve().parent.parent
|
||
sys.path.insert(0, str(project_root))
|
||
|
||
import aiosqlite
|
||
|
||
# Пытаемся импортировать logger, если не получается - используем стандартный
|
||
try:
|
||
from logs.custom_logger import logger
|
||
except ImportError:
|
||
import logging
|
||
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
|
||
logger = logging.getLogger(__name__)
|
||
|
||
DEFAULT_DB_PATH = "database/tg-bot-database.db"
|
||
|
||
|
||
async def column_exists(conn: aiosqlite.Connection, table: str, column: str) -> bool:
|
||
"""Проверяет существование колонки в таблице."""
|
||
cursor = await conn.execute(f"PRAGMA table_info({table})")
|
||
columns = await cursor.fetchall()
|
||
return any(col[1] == column for col in columns)
|
||
|
||
|
||
async def main(db_path: str) -> None:
|
||
"""
|
||
Основная функция миграции.
|
||
|
||
Добавляет колонки ml_scores и vector_hash в таблицу post_from_telegram_suggest.
|
||
Миграция идемпотентна - можно запускать повторно без ошибок.
|
||
"""
|
||
db_path = os.path.abspath(db_path)
|
||
|
||
if not os.path.exists(db_path):
|
||
logger.error(f"База данных не найдена: {db_path}")
|
||
return
|
||
|
||
async with aiosqlite.connect(db_path) as conn:
|
||
await conn.execute("PRAGMA foreign_keys = ON")
|
||
|
||
# Проверяем и добавляем колонку ml_scores
|
||
if not await column_exists(conn, "post_from_telegram_suggest", "ml_scores"):
|
||
await conn.execute(
|
||
"ALTER TABLE post_from_telegram_suggest ADD COLUMN ml_scores TEXT"
|
||
)
|
||
logger.info("Колонка ml_scores добавлена в post_from_telegram_suggest")
|
||
else:
|
||
logger.info("Колонка ml_scores уже существует")
|
||
|
||
# Проверяем и добавляем колонку vector_hash
|
||
if not await column_exists(conn, "post_from_telegram_suggest", "vector_hash"):
|
||
await conn.execute(
|
||
"ALTER TABLE post_from_telegram_suggest ADD COLUMN vector_hash TEXT"
|
||
)
|
||
logger.info("Колонка vector_hash добавлена в post_from_telegram_suggest")
|
||
else:
|
||
logger.info("Колонка vector_hash уже существует")
|
||
|
||
await conn.commit()
|
||
logger.info("Миграция add_ml_scores_columns завершена успешно")
|
||
|
||
|
||
if __name__ == "__main__":
|
||
parser = argparse.ArgumentParser(
|
||
description="Добавление колонок ml_scores и vector_hash для ML-скоринга"
|
||
)
|
||
parser.add_argument(
|
||
"--db",
|
||
default=os.environ.get("DATABASE_PATH", DEFAULT_DB_PATH),
|
||
help="Путь к БД",
|
||
)
|
||
args = parser.parse_args()
|
||
asyncio.run(main(args.db))
|