Добавлен функционал для работы с S3 хранилищем и обновление контента опубликованных постов

- В `env.example` добавлены настройки для S3 хранилища. - Обновлен файл зависимостей `requirements.txt`, добавлена библиотека `aioboto3` для работы с S3. - В `PostRepository` и `AsyncBotDB` реализованы методы для обновления и получения контента опубликованных постов. - Обновлены обработчики публикации постов для сохранения идентификаторов опубликованных сообщений и их контента. - Реализована логика сохранения медиафайлов в S3 или на локальный диск в зависимости от конфигурации. - Обновлены тесты для проверки нового функционала.
2026-01-23 23:19:16 +03:00
parent 42f168f329
commit fecac6091e
14 changed files with 992 additions and 143 deletions
--- a/helper_bot/handlers/callback/dependency_factory.py
+++ b/helper_bot/handlers/callback/dependency_factory.py
@@ -13,7 +13,8 @@ def get_post_publish_service() -> PostPublishService:

    db = bdf.get_db()
    settings = bdf.settings
-    return PostPublishService(None, db, settings)
+    s3_storage = bdf.get_s3_storage()
+    return PostPublishService(None, db, settings, s3_storage)


 def get_ban_service() -> BanService:
--- a/helper_bot/handlers/callback/services.py
+++ b/helper_bot/handlers/callback/services.py
@@ -3,6 +3,7 @@ import html
 from typing import Dict, Any

 from aiogram import Bot
+from aiogram import types
 from aiogram.types import CallbackQuery

 from helper_bot.utils.helper_func import (
@@ -33,11 +34,12 @@ from helper_bot.utils.metrics import (


 class PostPublishService:
-    def __init__(self, bot: Bot, db, settings: Dict[str, Any]):
+    def __init__(self, bot: Bot, db, settings: Dict[str, Any], s3_storage=None):
        # bot может быть None - в этом случае используем бота из контекста сообщения
        self.bot = bot
        self.db = db
        self.settings = settings
+        self.s3_storage = s3_storage
        self.group_for_posts = settings['Telegram']['group_for_posts']
        self.main_public = settings['Telegram']['main_public']
        self.important_logs = settings['Telegram']['important_logs']
@@ -98,9 +100,16 @@ class PostPublishService:
        # Формируем финальный текст с учетом is_anonymous
        formatted_text = get_text_message(raw_text, user.first_name, user.username, is_anonymous)
        
-        await send_text_message(self.main_public, call.message, formatted_text)
+        sent_message = await send_text_message(self.main_public, call.message, formatted_text)
+        
+        # Сохраняем published_message_id
+        await self.db.update_published_message_id(
+            original_message_id=call.message.message_id,
+            published_message_id=sent_message.message_id
+        )
+        
        await self._delete_post_and_notify_author(call, author_id)
-        logger.info(f'Текст сообщения опубликован в канале {self.main_public}.')
+        logger.info(f'Текст сообщение опубликован в канале {self.main_public}, published_message_id={sent_message.message_id}.')

    @track_time("_publish_photo_post", "post_publish_service")
    @track_errors("post_publish_service", "_publish_photo_post")
@@ -126,9 +135,19 @@ class PostPublishService:
        # Формируем финальный текст с учетом is_anonymous
        formatted_text = get_text_message(raw_text, user.first_name, user.username, is_anonymous)
        
-        await send_photo_message(self.main_public, call.message, call.message.photo[-1].file_id, formatted_text)
+        sent_message = await send_photo_message(self.main_public, call.message, call.message.photo[-1].file_id, formatted_text)
+        
+        # Сохраняем published_message_id
+        await self.db.update_published_message_id(
+            original_message_id=call.message.message_id,
+            published_message_id=sent_message.message_id
+        )
+        
+        # Сохраняем медиафайл из опубликованного поста (используем уже сохраненный файл)
+        await self._save_published_post_content(sent_message, sent_message.message_id, call.message.message_id)
+        
        await self._delete_post_and_notify_author(call, author_id)
-        logger.info(f'Пост с фото опубликован в канале {self.main_public}.')
+        logger.info(f'Пост с фото опубликован в канале {self.main_public}, published_message_id={sent_message.message_id}.')

    @track_time("_publish_video_post", "post_publish_service")
    @track_errors("post_publish_service", "_publish_video_post")
@@ -154,9 +173,19 @@ class PostPublishService:
        # Формируем финальный текст с учетом is_anonymous
        formatted_text = get_text_message(raw_text, user.first_name, user.username, is_anonymous)
        
-        await send_video_message(self.main_public, call.message, call.message.video.file_id, formatted_text)
+        sent_message = await send_video_message(self.main_public, call.message, call.message.video.file_id, formatted_text)
+        
+        # Сохраняем published_message_id
+        await self.db.update_published_message_id(
+            original_message_id=call.message.message_id,
+            published_message_id=sent_message.message_id
+        )
+        
+        # Сохраняем медиафайл из опубликованного поста (используем уже сохраненный файл)
+        await self._save_published_post_content(sent_message, sent_message.message_id, call.message.message_id)
+        
        await self._delete_post_and_notify_author(call, author_id)
-        logger.info(f'Пост с видео опубликован в канале {self.main_public}.')
+        logger.info(f'Пост с видео опубликован в канале {self.main_public}, published_message_id={sent_message.message_id}.')

    @track_time("_publish_video_note_post", "post_publish_service")
    @track_errors("post_publish_service", "_publish_video_note_post")
@@ -169,9 +198,19 @@ class PostPublishService:
            logger.error(f"Не удалось обновить статус поста message_id={call.message.message_id} на 'approved'")
            raise PostNotFoundError(f"Пост с message_id={call.message.message_id} не найден в базе данных")
        
-        await send_video_note_message(self.main_public, call.message, call.message.video_note.file_id)
+        sent_message = await send_video_note_message(self.main_public, call.message, call.message.video_note.file_id)
+        
+        # Сохраняем published_message_id
+        await self.db.update_published_message_id(
+            original_message_id=call.message.message_id,
+            published_message_id=sent_message.message_id
+        )
+        
+        # Сохраняем медиафайл из опубликованного поста (используем уже сохраненный файл)
+        await self._save_published_post_content(sent_message, sent_message.message_id, call.message.message_id)
+        
        await self._delete_post_and_notify_author(call, author_id)
-        logger.info(f'Пост с кружком опубликован в канале {self.main_public}.')
+        logger.info(f'Пост с кружком опубликован в канале {self.main_public}, published_message_id={sent_message.message_id}.')

    @track_time("_publish_audio_post", "post_publish_service")
    @track_errors("post_publish_service", "_publish_audio_post")
@@ -197,9 +236,19 @@ class PostPublishService:
        # Формируем финальный текст с учетом is_anonymous
        formatted_text = get_text_message(raw_text, user.first_name, user.username, is_anonymous)
        
-        await send_audio_message(self.main_public, call.message, call.message.audio.file_id, formatted_text)
+        sent_message = await send_audio_message(self.main_public, call.message, call.message.audio.file_id, formatted_text)
+        
+        # Сохраняем published_message_id
+        await self.db.update_published_message_id(
+            original_message_id=call.message.message_id,
+            published_message_id=sent_message.message_id
+        )
+        
+        # Сохраняем медиафайл из опубликованного поста (используем уже сохраненный файл)
+        await self._save_published_post_content(sent_message, sent_message.message_id, call.message.message_id)
+        
        await self._delete_post_and_notify_author(call, author_id)
-        logger.info(f'Пост с аудио опубликован в канале {self.main_public}.')
+        logger.info(f'Пост с аудио опубликован в канале {self.main_public}, published_message_id={sent_message.message_id}.')

    @track_time("_publish_voice_post", "post_publish_service")
    @track_errors("post_publish_service", "_publish_voice_post")
@@ -212,9 +261,19 @@ class PostPublishService:
            logger.error(f"Не удалось обновить статус поста message_id={call.message.message_id} на 'approved'")
            raise PostNotFoundError(f"Пост с message_id={call.message.message_id} не найден в базе данных")
        
-        await send_voice_message(self.main_public, call.message, call.message.voice.file_id)
+        sent_message = await send_voice_message(self.main_public, call.message, call.message.voice.file_id)
+        
+        # Сохраняем published_message_id
+        await self.db.update_published_message_id(
+            original_message_id=call.message.message_id,
+            published_message_id=sent_message.message_id
+        )
+        
+        # Сохраняем медиафайл из опубликованного поста (используем уже сохраненный файл)
+        await self._save_published_post_content(sent_message, sent_message.message_id, call.message.message_id)
+        
        await self._delete_post_and_notify_author(call, author_id)
-        logger.info(f'Пост с войсом опубликован в канале {self.main_public}.')
+        logger.info(f'Пост с войсом опубликован в канале {self.main_public}, published_message_id={sent_message.message_id}.')

    @track_time("_publish_media_group", "post_publish_service")
    @track_errors("post_publish_service", "_publish_media_group")
@@ -259,17 +318,36 @@ class PostPublishService:
            
            # Отправляем медиагруппу в канал
            logger.info(f"Отправляю медиагруппу в канал {self.main_public}")
-            await send_media_group_to_channel(
+            sent_messages = await send_media_group_to_channel(
                bot=self._get_bot(call.message), 
                chat_id=self.main_public, 
                post_content=post_content, 
-                post_text=formatted_text
+                post_text=formatted_text,
+                s3_storage=self.s3_storage
            )
+            
+            # Получаем оригинальные message_id из медиагруппы
+            original_message_ids = await self.db.get_post_ids_from_telegram_by_last_id(helper_message_id)
+            logger.debug(f"Получены оригинальные message_id медиагруппы: {original_message_ids}")
+            
+            # Сохраняем published_message_id для каждого сообщения медиагруппы
+            if len(sent_messages) == len(original_message_ids):
+                for i, original_message_id in enumerate(original_message_ids):
+                    published_message_id = sent_messages[i].message_id
+                    await self.db.update_published_message_id(
+                        original_message_id=original_message_id,
+                        published_message_id=published_message_id
+                    )
+                    # Сохраняем медиафайл из опубликованного сообщения (используем уже сохраненный файл)
+                    await self._save_published_post_content(sent_messages[i], published_message_id, original_message_id)
+                    logger.debug(f"Сохранен published_message_id: {original_message_id} -> {published_message_id}")
+            else:
+                logger.warning(f"Количество опубликованных сообщений ({len(sent_messages)}) не совпадает с количеством оригинальных ({len(original_message_ids)})")

            await self.db.update_status_for_media_group_by_helper_id(helper_message_id, "approved")
            logger.debug(f"Удаляю медиагруппу и уведомляю автора {author_id}")
            await self._delete_media_group_and_notify_author(call, author_id)
-            logger.info(f'Медиагруппа опубликована в канале {self.main_public}.')
+            logger.info(f'Медиагруппа опубликована в канале {self.main_public}, опубликовано сообщений: {len(sent_messages)}.')
            
        except Exception as e:
            logger.error(f"Ошибка при публикации медиагруппы: {e}")
@@ -412,6 +490,34 @@ class PostPublishService:
                raise UserBlockedBotError("Пользователь заблокировал бота")
            raise

+    @track_time("_save_published_post_content", "post_publish_service")
+    @track_errors("post_publish_service", "_save_published_post_content")
+    async def _save_published_post_content(self, published_message: types.Message, published_message_id: int, original_message_id: int) -> None:
+        """Сохраняет ссылку на медиафайл из опубликованного поста (файл уже в S3 или на диске)."""
+        try:
+            # Получаем уже сохраненный путь/S3 ключ из оригинального поста
+            saved_content = await self.db.get_post_content_by_message_id(original_message_id)
+            
+            if saved_content and len(saved_content) > 0:
+                # Копируем тот же путь/S3 ключ
+                file_path, content_type = saved_content[0]
+                logger.debug(f"Копируем путь/S3 ключ для опубликованного поста: {file_path}")
+                
+                success = await self.db.add_published_post_content(
+                    published_message_id=published_message_id,
+                    content_path=file_path,  # Тот же путь/S3 ключ
+                    content_type=content_type
+                )
+                if success:
+                    logger.info(f"Ссылка на файл сохранена для опубликованного поста: published_message_id={published_message_id}, path={file_path}")
+                else:
+                    logger.warning(f"Не удалось сохранить ссылку на файл: published_message_id={published_message_id}")
+            else:
+                logger.warning(f"Контент не найден для оригинального поста message_id={original_message_id}")
+        except Exception as e:
+            logger.error(f"Ошибка при сохранении ссылки на контент опубликованного поста {published_message_id}: {e}")
+            # Не прерываем публикацию, если сохранение контента не удалось
+

 class BanService:
    def __init__(self, bot: Bot, db, settings: Dict[str, Any]):