Vertex AIのGemini 1.5 Proで動画ファイルから議事録を生成する

(42-create-minutes-app-py3.13) @ 42_create_minutes_app % tree -la
.
├── .env
├── README.md
├── create_minutes.py
├── input
│   ├── bsーdataengineering-foundamental.mp4
│   └── prompt.md
├── output
│   ├── bsーdataengineering-foundamental_minutes.md
├── pyproject.toml
└── tmp
    ├── bsーdataengineering-foundamental.mp3
    └── bsーdataengineering-foundamental.txt

4 directories, 13 files

# Python 3.13のインストール
pyenv install 3.13
pyenv local 3.13

# Poetry環境のセットアップ
poetry env use python3.13
poetry install
poetry shell

[tool.poetry]
name = "42-create-minutes-app"
version = "0.1.0"
description = ""
authors = ["cm-yoshikikasama"]
readme = "README.md"

[tool.poetry.dependencies]
python = "^3.13"
vertexai = "^1.71.1"
python-dotenv = "^1.0.1"
ffmpeg-python = "^0.2.0"

[build-system]
requires = ["poetry-core"]
build-backend = "poetry.core.masonry.api"

PROJECT_ID=your-project-id
REGION=us-central1
GOOGLE_APPLICATION_CREDENTIALS=./vertex-ai-key.json
FILE_NAME=your-file-name
PROMPT_TEMPLATE_FILE=prompt.md
SPEAKERS_COUNT=3

import os
import ffmpeg
import shutil
import logging
import vertexai
from vertexai.generative_models import GenerativeModel, Part
from dotenv import load_dotenv

# .envファイルの読み込み
load_dotenv()

# ロギングの設定
logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(message)s")
logger = logging.getLogger(__name__)
TMP_DIR = "tmp"

# --- 環境変数の設定 ---
PROJECT_ID = os.getenv("PROJECT_ID")
REGION = os.getenv("REGION")
FILE_NAME = os.getenv("FILE_NAME")
INPUT_MP4_FILE_PATH = os.path.join("input", f"{FILE_NAME}.mp4")
PROMPT_TEMPLATE_FILE = os.getenv("PROMPT_TEMPLATE_FILE")
SPEAKERS_COUNT = os.getenv("SPEAKERS_COUNT")
AI_MODEL = "gemini-2.0-flash-exp"

# Vertex AI の初期化
GOOGLE_APPLICATION_CREDENTIALS = os.getenv("GOOGLE_APPLICATION_CREDENTIALS")
os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = GOOGLE_APPLICATION_CREDENTIALS
vertexai.init(project=PROJECT_ID, location=REGION)

def setup_tmp_directory():
    """一時ディレクトリのセットアップ（クリアと作成）"""
    logger.info("一時ディレクトリをセットアップします...")
    if os.path.exists(TMP_DIR):
        shutil.rmtree(TMP_DIR)
    os.makedirs(TMP_DIR)
    logger.info("一時ディレクトリのセットアップが完了しました")

def convert_mp4_to_mp3(mp4_file, mp3_file):
    logger.info("MP4からMP3への変換を開始します...")
    try:
        (
            ffmpeg.input(mp4_file)
            .output(mp3_file)
            # 詳細ログ出力の制御
            .global_args("-loglevel", "quiet")
            .run()
        )
        logger.info(f"MP3への変換が完了しました: {mp3_file}")
    except Exception as e:
        logger.error(f"MP3変換中にエラーが発生しました: {e}")
        raise

def transcribe_audio(mp3_file):
    logger.info("音声の文字起こしを開始します...")
    try:
        # Gemini Proモデルの初期化
        model = GenerativeModel(AI_MODEL)

        # 音声ファイルを読み込んでPartとして準備
        with open(mp3_file, "rb") as f:
            audio_data = f.read()
            audio_part = Part.from_data(data=audio_data, mime_type="audio/mp3")

        # プロンプトの準備
        prompt = """
        音声を書き起こしてください。以下の点に注意してください：
        1. 各発言の冒頭に発言者を明記してください（例：[発言者A]）
        2. 同じ人物の発言は一貫して同じ識別子を使用してください
        3. 発言者が変わる際は必ず新しい行から始めてください
        4. 読みやすいように句読点や改行を追加してください
        """

        # コンテンツの準備とAPIリクエスト
        contents = [audio_part, prompt]

        logger.info("Gemini Pro APIにリクエストを送信中...")
        response = model.generate_content(contents)
        logger.info("文字起こしが完了しました")
        return response.text

    except Exception as e:
        logger.error(f"文字起こし中にエラーが発生しました: {e}")
        raise

def create_minutes(text):
    logger.info("議事録の作成を開始します...")
    try:
        # プロンプトファイルを読み込む
        with open(f"input/{PROMPT_TEMPLATE_FILE}", "r", encoding="utf-8") as f:
            prompt_template = f.read()
        prompt_template = prompt_template.replace("${SPEAKERS_COUNT}", SPEAKERS_COUNT)
        # テキストをプロンプトに組み込む
        prompt = f"会議の記録です:{text}\n{prompt_template}"

        model = GenerativeModel(AI_MODEL)
        response = model.generate_content(
            prompt, generation_config={"temperature": 0.1}
        )
        logger.info("議事録の作成が完了しました")
        return response.text

    except Exception as e:
        logger.error(f"議事録作成中にエラーが発生しました: {e}")
        raise

if __name__ == "__main__":
    try:
        logger.info("処理を開始します...")
        # 入力ファイルの存在確認
        if not os.path.exists(INPUT_MP4_FILE_PATH):
            raise FileNotFoundError(
                f"入力ファイルが見つかりません: {INPUT_MP4_FILE_PATH}"
            )

        # 一時ディレクトリのセットアップ
        setup_tmp_directory()

        # 出力ディレクトリの作成
        os.makedirs("output", exist_ok=True)
        # 一時ファイルのパス設定
        tmp_mp3_file = os.path.join(TMP_DIR, f"{FILE_NAME}.mp3")
        tmp_transcript_file = os.path.join(TMP_DIR, f"{FILE_NAME}.txt")

        # mp4をmp3に変換（一時ファイルとして）
        convert_mp4_to_mp3(INPUT_MP4_FILE_PATH, tmp_mp3_file)

        # mp3をテキストに書き起こし
        transcript = transcribe_audio(tmp_mp3_file)
        logger.info("書き起こしテキストを一時ファイルに保存します...")
        with open(tmp_transcript_file, "w", encoding="utf-8") as f:
            f.write(transcript)
        logger.info(f"テキストファイルを保存しました: {tmp_transcript_file}")

        # 議事録を作成
        minutes = create_minutes(transcript)
        # 議事録をMDファイルとして保存
        minutes_file = os.path.join("output", f"{FILE_NAME}_minutes.md")
        logger.info("議事録をMDファイルとして保存します...")
        with open(minutes_file, "w", encoding="utf-8") as f:
            f.write(minutes)
        logger.info(f"議事録を保存しました: {minutes_file}")

        logger.info("すべての処理が完了しました")

    except Exception as e:
        logger.error(f"処理中にエラーが発生しました: {e}")
        raise

(42-create-minutes-app-py3.13) @ input % ls -l
total 599040
-rw-r--r--@ 1   staff  306701204  1 14 13:09 bsーdataengineering-foundamental.mp4
-rw-r--r--  1   staff       1395  1 14 20:55 prompt.md
(42-create-minutes-app-py3.13)

上記の記録から以下の項目を含む詳細な議事録をMarkdown記法で作成してください。
各項目には具体的な内容を箇条書きで記載し、可能な限り詳細な情報を含めてください。

# 議事録

## 基本情報
- 日時
- 場所/開催方法
- 所要時間

## 参加者
- 発言者人数: ${SPEAKERS_COUNT}人
- 参加者の役職や所属も記載してください
- 欠席者がいれば記載してください

## 会議テーマ・目的
- 主要なテーマ
- 会議の背景や目的

## 議題と討議内容
1. 議題1
   - 討議内容の詳細
   - 主な意見や提案
2. 議題2
   - 討議内容の詳細
   - 主な意見や提案
（議題は実際の内容に応じて追加してください。可能な限り詳細に記載してください。）

## 決定事項
- 決定された内容を具体的に記載
- 決定に至った理由や背景
- 実施時期や担当者

## TODO
- タスク内容
- 担当者
- 期限
- 優先度

注意事項：
- 各項目について、できるだけ具体的に記載してください
- 内容が不明確な場合は「情報なし」と記載してください
- 箇条書きの内容は簡潔かつ明確に記載してください

python create_minutes.py

(42-create-minutes-app-py3.13) @ 42_create_minutes_app % python create_minutes.py
2025-01-16 22:47:59,236 - 処理を開始します...
2025-01-16 22:47:59,236 - 一時ディレクトリをセットアップします...
2025-01-16 22:47:59,236 - 一時ディレクトリのセットアップが完了しました
2025-01-16 22:47:59,236 - MP4からMP3への変換を開始します...
2025-01-16 22:48:10,827 - MP3への変換が完了しました: tmp/bsーdataengineering-foundamental.mp3
2025-01-16 22:48:10,828 - 音声の文字起こしを開始します...
2025-01-16 22:48:10,841 - Gemini Pro APIにリクエストを送信中...
2025-01-16 22:51:44,832 - 文字起こしが完了しました
2025-01-16 22:51:44,836 - 書き起こしテキストを一時ファイルに保存します...
2025-01-16 22:51:44,837 - テキストファイルを保存しました: tmp/bsーdataengineering-foundamental.txt
2025-01-16 22:51:44,837 - 議事録の作成を開始します...
2025-01-16 22:52:07,042 - 議事録の作成が完了しました
2025-01-16 22:52:07,042 - 議事録をMDファイルとして保存します...
2025-01-16 22:52:07,044 - 議事録を保存しました: output/bsーdataengineering-foundamental_minutes.md
2025-01-16 22:52:07,044 - すべての処理が完了しました
(42-create-minutes-app-py3.13) @ 42_create_minutes_app %