Logo

Babel Fish AIでは、以前Chrome拡張機能を紹介しました。これは、OpenAIのWhisper APIを通じて音声をテキストに変換し、さらにリアルタイム翻訳も行うものです。今回は、多数の新機能と改善を持って戻ってきました。コンテキストメニューや、文字起こしテキストの自動コピー、バナー上のボタンで起動できる自動言い換え機能など、初版からの進化を解説します。

1. 紹介：何が変わったのか？

Babel Fish AIは、その使命である、ブラウザ上でテキストを文字起こし、翻訳、言い換えを簡単に行えるようすることを追求し続けています。前回の記事以降の主な新機能は以下の通りです：

  • 強力なコンテキストメニュー：
    選択したテキスト上で右クリックすると、そのテキストを言い換え（rephrase）したり、希望する言語に翻訳したりできます。元のテキストは新しいバージョンに直接置き換えられます。

  • バナーからの即時操作：
    設定画面に行って言い換えや翻訳をオン/オフする必要はもうありません！文字起こし中の画面上部に表示されるバナー内のボタンで、リアルタイムに好みの設定に調整できます。

  • スマートな自動コピー機能：
    Automatic copy to clipboardオプションを有効にすると、ダイアログボックスが表示され、入力フィールドがフォーカスされていない場合にテキストが自動的にコピーされます。

  • インターフェースの改善：

    • 統合されたコピー用ボタン。
    • ダイアログボックスを開いたままにするか、または自動閉鎖までの遅延を設定することが可能。
    • 現代的なデザイン（角丸、影など）のアニメーションやスタイルが追加されました。

  • その他の最適化：

    • 各API呼び出し前に接続状況（navigator.onLine）をチェックし、オフラインエラーを回避。
    • エラー処理や、APIキーの欠如、ネットワークの不調などについて、より明確なエラーメッセージを実装。
    • 言語、バナー、UIなど専用ファイルによる、よりモジュール化されたコード構成。

2. 動画：15言語、15のデモ

以下は、各動画が音声文字起こし、リアルタイム翻訳、言い換え機能を紹介するリストです。

  1. フランス語 (FR) : https://youtu.be/7iLJ_MPQ33k
  2. 英語 (EN) : https://youtu.be/ie7vR_9IJCw
  3. 日本語 (JA) : https://youtu.be/bjoGWvSyQPo
  4. 韓国語 (KO) : https://youtu.be/e4E5K4il6t8
  5. 中国語 (ZH) : https://youtu.be/mdxffjYetJs
  6. スペイン語 (ES) : https://youtu.be/pXvQBsjKHLk
  7. ドイツ語 (DE) : https://youtu.be/FdjPCvDEYXc
  8. ポーランド語 (PL) : https://youtu.be/ckkgQ1wtYok
  9. イタリア語 (IT) : https://youtu.be/1XTbqCksu2s
  10. ポルトガル語 (PT) : https://youtu.be/s6BcKsTdUdg
  11. オランダ語 (NL) : https://youtu.be/8jMHRjzNM2k
  12. ヒンディー語 (HI) : https://youtu.be/VFuh-qrAFKU
  13. アラビア語 (AR) : https://youtu.be/pMbzVmCudDQ
  14. ルーマニア語 (RO) : https://youtu.be/FmQgv3Ezu0s
  15. スウェーデン語 (SV) : https://youtu.be/1hHPh6cYOkY

このようにして、Babel Fish AIはあなたの好みの言語でのコミュニケーションを支援します！

3. 最近のバージョンのまとめ

バージョン1.1.0以降の主要な変更点を簡単にまとめると以下の通りです：

3.1. コンテキストメニュー (v1.1.12)

  • 選択したテキスト上での右クリック：
    • Rephrase Selectionで即時に言い換え。
    • Translate Selectionで、選択したテキストを任意の対応言語に翻訳。
  • 改善されたダイアログボックス：
    • ビジュアルタイマー、「Keep Open」ボタン、モダンなスタイル、統合されたコピー用ボタン。

3.2. 自動コピーとフォーカス管理 (v1.1.14 → v1.1.15)

  • “Automatic copy to clipboard"オプション：
    • ダイアログボックスが表示され、入力フィールドにフォーカスがない場合のみテキストをコピーします。
  • 改善された検出機能：
    • テキストがすでに入力フィールドに挿入されている場合、クリップボードへの過剰な書き込みを回避します。
  • フォーカスとカーソルの保持：
    • バナーやボタンとの対話中に、テキスト内の位置が保持されます。

3.3. UIおよびUXの改善 (v1.1.13)

  • アクセシビリティ向上のため、ダイアログボックス上部にコントロールを配置。
  • よりコンパクトなインターフェース（間隔縮小、マージン調整）。
  • タイマーの管理が向上（ビジュアルカウンター、「Keep Open」オプション）。

3.4. その他の最適化と修正

  • コードのリファクタリング：言語、バナー、API呼び出しなど専用ファイルによる、よりモジュール化された構成。
  • より信頼性の高い接続：オフライン状態を検知し、不要なAPI呼び出しを防止。
  • より明確なエラーメッセージ：無効なAPIキーなど、問題解決のための詳細な指示。
  • セキュリティの向上：window.clearTimeoutの活用、より安全なインジェクション手法など。

4. コード解析ツールの導入

AI支援開発のためのRoo Code（主に現在無料で利用可能なGoogleのgemini-2.0-pro-exp-02-05およびgemini-2.0-flash-thinking-exp-01-21モデル、さらにAnthropicのClaude Sonnet 3.7を活用）と並行して、生成されたコードの品質と安全性を保証するために、以下の静的解析ツールを統合しました：

  • SonarCloud
  • CodeFactor
  • Codacy
  • DeepSource

GitHub上での各プルリクエスト時に、これらのサービスがコードを解析し、脆弱性、技術的負債、または不適切な実装を即座に指摘します。フィードバックはGitHubのインターフェース上に直接表示され、メインブランチに統合する前に迅速な修正が可能となります。このように、AIが大量のコードを生成した場合でも、これらの解析ツールがガードレールとして機能し、クリーンで安全なコードの維持を支援します。

5. 最新の技術アーキテクチャ

前回の記事以降、拡張機能の構造は若干進化しました。主要なポイントは以下の通りです：

  • manifest.json (MV3)：permissions（activeTab、scripting、contextMenusなど）の管理および、動的インジェクションの実施。
  • background.js：アイコンのクリック、ショートカットへの反応、およびcontent.jsのインジェクトを担当するサービスワーカー。
  • content.js：音声（MediaRecorder）の処理および、専用モジュールを通じてAPI（Whisper、GPT）を呼び出す中心的な役割。
  • コンテキストメニュー：background.jsにより作成され、content.jsで適用。
  • i18n.jsおよびlanguages-shared.js：翻訳データの一元管理。

6. 試してみませんか？

7. 結論

今回のアップデートにより、Babel Fish AIはさらに多機能で、使いやすく、インテリジェントになりました。コンテキストメニュー、バナー上で直接利用可能な言い換え・翻訳ボタン、自動コピーシステム、そして強化されたコード解析により、ユーザーエクスペリエンスは大幅に向上しました。

ぜひデモ動画をご覧いただき、ご愛顧に感謝するとともに、文字起こしおよび翻訳プロジェクトでのご成功をお祈りします。

この文書は、frバージョンからja言語にo3-miniモデルを使用して翻訳されました。翻訳プロセスの詳細については、https://gitlab.com/jls42/ai-powered-markdown-translator をご覧ください