在这篇文章中，我分享了一个作为概念验证（POC）开发的Python脚本，用于自动化翻译我的博客帖子，利用OpenAI的GPT-4语言模型。这个脚本专为处理我的Hugo博客结构中的Markdown文件设计，使管理我的文章的多语言变得更加容易。这些文章可用英语、西班牙语和中文查阅。
项目启动：将AI和自动化合并到我的博客中
我开始自动化翻译我的博客文章的项目是由于我对人工智能越来越感兴趣。受到我与OpenAI GPT-4和Mistral AI API的初步体验的启发，我被将这些技术具体化为一个实际项目，为我的博客带来有形价值的想法所吸引。这不仅仅是掌握AI工具的追求，还有一个希望将自动化和创新融合以丰富我的数字空间的愿望。
这个项目变成了一个冒险，AI不仅仅是写作的主题，还是开发中的一个活跃伙伴。用AI以简便高效的方式翻译我的文章的想法，同时探索其自动化能力，打开了令人着迷的新视野。这是一个超越语言障碍的机会，使我的内容可被更广泛的受众访问，同时在不断发展的人工智能领域中导航。
挑战
主要挑战是创建一个脚本，能够准确翻译并保留文章的原始格式，包括代码块、链接和图像。另一个挑战是确保脚本可以轻松适应不同语言的支持。 脚本还必须能够考虑到这样的结构：
├── content
│ ├── about
│ │ └── a-propos-du-blog-jls42.md
│ ├── mentions
│ │ └── mentions-legales.md
│ ├── posts
│ │ ├── blog
│ │ │ └── nouveau-theme-logo.md
│ │ ├── ia
│ │ │ ├── poc-mistral-ai-mixtral.md
│ │ │ ├── poc-openai-api-gpt4.md
│ │ │ └── stable-difusion-aws-ec2.md
│ │ ├── infrastructure
│ │ │ └── infrastruture-as-code-serverless-ha-jls42-org.md
│ │ └── raspberry-pi
│ │ ├── glusterfs_distribue_replique_sur_raspberry_pi_via_ansible.md
│ │ ├── initialisation-auto-de-raspbian-sur-raspberry-pi.md
│ │ ├── installation-de-docker-sur-raspberry-pi-via-ansible.md
│ │ └── installation-de-kubernetes-sur-raspberry-pi-via-ansible.md
解决办法：一个创新的脚本
我设计了一个Python脚本，它依赖OpenAI GPT-4 API来翻译文本，同时保留非文本元素。通过一系列处理规则和使用占位符，脚本能够识别和排除代码块和其他不可翻译的元素，确保翻译内容保持忠实于原文。
关键功能
- GPT-4精确翻译：脚本使用OpenAI的GPT-4模型将文本从法语翻译成英语，确保保持原始内容的质量和细微差别。
- 保留格式：代码块、URL和图像路径在翻译过程中被识别并保持原样，确保原始格式得到保留。
- 多语言灵活性：该脚本设计易于适应不同的源语言和目标语言，允许广泛的多语言应用。
- 支持Markdown文件：能够翻译Markdown文档，保持其特定的结构和格式。
- 目录翻译自动化：自动翻译给定目录及其子目录中找到的Markdown文件，简化了大量内容的管理。
- 集成翻译说明：自动在翻译文档末尾添加翻译说明，指明用于翻译的GPT模型。
- 易于配置和个性化：可自定义的默认设置，适用于API密钥、GPT模型、源语言和目标语言以及文件目录，使用灵活多变。
- 性能报告：该脚本提供反馈，表明翻译每个文件所需的时间，允许监控其性能。
脚本代码
代码也可在此处获取：AI-Powered Markdown Translator
#!/usr/bin/env python3
import os
import argparse
import time
from openai import OpenAI
import re
# Initialisation de la configuration avec les valeurs par défaut
DEFAULT_API_KEY = 'votre-clé-api-par-défaut'
DEFAULT_MODEL = "gpt-4-1106-preview"
DEFAULT_SOURCE_LANG = 'fr'
DEFAULT_TARGET_LANG = 'en'
DEFAULT_SOURCE_DIR = 'content/posts'
DEFAULT_TARGET_DIR = 'traductions_en'
MODEL_TOKEN_LIMITS = {
"gpt-4-1106-preview": 4096,
"gpt-4-vision-preview": 4096,
"gpt-4": 8192,
"gpt-4-32k": 32768,
"gpt-4-0613": 8192,
"gpt-4-32k-0613": 32768
}
# Fonction de traduction
def translate_with_openai(text, client, args):
"""
Traduit le texte donné du langage source au langage cible en utilisant l'API OpenAI.
Args:
text (str) : Le texte à traduire.
client : L'objet client OpenAI.
args : Les arguments contenant les informations sur le langage source, le langage cible et le modèle.
Returns:
str : Le texte traduit.
"""
# Détecter et stocker les blocs de code
code_blocks = re.findall(r'(^```[a-zA-Z]*\n.*?\n^```)', text, flags=re.MULTILINE | re.DOTALL)
placeholders = [f"#CODEBLOCK{index}#" for index, _ in enumerate(code_blocks)]
# Remplacer les blocs de code par des placeholders
for placeholder, code_block in zip(placeholders, code_blocks):
text = text.replace(code_block, placeholder)
# Création du message pour l'API
messages = [
{"role": "system", "content": f"Translate the following text from {args.source_lang} to {args.target_lang}, ensuring that elements such as URLs, image paths, and code blocks (delimited by ```) are not translated. Leave these elements unchanged."},
{"role": "user", "content": text}
]
# Envoi de la demande de traduction
response = client.chat.completions.create(
model=args.model,
messages=messages
)
# Obtenir le texte traduit et remplacer les placeholders par les blocs de code originaux
translated_text = response.choices[0].message.content.strip()
for placeholder, code_block in zip(placeholders, code_blocks):
translated_text = translated_text.replace(placeholder, code_block)
return translated_text
def add_translation_note(client, args):
"""
Ajoute une note de traduction à un document.
Args:
client : Le client de traduction.
args : Arguments supplémentaires.
Returns:
La note de traduction formatée.
"""
# Note de traduction en français
translation_note_fr = "Ce document a été traduit de la version française du blog par le modèle "
# Traduire la note en langue cible
translated_note = translate_with_openai(translation_note_fr + args.model, client, args)
# Formatage de la note de traduction
return f"\n\n**{translated_note}**\n\n"
# Traitement des fichiers Markdown
def translate_markdown_file(file_path, output_path, client, args):
"""
Traduit le contenu d'un fichier markdown en utilisant l'API de traduction OpenAI et écrit le contenu traduit dans un nouveau fichier.
Args:
file_path (str): Chemin vers le fichier markdown d'entrée.
output_path (str): Chemin vers le fichier de sortie où le contenu traduit sera écrit.
client: Client de traduction OpenAI.
args: Arguments supplémentaires pour le processus de traduction.
Returns:
None
"""
print(f"Traitement du fichier : {file_path}")
start_time = time.time()
with open(file_path, 'r', encoding='utf-8') as f:
content = f.read()
translated_content = translate_with_openai(content, client, args)
# Ajouter la note de traduction à la fin du contenu traduit
translation_note = add_translation_note(client, args)
translated_content_with_note = translated_content + translation_note
with open(output_path, 'w', encoding='utf-8') as f:
f.write(translated_content_with_note)
end_time = time.time()
print(f"Traduction terminée en {end_time - start_time:.2f} secondes.")
def translate_directory(input_dir, output_dir, client, args):
"""
Traduit tous les fichiers markdown dans le répertoire d'entrée et ses sous-répertoires.
Args:
input_dir (str): Chemin vers le répertoire d'entrée.
output_dir (str): Chemin vers le répertoire de sortie.
client: Objet client de traduction.
args: Arguments supplémentaires pour la traduction.
Returns:
None
"""
for root, dirs, files in os.walk(input_dir, topdown=True):
# Exclure les dossiers qui commencent par "traductions_"
dirs[:] = [d for d in dirs if not d.startswith("traductions_")]
for file in files:
if file.endswith('.md'):
file_path = os.path.join(root, file)
base, _ = os.path.splitext(file)
# Ajouter le nom du modèle utilisé dans le nom du fichier de sortie
output_file = f"{base}-{args.model}-{args.target_lang}.md"
relative_path = os.path.relpath(root, input_dir)
output_path = os.path.join(output_dir, relative_path, output_file)
os.makedirs(os.path.dirname(output_path), exist_ok=True)
if not os.path.exists(output_path):
translate_markdown_file(file_path, output_path, client, args)
print(f"Fichier '{file}' traité.")
def main():
"""
Fonction principale pour traduire les fichiers Markdown.
Args:
--source_dir (str): Répertoire source contenant les fichiers Markdown.
--target_dir (str): Répertoire cible pour sauvegarder les traductions.
--model (str): Modèle GPT à utiliser.
--target_lang (str): Langue cible pour la traduction.
--source_lang (str): Langue source pour la traduction.
"""
parser = argparse.ArgumentParser(description="Traduit les fichiers Markdown.")
parser.add_argument('--source_dir', type=str, default=DEFAULT_SOURCE_DIR, help='Répertoire source contenant les fichiers Markdown')
parser.add_argument('--target_dir', type=str, default=DEFAULT_TARGET_DIR, help='Répertoire cible pour sauvegarder les traductions')
parser.add_argument('--model', type=str, default=DEFAULT_MODEL, help='Modèle GPT à utiliser')
parser.add_argument('--target_lang', type=str, default=DEFAULT_TARGET_LANG, help='Langue cible pour la traduction')
parser.add_argument('--source_lang', type=str, default=DEFAULT_SOURCE_LANG, help='Langue source pour la traduction')
args = parser.parse_args()
openai_api_key = os.getenv('OPENAI_API_KEY', DEFAULT_API_KEY)
with OpenAI(api_key=openai_api_key) as client:
translate_directory(args.source_dir, args.target_dir, client, args)
if __name__ == "__main__":
main()
脚本概览
模块导入
首先，我们需要一些模块的导入，如os、argparse、time和re。这些模块用于对文件系统进行操作，解析命令行参数，测量执行时间以及进行文本搜索和替换操作。
常量
接下来，我们定义了如DEFAULT_API_KEY, DEFAULT_MODEL, DEFAULT_SOURCE_LANG, DEFAULT_TARGET_LANG, DEFAULT_SOURCE_DIR和DEFAULT_TARGET_DIR等常量。这些常量代表脚本中使用的默认值，但可以通过指定命令行参数来修改。
translate_with_openai函数
接下来，我们有一个translate_with_openai函数。这个函数接受一段文本、一个OpenAI客户端对象和参数作为参数。它使用OpenAI API将文本从源语言翻译成目标语言。它的工作原理如下：
- 函数使用正则表达式来检测并储存文中的代码块。这些代码块由三个反引号(
)界定。代码块被储存在一个名为code_blocks`的列表中。 - 接着，函数在文本中用占位符替换代码块。占位符是形如
#CODEBLOCK{index}#的字符串，index是列表code_blocks中相应代码块的索引。 - 函数创建一个给OpenAI API的信息。这个信息包含两个部分：一个系统消息，告诉API用源语言翻译成目标语言，并且保持诸如URL、图片路径和代码块等元素不变；一个用户消息，包含了要翻译的文本。
- 函数使用
client.chat.completions.create()方法发送翻译请求给API。它指定了要使用的模型和要翻译的消息。 - API的响应包含了翻译好的文本。函数获取翻译文本，并将占位符替换为原始的代码块。
- 最后，函数返回翻译后的文本。
add_translation_note函数
接下来，我们有一个add_translation_note函数。这个函数在一个文档中添加一个翻译说明。它接收一个OpenAI客户端对象和参数作为参数。它的工作原理如下：
- 函数使用变量
translation_note_fr创建一个法语翻译说明。 - 然后，函数使用
translate_with_openai函数通过OpenAI API翻译翻译说明。传递给translate_with_openai的参数包括法语翻译说明和其他参数。 - 函数格式化翻译后的翻译说明，添加格式化字符。
- 最后，函数返回格式化后的翻译说明。
translate_markdown_file函数
接下来，我们有一个translate_markdown_file函数。这个函数接受一个Markdown输入文件路径、一个输出文件路径、一个OpenAI客户端对象和参数作为参数。它使用OpenAI翻译API翻译Markdown文件的内容，并将翻译内容写入输出文件中。
这个脚本不仅提高了我的博客文章的可访问性，还开辟了内容多语言创作自动化领域的新机会。这是走向更广泛、更包容地分享知识的一大步。
使用体验和处理时间
使用示例
# Création des répertoires cibles
jls42@Boo:~/blog/jls42$ mkdir content/traductions_en content/traductions_es
###############################################
# Demande de traduction à l'IA vers l'anglais #
###############################################
jls42@Boo:~/blog/jls42$ python3 translate.py --source_dir content/ --target_dir content/traductions_en
Traitement du fichier : content/posts/ia/stable-difusion-aws-ec2.md
Traduction terminée en 21.57 secondes.
Fichier 'stable-difusion-aws-ec2.md' traité.
Traitement du fichier : content/posts/ia/poc-openai-api-gpt4.md
Traduction terminée en 34.87 secondes.
Fichier 'poc-openai-api-gpt4.md' traité.
Traitement du fichier : content/posts/ia/poc-mistral-ai-mixtral.md
Traduction terminée en 62.47 secondes.
Fichier 'poc-mistral-ai-mixtral.md' traité.
Traitement du fichier : content/posts/raspberry-pi/installation-de-kubernetes-sur-raspberry-pi-via-ansible.md
Traduction terminée en 46.37 secondes.
Fichier 'installation-de-kubernetes-sur-raspberry-pi-via-ansible.md' traité.
Traitement du fichier : content/posts/raspberry-pi/installation-de-docker-sur-raspberry-pi-via-ansible.md
Traduction terminée en 10.08 secondes.
Fichier 'installation-de-docker-sur-raspberry-pi-via-ansible.md' traité.
Traitement du fichier : content/posts/raspberry-pi/initialisation-auto-de-raspbian-sur-raspberry-pi.md
Traduction terminée en 17.17 secondes.
Fichier 'initialisation-auto-de-raspbian-sur-raspberry-pi.md' traité.
Traitement du fichier : content/posts/blog/nouveau-theme-logo.md
Traduction terminée en 12.91 secondes.
Fichier 'nouveau-theme-logo.md' traité.
Traitement du fichier : content/posts/infrastructure/infrastruture-as-code-serverless-ha-jls42-org.md
Traduction terminée en 12.64 secondes.
Fichier 'infrastruture-as-code-serverless-ha-jls42-org.md' traité.
Traitement du fichier : content/mentions/mentions-legales.md
Traduction terminée en 11.90 secondes.
Fichier 'mentions-legales.md' traité.
Traitement du fichier : content/about/a-propos-du-blog-jls42.md
Traduction terminée en 18.72 secondes.
Fichier 'a-propos-du-blog-jls42.md' traité.
################################################
# Demande de traduction à l'IA vers l'espagnol #
################################################
jls42@Boo:~/blog/jls42$ python3 translate.py --source_dir content/ --target_dir content/traductions_es --target_lang es
Traitement du fichier : content/posts/ia/stable-difusion-aws-ec2.md
Traduction terminée en 33.19 secondes.
Fichier 'stable-difusion-aws-ec2.md' traité.
Traitement du fichier : content/posts/ia/poc-openai-api-gpt4.md
Traduction terminée en 25.24 secondes.
Fichier 'poc-openai-api-gpt4.md' traité.
Traitement du fichier : content/posts/ia/poc-mistral-ai-mixtral.md
Traduction terminée en 58.78 secondes.
Fichier 'poc-mistral-ai-mixtral.md' traité.
Traitement du fichier : content/posts/raspberry-pi/installation-de-kubernetes-sur-raspberry-pi-via-ansible.md
Traduction terminée en 17.64 secondes.
Fichier 'installation-de-kubernetes-sur-raspberry-pi-via-ansible.md' traité.
Traitement du fichier : content/posts/raspberry-pi/installation-de-docker-sur-raspberry-pi-via-ansible.md
Traduction terminée en 19.60 secondes.
Fichier 'installation-de-docker-sur-raspberry-pi-via-ansible.md' traité.
Traitement du fichier : content/posts/raspberry-pi/initialisation-auto-de-raspbian-sur-raspberry-pi.md
Traduction terminée en 37.12 secondes.
Fichier 'initialisation-auto-de-raspbian-sur-raspberry-pi.md' traité.
Traitement du fichier : content/posts/blog/nouveau-theme-logo.md
Traduction terminée en 18.91 secondes.
Fichier 'nouveau-theme-logo.md' traité.
Traitement du fichier : content/posts/infrastructure/infrastruture-as-code-serverless-ha-jls42-org.md
Traduction terminée en 30.73 secondes.
Fichier 'infrastruture-as-code-serverless-ha-jls42-org.md' traité.
Traitement du fichier : content/mentions/mentions-legales.md
Traduction terminée en 13.14 secondes.
Fichier 'mentions-legales.md' traité.
Traitement du fichier : content/about/a-propos-du-blog-jls42.md
Traduction terminée en 11.24 secondes.
Fichier 'a-propos-du-blog-jls42.md' traité.
处理时间
- 英文：约4分钟（248.70秒）
- 西班牙文：约4.7分钟（284.05秒）
- 累计总计：约8.7分钟（532.75秒） 这些时间展示了该脚本的效率和速度。
结果
您现在可以立即访问以下链接上的翻译内容生成结果：
这篇博客帖子总结了我用AI自动化翻译的经验。这证明，当编程与人工智能结合时，可能性几乎是无限的，为知识共享和内容可达性的领域打开了新的、令人兴奋的前景。
这份文件已由 gpt-4-1106-preview 模型从法语版博客翻译而来。