Utiliser des conteneurs personnalisés dans Dataflow
Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.
Vous pouvez personnaliser l'environnement d'exécution du code utilisateur dans les pipelines Dataflow en fournissant une image de conteneur personnalisé. Les conteneurs personnalisés sont compatibles avec les pipelines utilisant Dataflow Runner v2.
Lorsque Dataflow lance des VM de nœud de calcul, il utilise des images de conteneurs Docker pour lancer des processus de SDK en conteneurs sur les nœuds de calcul. Par défaut, un pipeline utilise une image Apache Beam prédéfinie. Cependant, vous pouvez fournir une image de conteneur personnalisé pour votre job Dataflow. Lorsque vous spécifiez une image de conteneur personnalisée, Dataflow lance des nœuds de calcul qui extraient l'image spécifiée.
Vous pouvez utiliser un conteneur personnalisé pour les raisons suivantes :
Préinstallation des dépendances de pipeline pour réduire le temps de démarrage des nœuds de calcul
Préinstallation des dépendances de pipeline qui ne sont pas disponibles dans les dépôts publics.
Préinstaller les dépendances de pipeline lorsque l'accès aux dépôts publics est désactivé. L'accès peut être désactivé pour des raisons de sécurité.
Prétraitement des fichiers volumineux pour réduire le temps de démarrage des nœuds de calcul.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/08/18 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/08/18 (UTC)."],[[["\u003cp\u003eDataflow pipelines using Runner v2 support the use of custom container images to customize the runtime environment of user code.\u003c/p\u003e\n"],["\u003cp\u003eBy default, Dataflow pipelines use prebuilt Apache Beam images, but users can specify their own custom container images for their Dataflow jobs.\u003c/p\u003e\n"],["\u003cp\u003eCustom containers allow users to preinstall pipeline dependencies, including those not in public repositories, and to manage dependencies when access to public repositories is restricted.\u003c/p\u003e\n"],["\u003cp\u003eUsing custom containers also allows you to prestage large files and launch third-party software to customize the execution environment.\u003c/p\u003e\n"],["\u003cp\u003eThe main use cases of custom containers are to reduce worker start time, customize the environment, and to manage dependencies.\u003c/p\u003e\n"]]],[],null,[]]
