Intelligence Artificielle
Extension Databricks VS Code
Publiée le janvier 20, 2026
Publiée le janvier 20, 2026
Les Databricks Asset Bundles sont au cœur de la productivité lorsqu’on utilise l’extension VS Code. Ces bundles encapsulent des fichiers (scripts, notebooks), des configurations de jobs et des dépendances dans un seul package défini via un fichier databricks.yml. Grâce à la commande de déploiement de l’extension, il est possible d’appliquer des pratiques CI/CD : un bundle peut être poussé dans un pipeline d’intégration continue (GitHub Actions, Azure DevOps) et déployé sur un environnement de test avant la production. Cette approche améliore la répétabilité et réduit les erreurs humaines.
L’extension permet d’exécuter un fichier Python local sur un cluster Databricks distant. Le code s’exécute alors dans l’environnement Spark du cluster, ce qui facilite les tests de pipelines ou de transformations qui nécessitent des ressources. Il est également possible de lancer un fichier .py ou un notebook comme un job Databricks depuis VS Code. Cette fonctionnalité est utile pour automatiser les traitements récurrents ou planifiés (par exemple, rafraîchir une table Delta ou entraîner un modèle). L’extension gère l’authentification et les dépendances nécessaires.
Un autre avantage majeur est la possibilité de déboguer cellule par cellule grâce à Databricks Connect. En configurant un profil d’authentification, on peut exécuter chaque cellule d’un notebook dans le contexte du cluster, inspecter les variables et corriger les erreurs en temps réel. Cela rapproche l’expérience de développement de celle que l’on trouve sur un environnement local, tout en bénéficiant de la puissance du cluster.
La synchronisation bidirectionnelle entre le dossier local et le workspace Databricks garantit que les modifications sont reflétées des deux côtés. Les équipes peuvent ainsi collaborer via Git : lorsqu’un développeur pousse un commit, le pipeline de CI/CD déclenche le déploiement du bundle vers l’environnement partagé. Cette approche maintient la cohérence entre le code source et les notebooks utilisés en production.
Pour tirer parti au maximum de l’extension :
Structurez vos projets avec des bundles clairs, en séparant les scripts de transformation, les notebooks et les configurations.
Utilisez le contrôle de version pour suivre les modifications et faciliter les revues de code.
Définissez des environnements distincts (développement, test, production) et automatisez les déploiements via des pipelines CI/CD.
Surveillez l’utilisation des clusters afin d’éviter les surcoûts lorsque vous exécutez du code depuis VS Code.
Comment fonctionnent les Asset Bundles ? Ce sont des packages définis par un fichier databricks.yml qui regroupent le code, les notebooks et les configurations de jobs. Ils facilitent le déploiement et la reproduction des environnements.
Puis‑je exécuter des notebooks locaux sur un cluster Databricks ? Oui. L’extension prend en charge l’exécution de notebooks ou de fichiers Python/R/Scala/SQL en tant que jobs Databricks.
Qu’apporte le débogage cellulaire ? Il permet d’exécuter et de tester chaque cellule de notebook directement dans le cluster, d’inspecter les résultats et de corriger les erreurs rapidement.
Comment intégrer cette extension dans un pipeline CI/CD ? En combinant les Asset Bundles et des actions Git (GitHub Actions, Azure DevOps), vous pouvez automatiser le déploiement de vos bundles sur différents environnements et assurer une livraison continue.