Apache Polaris

Type de produit et caractéristiques d'Apache Polaris

Apache Polaris est un catalogue technique REST open source, complet et interopérable pour Apache Iceberg.

Initialement co-créé par Dremio et Snowflake, il a été donné à l'Apache Software Foundation (ASF) et est devenu un projet de premier niveau (Top-Level Project) en février 2026, après une phase d'incubation débutée en août 2024. 

Prenant place dans le cadre d’un projet de Datalakehouse Iceberg, Apache Polaris sert de catalogue de métadonnées techniques. Il permet de fournir un accès centralisé, sécurisé et gouverné en lecture / écriture sur les tables Iceberg.

Polaris ne stocke pas à proprement parler les données mais un pointeur vers le fichier de métadonnées Iceberg courant. Chaque opération d'écriture (commit) est validée de manière atomique par Polaris, garantissant la cohérence des tables face à des accès concurrents provenant de plusieurs moteurs de calcul.

Une des forces de Polaris est également de pouvoir créer des structures de données avec plusieurs niveaux d’imbrication, permettant ainsi une organisation plus vertueuse.

Présentation et concept d'Apache Polaris

Apache Polaris s'exécute comme un service web qui suit le pointeur de métadonnées courant de chaque table Iceberg et applique les opérations de manière atomique (garanties ACID, commits de snapshots).

Les moteurs clients (Spark, Trino, Flink, Dremio, StarRocks, Doris…) dialoguent avec Polaris via des appels à l'API REST Iceberg, tandis que les données résident sur n'importe quel stockage objet (S3, GCS, Azure Blob, mais aussi MinIO, Ceph, Apache Ozone, RustFS, etc.).

Polaris repose sur des concepts clés simples :

• les realms assurent l'isolation logique (multi-tenant),
• les catalogues internes sont entièrement gérés par Polaris (lecture et écriture)
• les catalogues externes sont synchronisés en lecture seule
• le credential vending permet de distribuer aux moteurs des credentials temporaires d’accès au stockage objet, directement lors de l’exécution.

Cette approche vendor-neutral, fondée sur un standard ouvert, place Polaris au cœur des architectures lakehouse modernes en supprimant la dépendance à un metastore propriétaire et en offrant une couche de gouvernance unifiée.

Fonctionnalités principales d'Apache Polaris

• Implémentation de l'API REST Iceberg standard, compatible avec tout moteur compatible Iceberg REST
• Interopérabilité multi-moteurs sur une copie unique des données (Spark, Flink, Trino, Dremio, StarRocks, Doris, PyIceberg, Snowflake…)
• Contrôle d'accès basé sur les rôles (RBAC) avec principal roles et catalog roles applicables aux catalogues, namespaces et tables
• Credential vending : délivrance de credentials de stockage temporaires aux moteurs au moment de l'exécution des requêtes
• Catalogues internes et externes, et fédération de catalogues (Iceberg REST, Hive Metastore, Hadoop, AWS Glue, BigQuery Metastore) pour une migration progressive
• Support multi-cloud et multi-stockage : AWS S3, Google Cloud Storage, Azure, MinIO, Ceph, Apache Ozone, etc.
• Intégration d'identity providers externes (OIDC / OAuth2), par exemple Keycloak
• Persistance configurable via JDBC (PostgreSQL, CockroachDB, H2) ou MongoDB (bêta)
• Policy store, vues Iceberg et generic tables (support d’autres formats, Delta Lake via le plugin Spark)

Avantages d'Apache Polaris

• Sans verrouillage propriétaire (vendor-neutral) : projet ASF sous licence Apache 2.0 à gouvernance communautaire ouverte
• Élimination des silos de métadonnées : une seule source de vérité partagée entre tous les moteurs, sans duplication de données
• Interopérabilité réelle grâce au respect du standard ouvert Iceberg REST
• Modèle de sécurité unifié, indépendant des moteurs de traitement
• Garanties ACID et vues cohérentes, même en cas d'accès concurrents
• Flexibilité de déploiement : on-premise, cloud, Kubernetes (Helm), Docker
• Sécurité du stockage renforcée via le credential vending, évitant aux moteurs un accès direct permanent au stockage
• Migration progressive facilitée par la fédération, sans approche « tout ou rien »
• Écosystème convergeant et actif, avec des releases régulières et un riche outillage (Console, MCP Server, migrateur de catalogue)

Dans quels cas utiliser Apache Polaris ?

• Mise en place d'un lakehouse ouvert multi-moteurs exposant les mêmes tables Iceberg à Spark, Trino, Flink, Dremio, ClickHouse ou StarRocks
• Besoin de gouvernance centralisée et de sécurité cohérente (RBAC, credentials) sur l'ensemble des tables et moteurs
• Migration ou fédération progressive de tables gérées par Hive Metastore, AWS Glue ou Snowflake
• Déploiement souverain / on-premise sur Kubernetes avec stockage MinIO, Ceph, RustFS ou Ozone
• Environnements multi-tenant nécessitant une isolation par realms

FAQ - Apache Polaris

Qu'est-ce qu'Apache Polaris ?

Apache Polaris est un catalogue REST open source et complet pour Apache Iceberg, projet de l'Apache Software Foundation sous licence Apache 2.0. Il fournit un accès centralisé, sécurisé et interopérable aux tables Iceberg à travers de multiples moteurs de requête.

Comment fonctionne Apache Polaris ?

Polaris s'exécute comme un service web implémentant l'API REST Iceberg. Il suit le pointeur de métadonnées de chaque table, applique les commits de façon atomique (ACID) et organise les tables en Catalogs → Namespaces → Tables. Les moteurs s'y connectent via des appels REST, les données restant sur un stockage objet.

À quoi Polaris se connecte-t-il ?

• Côté moteurs : Apache Spark, Trino, Apache Flink, Dremio OSS, StarRocks, Apache Doris, PyIceberg, Snowflake…
• Côté stockage : AWS S3, Google Cloud Storage, Azure Blob, MinIO, RustFS, Ceph, Apache Ozone…

Comment Polaris assure-t-il la sécurité des données ?

Via le credential vending (credentials de stockage temporaires délivrés au moment de l'exécution), l'authentification par identity providers externes (OAuth2/OIDC, ex. Keycloak), le chiffrement TLS.

Comment fonctionne la gouvernance et le contrôle d'accès ?

Polaris utilise un modèle RBAC centralisé avec des principal roles (attribués aux service principals) et des catalog roles (porteurs des privilèges sur catalogues, namespaces et tables).

Apache Polaris est-il open source ?

Oui. C'est un projet de l'Apache Software Foundation sous licence Apache 2.0, à gouvernance communautaire ouverte, initialement créé par Snowflake et Dremio puis donné à l'ASF. Il est devenu Top-Level Project le 18 février 2026, l'annonce officielle de l'ASF datant du 5 mars 2026.

Peut-on déployer Polaris en cloud comme en on-premise ?

Oui. Polaris peut être déployé localement, sur AWS, Azure et GCP, ou via Kubernetes (chart Helm officiel) et Docker. Il peut aussi tourner entièrement on-premise avec stockage MinIO/Ceph/Ozone et persistance PostgreSQL.

Comment Polaris s'intègre-t-il avec les moteurs de requête ?

Parce qu'il implémente la spécification Iceberg REST Catalog, tout moteur compatible se connecte en pointant son catalogue REST vers l'endpoint Polaris. Il existe également un client Spark dédié et un client Python.

Quelle est la différence entre un catalogue interne et un catalogue externe ?

Un catalogue interne est entièrement géré par Polaris (lecture et écriture). Un catalogue externe est géré par un autre fournisseur (Hive, Glue, Snowflake) et synchronisé dans Polaris en lecture seule. La fédération permet de migrer progressivement de l'un vers l'autre.

Quel backend de persistance Polaris utilise-t-il ?

Polaris stocke ses métadonnées dans un backend configurable : JDBC relationnel (PostgreSQL, CockroachDB, H2) ou MongoDB (bêta).

Retour aux éditeurs "Plateforme de données"

Vous souhaitez bénéficier d'experts sur Apache Polaris ? Rendez-vous sur la page Contact