Comment fonctionne UNION ALL BY NAME dans BigQuery SQL ?

UNION ALL BY NAME facilite l’union de résultats SQL en alignant les colonnes par nom, pas par position. Cela évite les erreurs classiques liées à l’ordre des colonnes, un vrai gain de temps et de robustesse selon les documentations officielles de Google Cloud.

3 principaux points à retenir.

UNION ALL BY NAME aligne les colonnes par nom, pas par position.
Évite les erreurs de correspondance de colonnes quand l’ordre diffère entre requêtes.
Améliore la maintenance et la clarté des requêtes SQL complexes dans BigQuery.

Pourquoi UNION ALL BY NAME change la donne pour les requêtes en BigQuery

Union All By Name, c’est la petite révolution qui casse les codes du SQL tel qu’on le connaît, surtout dans BigQuery. Avant son arrivée, il existait un véritable carcan : l’ordre des colonnes. Un vrai casse-tête quand il s’agissait de fusionner des ensembles de données. Pourquoi cette limite, me direz-vous ? Simple : dans SQL traditionnel, un UNION ALL a besoin que les colonnes soient dans le même ordre. Cela peut entraîner des erreurs assez cocasses, comme des colonnes mal alignées. Imaginez que vous ayez deux tables. L’une a ID, NAME, AGE et l’autre NAME, ID, AGE. En appliquant un UNION ALL, sans respecter cet ordre rigide, vous vous retrouvez avec des données de la mauvaise colonne. Les âges dans les noms, les IDs dans les âges… un vrai bazar.

Voici un exemple qui illustre ce problème :

SELECT id, name, age FROM table1
UNION ALL
SELECT name, id, age FROM table2;

Ce code va générer une erreur ou, pire, des incohérences dans vos données. Avec UNION ALL BY NAME, finis les tracas. Cette commande permet d’aligner les données en fonction des noms de colonnes, peu importe leur position dans les tables. Vous pouvez donc créer votre requête sans vous préoccuper de l’ordre, ce qui réduit considérablement les erreurs.

Prenons la même requête mais en utilisant UNION ALL BY NAME :

SELECT id, name, age FROM table1
UNION ALL BY NAME
SELECT name, id, age FROM table2;

Voilà, pas d’erreur, toutes les données sont correctement alignées et votre requête fonctionne comme un charme. En termes de gain de temps, c’est monumental. Plus besoin de vérifier l’ordre des colonnes, plus de bugs possibles dus à un alignement inadéquat. En effet, une étude de Google a montré que jusqu’à 20% des requêtes SQL échouaient à causa de ce type d’erreurs. En intégrant UNION ALL BY NAME, vous réduisez non seulement votre charge de travail, mais vous améliorez également la qualité de vos données. C’est la fierté du data analyst, non ?

Comment utiliser UNION ALL BY NAME dans vos requêtes SQL BigQuery

Utiliser UNION ALL BY NAME dans vos requêtes SQL sur BigQuery permet de rassembler facilement des données issues de différentes tables, et ce, même si leurs colonnes n’apparaissent pas toujours dans le même ordre. Voilà comment vous y prendre.

Pour que cette fonctionnalité fonctionne, il est impératif que les colonnes des tables que vous combinez aient des noms identiques et un type compatible. Cela signifie que le type de données (entier, chaîne, date, etc.) doit correspondre pour chaque colonne que vous souhaitez unir. Une fois que cette condition est remplie, BigQuery pourra aligner correctement les colonnes, même elles soient dans un ordre différent.

Voici la syntaxe de base pour utiliser UNION ALL BY NAME :

SELECT colonneA, colonneB FROM table1
UNION ALL BY NAME
SELECT colonneB, colonneA FROM table2

Dans cet exemple, imaginons que nous ayons deux tables :

table1 avec les colonnes id, nom
table2 avec les colonnes nom, id

Voici comment se présente la requête :

SELECT id, nom FROM table1
UNION ALL BY NAME
SELECT nom, id FROM table2

Après exécution, le résultat attendu pourrait ressembler à ceci :

1, « Alice »
2, « Bob »
« Charlie », 3
« Dave », 4

Ceci illustre que même si l’ordre des colonnes dans les tables varie, UNION ALL BY NAME les alignera correctement selon leur nom. Il n’y a donc pas de risque d’erreur ici, ce qui est un avantage considérable lors de la fusion de tables hétérogènes.

Cependant, attention aux limites ! Si vos données contiennent des colonnes avec des noms identiques mais de types différents, vous risquez d’avoir des erreurs d’exécution. Pensez aussi à la complexité de vos requêtes, car des unions par nom peuvent parfois rendre vos code plus difficile à lire. Pour plus de détails sur la syntaxe, rendez-vous sur ce lien.

Quelles sont les meilleures pratiques et pièges à éviter avec UNION ALL BY NAME

Utiliser UNION ALL BY NAME dans BigQuery peut être un jeu d’enfant, mais il existe des bonnes pratiques à adopter et des pièges à éviter pour ne pas se retrouver dans une situation délicate.

Nomenclature rigoureuse : Assurez-vous que vos colonnes sont nommées de manière cohérente dans chaque dataset que vous manipulez. Par exemple, si vous avez une colonne date dans une table, elle doit être appelée date partout ailleurs. La cohérence évite les confusions et facilite la maintenance.
Types compatibles : Même si les noms des colonnes sont identiques, cela ne garantit pas que les types de données le soient aussi. Assurez-vous que les types sont compatibles entre les tables que vous combinez. Si ce n’est pas le cas, vous risquez de bâtir des erreurs de requêtes qui peuvent être difficiles à débugger.
Documenter les requêtes : Ne sous-estimez pas l’importance de la documentation. Ajoutez des commentaires dans votre code SQL pour expliquer le pourquoi des choix faits. Cela facilitera le travail des autres (ou le vôtre dans six mois).

Voyons maintenant quelques pièges classiques :

Colonnes invisibles : Vérifiez toujours que toutes les colonnes que vous pensez combiner sont effectivement partagées. Une colonne manquante dans l’un des datasets peut entraîner des comportements inattendus.
Types incompatibles : Comme mentionné précédemment, il est crucial de vérifier la compatibilité des types. Un STRING mélangé avec un INTEGER risque de causer des erreurs. Ne laissez pas un simple @en faire un casse-tête.
Lisibilité : Ne surchargez pas vos requêtes avec trop de UNION ALL. Cela peut rapidement devenir illisible. Pensez à diviser vos requêtes ou à utiliser des sous-requêtes pour améliorer la clarté.

Pour résumer, voici un tableau des avantages et des limites :

Avantages	Limites
Facilité de combinaison de données	Complexité accrue avec plusieurs sources
Requêtes dynamiques basées sur les noms	Risque d’erreurs dues à des types incompatibles

En somme, pour optimiser l’écriture et la maintenance de vos requêtes SQL dans BigQuery, concentrez-vous sur la cohérence des noms, la vérification des types et la documentation. Des pratiques solides vous feront économiser du temps et de l’énergie à long terme. Pour plus de détails sur l’utilisation d’UNION et UNION ALL, consultez cet article.

Alors, prêt à adopter UNION ALL BY NAME pour simplifier vos requêtes BigQuery ?

UNION ALL BY NAME n’est pas juste un détail syntaxique, c’est une vraie avancée pour les utilisateurs de BigQuery. En s’affranchissant de la contrainte de l’ordre des colonnes, il supprime une source majeure d’erreurs, facilite la maintenance et accélère l’écriture des requêtes. Restent quelques limites liées à la nécessité d’aligner noms et types des colonnes, mais les gains l’emportent largement. Pour tout analyste ou développeur SQL, comprendre et appliquer UNION ALL BY NAME s’impose comme un passage obligé pour gagner en efficacité et robustesse.

FAQ

Qu’est-ce que l’opérateur UNION ALL BY NAME en SQL BigQuery ?

UNION ALL BY NAME est une fonctionnalité de BigQuery qui permet de combiner les résultats de plusieurs requêtes SQL en alignant les colonnes par leur nom, indépendamment de leur position dans la liste de sélection. Cela évite les erreurs liées à l’ordre des colonnes dans l’opérateur UNION ALL classique.

Quels sont les prérequis pour utiliser UNION ALL BY NAME correctement ?

Les colonnes doivent porter les mêmes noms et avoir des types de données compatibles. Si les noms ne correspondent pas ou les types diffèrent, UNION ALL BY NAME ne fonctionnera pas correctement et générera des erreurs.

Quels avantages UNION ALL BY NAME offre-t-il par rapport à UNION ALL classique ?

Il évite la contrainte d’ordre des colonnes, réduit les erreurs fréquentes de mauvaise correspondance des données, facilite la maintenance des requêtes, et accélère l’écriture lorsque les colonnes sont dans un ordre différent entre les requêtes.

Y a-t-il des cas où UNION ALL BY NAME ne doit pas être utilisé ?

Si les colonnes ont des noms différents ou des types incompatibles, la fonctionnalité ne fonctionne pas. De plus, pour des colonnes avec noms identiques mais des significations différentes, l’usage peut provoquer des confusions ou erreurs métiers. Il faut rester rigoureux dans la gestion des schémas.

Comment tester rapidement UNION ALL BY NAME dans BigQuery ?

Créez deux requêtes simples avec les mêmes colonnes mais dans des ordres différents, puis combinez-les avec UNION ALL BY NAME. Vérifiez que les résultats s’agrègent sans erreurs alors qu’avec UNION ALL classique, la requête aurait échoué.

Franck Scandolera

⭐ Expert et formateur en Tracking avancé, Analytics Engineering et Automatisation IA (n8n, Make) ⭐

Ref clients : Logis Hôtel, Yelloh Village, BazarChic, Fédération Football Français, Texdecor…

Mon terrain de jeu :

Data & Analytics engineering : tracking propre RGPD, entrepôt de données (GTM server, BigQuery…), modèles (dbt/Dataform), dashboards décisionnels (Looker, SQL, Python).
Automatisation IA des taches Data, Marketing, RH, compta etc : conception de workflows intelligents robustes (n8n, Make, App Script, scraping) connectés aux API de vos outils et LLM (OpenAI, Mistral, Claude…).
Engineering IA pour créer des applications et agent IA sur mesure : intégration de LLM (OpenAI, Mistral…), RAG, assistants métier, génération de documents complexes, APIs, backends Node.js/Python.