Ajouter une fiche arrow

.github/workflows/bookdown-test.yaml

@@ -30,7 +30,7 @@ jobs:
       - name: Render Book
         run: |
           quarto render
-      - uses: actions/upload-artifact@v2
+      - uses: actions/upload-artifact@v4
         with:
           name: _public
           path: _public/
@@ -39,7 +39,7 @@ jobs:
         if: ${{ github.event.pull_request.head.repo.full_name == github.repository }}
         uses: actions/setup-node@v2          
         with:
-          node-version: '14'        
+          node-version: '18'        
       - name: Deploy to Netlify
         if: ${{ github.event.pull_request.head.repo.full_name == github.repository }}
         # NETLIFY_AUTH_TOKEN and NETLIFY_SITE_ID added in the repo's secrets

.github/workflows/prod.yaml

@@ -75,7 +75,7 @@ jobs:
         if: ${{ github.repository == 'inseefrlab/utilitr' }}
         uses: actions/setup-node@v2
         with:
-          node-version: '14'
+          node-version: '18'
       - name: Deploy to Netlify
         if: ${{ github.repository == 'inseefrlab/utilitr' }}
         # NETLIFY_AUTH_TOKEN and NETLIFY_SITE_ID added in the repo's secrets

03_Fiches_thematiques/Fiche_datatable.qmd

@@ -7,8 +7,8 @@ L'utilisateur souhaite manipuler des données structurées sous forme de `data.f
 ::: {.callout-important}
 ## Tâche concernée et recommandation
 
-* Pour des tables de données de taille petite et moyenne (inférieure à 1 Go ou moins d'un million d'observations), il est recommandé d'utiliser le package `dplyr` ;
-* Pour des tables de données de grande taille (plus de 1 Go ou plus d'un million d'observations), il est recommandé d'utiliser le package `data.table` qui fait l'objet de la présente fiche.
+* Pour des tables de données de taille petite et moyenne (inférieure à 1 Go ou moins d'un million d'observations), il est recommandé d'utiliser les *packages* `tibble`, `dplyr` et `tidyr` qui sont présentés dans la fiche [Manipuler des données avec le `tidyverse`](#tidyverse);
+* Pour des tables de données de grande taille (plus de 1 Go ou plus d'un million d'observations), il est recommandé d'utiliser soit le _package_ `data.table` qui fait l'objet de la présente fiche, soit les _packages_ `arrow` et `duckdb` présentés dans les fiches [Manipuler des données avec `arrow`](#arrow) et [Manipuler des données avec `duckdb`](#duckdb).
 :::
 
 ::: {.callout-note}

03_Fiches_thematiques/Fiche_import_fichiers_parquet.qmd

@@ -130,7 +130,7 @@ Partitionner un fichier revient à le "découper" selon une clé de partitionnem
 ::: {.callout-tip}
 - **Il est important de bien choisir les variables de partitionnement** d'un fichier **Parquet**. Il faut choisir des variables faciles à comprendre et qui soient cohérentes avec l'usage des données (année, département, secteur...). En effet, un partitionnement bien construit induit par la suite des gains d'efficacité sur les traitements et facilite la maintenance du fichier sur le long terme.
 - **Il est inutile de partitionner des données de petite taille**. Si les données dépassent quelques millions d'observations et/ou si leur taille en CSV dépasse quelques giga-octets, il est utile de partitionner.
-- **Il ne faut pas partitionner les données en trop de fichiers**. En pratique, il est rare d'avoir besoin de plus qu'une ou deux variables de partitionnement.
+- **Il ne faut pas partitionner les données en trop de fichiers**. En pratique, il est rare d'avoir besoin de plus d'une ou deux variables de partitionnement.
 :::
 
 Pour créer des fichiers **Parquet** partitionnés, il faut utiliser la fonction [`write_dataset()`](https://arrow.apache.org/docs/r/reference/write_dataset.html) du _package_ `arrow`. Voici ce que ça donne sur le fichier de la BPE :
@@ -183,7 +183,7 @@ donnees <- arrow::read_parquet(
 ) 
 ```
 
-Dans les trois cas, le résultat obtenu est un objet directement utilisable dans R.
+Dans les trois cas, le résultat obtenu est un objet directement utilisable dans `R`.
 
 ### Cas des données volumineuses: utiliser des requêtes `dplyr`
 

03_Fiches_thematiques/Fiche_tidyverse.qmd

@@ -9,7 +9,7 @@ L'utilisateur souhaite manipuler des données structurées sous forme de `data.f
 ## Tâche concernée et recommandation
 
 * Pour des tables de données de taille petite et moyenne (inférieure à 1 Go ou moins d'un million d'observations), il est recommandé d'utiliser les *packages* `tibble`, `dplyr` et `tidyr` qui font l'objet de la présente fiche ;
-* Pour des tables de données de grande taille (plus de 1 Go ou plus d'un million d'observations), il est recommandé d'utiliser le _package_ `data.table` qui fait l'objet de la fiche [Manipuler des données avec `data.table`](#datatable).
+* Pour des tables de données de grande taille (plus de 1 Go ou plus d'un million d'observations), il est recommandé d'utiliser soit le _package_ `data.table` présenté dans la fiche [Manipuler des données avec `data.table`](#datatable), soit les _packages_ `arrow` et `duckdb` présentés dans les fiches [Manipuler des données avec `arrow`](#arrow) et [Manipuler des données avec `duckdb`](#duckdb).
 :::
 
 ::: {.callout-note}

_quarto.yml

@@ -87,6 +87,7 @@ book:
       chapters:
         - 03_Fiches_thematiques/Fiche_tidyverse.qmd
         - 03_Fiches_thematiques/Fiche_datatable.qmd
+        - 03_Fiches_thematiques/Fiche_arrow.qmd
     - part: "Manipuler des données avec R"
       chapters:
         - 03_Fiches_thematiques/Fiche_joindre_donnees.qmd