Groupby + count append 0 if not exists

[darrencl]

Hi,

I would like to do group by count on every possible combination between 2 columns using by as below.

julia> using RDatasets, DataFrames

julia> ds = dataset("MASS", "biopsy");

julia> sort(by(ds, [:V1, :Class], nrow))
18×3 DataFrame
│ Row │ V1    │ Class        │ x1    │
│     │ Int32 │ Categorical… │ Int64 │
├─────┼───────┼──────────────┼───────┤
│ 1   │ 1     │ benign       │ 142   │
│ 2   │ 1     │ malignant    │ 3     │
│ 3   │ 2     │ benign       │ 46    │
│ 4   │ 2     │ malignant    │ 4     │
│ 5   │ 3     │ benign       │ 96    │
│ 6   │ 3     │ malignant    │ 12    │
│ 7   │ 4     │ benign       │ 68    │
│ 8   │ 4     │ malignant    │ 12    │
│ 9   │ 5     │ benign       │ 85    │
│ 10  │ 5     │ malignant    │ 45    │
│ 11  │ 6     │ benign       │ 16    │
│ 12  │ 6     │ malignant    │ 18    │
│ 13  │ 7     │ benign       │ 1     │
│ 14  │ 7     │ malignant    │ 22    │
│ 15  │ 8     │ benign       │ 4     │
│ 16  │ 8     │ malignant    │ 42    │
│ 17  │ 9     │ malignant    │ 14    │
│ 18  │ 10    │ malignant    │ 69    │

As can be seen, the combination that doesn't exist are benign when V1= 9 and 10, is it possible to use by function to append 0 if the combination doesn't exists?

Thanks.

[bkamins]

No - unfortunately it is not possible currently.

This is duplilcate of #2106 so I will close this issue (if you feel that something should be added can you please comment there?).

For the time being you can do the following as a half-measure (you will get missing instead of 0 in the target column but it can be easily fixed with coalesce):

julia> df = DataFrame(x=rand(1:3, 10), y=rand(1:4, 10), z=1:10)
10×3 DataFrame
│ Row │ x     │ y     │ z     │
│     │ Int64 │ Int64 │ Int64 │
├─────┼───────┼───────┼───────┤
│ 1   │ 2     │ 1     │ 1     │
│ 2   │ 1     │ 4     │ 2     │
│ 3   │ 1     │ 3     │ 3     │
│ 4   │ 2     │ 4     │ 4     │
│ 5   │ 3     │ 4     │ 5     │
│ 6   │ 2     │ 1     │ 6     │
│ 7   │ 2     │ 2     │ 7     │
│ 8   │ 2     │ 4     │ 8     │
│ 9   │ 2     │ 4     │ 9     │
│ 10  │ 1     │ 4     │ 10    │

julia> join(join(DataFrame(x=unique(df.x)), DataFrame(y=unique(df.y)), kind=:cross), df, on=[:x,:y], kind=:outer)
16×3 DataFrame
│ Row │ x      │ y      │ z       │
│     │ Int64⍰ │ Int64⍰ │ Int64⍰  │
├─────┼────────┼────────┼─────────┤
│ 1   │ 2      │ 1      │ 1       │
│ 2   │ 2      │ 1      │ 6       │
│ 3   │ 2      │ 4      │ 4       │
│ 4   │ 2      │ 4      │ 8       │
│ 5   │ 2      │ 4      │ 9       │
│ 6   │ 2      │ 3      │ missing │
│ 7   │ 2      │ 2      │ 7       │
│ 8   │ 1      │ 1      │ missing │
│ 9   │ 1      │ 4      │ 2       │
│ 10  │ 1      │ 4      │ 10      │
│ 11  │ 1      │ 3      │ 3       │
│ 12  │ 1      │ 2      │ missing │
│ 13  │ 3      │ 1      │ missing │
│ 14  │ 3      │ 4      │ 5       │
│ 15  │ 3      │ 3      │ missing │
│ 16  │ 3      │ 2      │ missing │