Use converted tokenizer.json in tests

[EricLBuehler]

No description provided.

[github-actions]

Code Metrics Report

  ===============================================================================
 Language            Files        Lines         Code     Comments       Blanks
===============================================================================
 C Header                2           35           28            0            7
 Dockerfile              1           34           25            0            9
 Happy                   1          442          369            0           73
 JSON                   11          102          101            0            1
 Python                 45         1993         1695           62          236
 TOML                   20          601          530           11           60
-------------------------------------------------------------------------------
 Jupyter Notebooks       4            0            0            0            0
 |- Markdown             2           77           32           31           14
 |- Python               2          196          169            1           26
 (Total)                            273          201           32           40
-------------------------------------------------------------------------------
 Markdown               27         1894            0         1427          467
 |- BASH                 5          101           98            0            3
 |- JSON                 1           12           12            0            0
 |- Python               5           92           82            0           10
 |- Rust                 6          408          365           19           24
 |- TOML                 2           75           63            0           12
 (Total)                           2582          620         1446          516
-------------------------------------------------------------------------------
 Rust                  181        58075        52809         1006         4260
 |- Markdown            93          876           13          813           50
 (Total)                          58951        52822         1819         4310
===============================================================================
 Total                 293        63176        55557         2506         5113
===============================================================================