From 7c3cbbd0763651dfdb4ff4dce19d57922ab16ded Mon Sep 17 00:00:00 2001 From: Ben Brandt Date: Fri, 21 Jun 2024 22:49:15 +0200 Subject: [PATCH] Update changelog with details about the fix --- CHANGELOG.md | 4 +- benches/output.txt | 696 ++++++++++++++++++++++----------------------- 2 files changed, 351 insertions(+), 349 deletions(-) diff --git a/CHANGELOG.md b/CHANGELOG.md index 1d0e58d7..c224121f 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -4,7 +4,9 @@ ### What's New -- Performance optimizations. +**Performance fixes for large documents.** The worst-case performance for certain documents was abysmal, leading to documents [that ran forever](https://github.com/benbrandt/text-splitter/issues/184). This release makes sure that in the worst case, the splitter won't be binary searching over the entire document, which it was before. This is prohibitively expensive especially for the tokenizer implementations, and now this should always have a safe upper bound to the search space. + +For the "happy path", this new approach also led to big speed gains in the `CodeSplitter` (50%+ speed increase in some cases), marginal regressions in the `MarkdownSplitter`, and not much difference in the `TextSplitter`. But overall, the performance should be more consistent across documents, since it wasn't uncommon for a document with certain formatting to hit the worst-case scenario previously. ### Breaking Changes diff --git a/benches/output.txt b/benches/output.txt index b0f6d758..0c2d37b6 100644 --- a/benches/output.txt +++ b/benches/output.txt @@ -8,177 +8,177 @@ chunk_size fastest │ slowest │ median ├─ code │ │ │ │ │ │ ├─ characters │ │ │ │ │ │ │ ├─ 64 │ │ │ │ │ -│ │ │ ╰─ hashbrown_set_rs 779.4 ms │ 814.5 ms │ 780.2 ms │ 783.8 ms │ 100 │ 100 -│ │ │ 112.9 KB/s │ 108 KB/s │ 112.8 KB/s │ 112.2 KB/s │ │ +│ │ │ ╰─ hashbrown_set_rs 805.1 ms │ 861.9 ms │ 812.4 ms │ 816 ms │ 100 │ 100 +│ │ │ 109.3 KB/s │ 102.1 KB/s │ 108.3 KB/s │ 107.8 KB/s │ │ │ │ │ alloc: │ │ │ │ │ -│ │ │ 6165 │ 0 │ 6165 │ 6103 │ │ -│ │ │ 109.9 MB │ 0 B │ 109.9 MB │ 108.8 MB │ │ +│ │ │ 6164 │ 6164 │ 6164 │ 6102 │ │ +│ │ │ 109.9 MB │ 109.9 MB │ 109.9 MB │ 108.8 MB │ │ │ │ │ dealloc: │ │ │ │ │ -│ │ │ 6166 │ 0 │ 6166 │ 6104 │ │ -│ │ │ 445.9 MB │ 0 B │ 445.9 MB │ 441.5 MB │ │ +│ │ │ 6165 │ 6165 │ 6165 │ 6103 │ │ +│ │ │ 445.9 MB │ 445.9 MB │ 445.9 MB │ 441.5 MB │ │ │ │ │ grow: │ │ │ │ │ -│ │ │ 24493 │ 0 │ 24493 │ 24248 │ │ -│ │ │ 335.9 MB │ 0 B │ 335.9 MB │ 332.6 MB │ │ +│ │ │ 24490 │ 24490 │ 24490 │ 24245 │ │ +│ │ │ 335.9 MB │ 335.9 MB │ 335.9 MB │ 332.5 MB │ │ │ │ ├─ 1024 │ │ │ │ │ -│ │ │ ╰─ hashbrown_set_rs 48.7 ms │ 50.8 ms │ 48.85 ms │ 49.34 ms │ 100 │ 100 -│ │ │ 1.807 MB/s │ 1.732 MB/s │ 1.801 MB/s │ 1.783 MB/s │ │ +│ │ │ ╰─ hashbrown_set_rs 48.65 ms │ 54.18 ms │ 48.89 ms │ 49.01 ms │ 100 │ 100 +│ │ │ 1.809 MB/s │ 1.624 MB/s │ 1.8 MB/s │ 1.795 MB/s │ │ │ │ │ alloc: │ │ │ │ │ │ │ │ 350 │ 350 │ 350 │ 350 │ │ │ │ │ 5.852 MB │ 5.852 MB │ 5.852 MB │ 5.852 MB │ │ │ │ │ dealloc: │ │ │ │ │ │ │ │ 351 │ 351 │ 351 │ 351 │ │ -│ │ │ 24.4 MB │ 24.4 MB │ 24.4 MB │ 24.4 MB │ │ +│ │ │ 24.39 MB │ 24.39 MB │ 24.39 MB │ 24.39 MB │ │ │ │ │ grow: │ │ │ │ │ -│ │ │ 1376 │ 1376 │ 1376 │ 1376 │ │ -│ │ │ 18.46 MB │ 18.46 MB │ 18.46 MB │ 18.46 MB │ │ +│ │ │ 1374 │ 1374 │ 1374 │ 1374 │ │ +│ │ │ 18.45 MB │ 18.45 MB │ 18.45 MB │ 18.45 MB │ │ │ │ ╰─ 16384 │ │ │ │ │ -│ │ ╰─ hashbrown_set_rs 9.612 ms │ 10.47 ms │ 9.736 ms │ 9.751 ms │ 100 │ 100 -│ │ 9.157 MB/s │ 8.402 MB/s │ 9.04 MB/s │ 9.026 MB/s │ │ +│ │ ╰─ hashbrown_set_rs 9.176 ms │ 9.882 ms │ 9.237 ms │ 9.251 ms │ 100 │ 100 +│ │ 9.592 MB/s │ 8.907 MB/s │ 9.528 MB/s │ 9.514 MB/s │ │ │ │ alloc: │ │ │ │ │ │ │ 29 │ 29 │ 29 │ 29 │ │ -│ │ 472.9 KB │ 472.9 KB │ 472.9 KB │ 472.9 KB │ │ +│ │ 472.4 KB │ 472.4 KB │ 472.4 KB │ 472.4 KB │ │ │ │ dealloc: │ │ │ │ │ │ │ 30 │ 30 │ 30 │ 30 │ │ -│ │ 2.813 MB │ 2.813 MB │ 2.813 MB │ 2.813 MB │ │ +│ │ 2.812 MB │ 2.812 MB │ 2.812 MB │ 2.812 MB │ │ │ │ grow: │ │ │ │ │ │ │ 119 │ 119 │ 119 │ 119 │ │ │ │ 2.252 MB │ 2.252 MB │ 2.252 MB │ 2.252 MB │ │ │ ├─ rust_tokenizers │ │ │ │ │ │ │ ├─ 64 │ │ │ │ │ -│ │ │ ╰─ hashbrown_set_rs 1.066 s │ 1.154 s │ 1.103 s │ 1.102 s │ 100 │ 100 -│ │ │ 82.52 KB/s │ 76.23 KB/s │ 79.76 KB/s │ 79.83 KB/s │ │ +│ │ │ ╰─ hashbrown_set_rs 500 ms │ 526.9 ms │ 501.5 ms │ 502.8 ms │ 100 │ 100 +│ │ │ 176 KB/s │ 167 KB/s │ 175.5 KB/s │ 175 KB/s │ │ │ │ │ alloc: │ │ │ │ │ -│ │ │ 28856330 │ 28856330 │ 28856330 │ 28856330 │ │ -│ │ │ 2.019 GB │ 2.019 GB │ 2.019 GB │ 2.019 GB │ │ +│ │ │ 8430316 │ 8430320 │ 8430316 │ 8430316 │ │ +│ │ │ 618.9 MB │ 619 MB │ 618.9 MB │ 618.9 MB │ │ │ │ │ dealloc: │ │ │ │ │ -│ │ │ 28978457 │ 28978457 │ 28978457 │ 28978457 │ │ -│ │ │ 2.796 GB │ 2.796 GB │ 2.796 GB │ 2.796 GB │ │ +│ │ │ 8430317 │ 8430319 │ 8430317 │ 8430317 │ │ +│ │ │ 908.7 MB │ 908.7 MB │ 908.7 MB │ 908.7 MB │ │ │ │ │ grow: │ │ │ │ │ -│ │ │ 790498 │ 790498 │ 790498 │ 790498 │ │ -│ │ │ 767.7 MB │ 767.7 MB │ 767.7 MB │ 767.7 MB │ │ +│ │ │ 264002 │ 264002 │ 264002 │ 264002 │ │ +│ │ │ 289.6 MB │ 289.6 MB │ 289.6 MB │ 289.6 MB │ │ │ │ ├─ 1024 │ │ │ │ │ -│ │ │ ╰─ hashbrown_set_rs 216.4 ms │ 252.5 ms │ 232 ms │ 231.8 ms │ 100 │ 100 -│ │ │ 406.6 KB/s │ 348.5 KB/s │ 379.2 KB/s │ 379.6 KB/s │ │ +│ │ │ ╰─ hashbrown_set_rs 102.9 ms │ 113.6 ms │ 103.7 ms │ 103.9 ms │ 100 │ 100 +│ │ │ 855.4 KB/s │ 774.4 KB/s │ 848.3 KB/s │ 846.7 KB/s │ │ │ │ │ alloc: │ │ │ │ │ -│ │ │ 6664024 │ 6664024 │ 6664024 │ 6664024 │ │ -│ │ │ 461.4 MB │ 461.4 MB │ 461.4 MB │ 461.4 MB │ │ +│ │ │ 2728776 │ 2728776 │ 2728776 │ 2728776 │ │ +│ │ │ 189.8 MB │ 189.8 MB │ 189.8 MB │ 189.8 MB │ │ │ │ │ dealloc: │ │ │ │ │ -│ │ │ 6786151 │ 6786151 │ 6786151 │ 6786151 │ │ -│ │ │ 626.8 MB │ 626.8 MB │ 626.8 MB │ 626.8 MB │ │ +│ │ │ 2728777 │ 2728777 │ 2728777 │ 2728777 │ │ +│ │ │ 258 MB │ 258 MB │ 258 MB │ 258 MB │ │ │ │ │ grow: │ │ │ │ │ -│ │ │ 181547 │ 181547 │ 181547 │ 181547 │ │ -│ │ │ 155.8 MB │ 155.8 MB │ 155.8 MB │ 155.8 MB │ │ +│ │ │ 81250 │ 81250 │ 81250 │ 81250 │ │ +│ │ │ 68.09 MB │ 68.09 MB │ 68.09 MB │ 68.09 MB │ │ │ │ ╰─ 16384 │ │ │ │ │ -│ │ ╰─ hashbrown_set_rs 60.41 ms │ 88 ms │ 79.87 ms │ 77.2 ms │ 100 │ 100 -│ │ 1.457 MB/s │ 1 MB/s │ 1.102 MB/s │ 1.14 MB/s │ │ +│ │ ╰─ hashbrown_set_rs 41.58 ms │ 47.29 ms │ 42.17 ms │ 42.18 ms │ 100 │ 100 +│ │ 2.116 MB/s │ 1.861 MB/s │ 2.087 MB/s │ 2.086 MB/s │ │ │ │ alloc: │ │ │ │ │ -│ │ 1764983 │ 1764983 │ 1764983 │ 1764983 │ │ -│ │ 120.2 MB │ 120.2 MB │ 120.2 MB │ 120.2 MB │ │ +│ │ 1161480 │ 1161480 │ 1161480 │ 1161480 │ │ +│ │ 79.8 MB │ 79.8 MB │ 79.8 MB │ 79.8 MB │ │ │ │ dealloc: │ │ │ │ │ -│ │ 1887110 │ 1887110 │ 1887110 │ 1887110 │ │ -│ │ 171.9 MB │ 171.9 MB │ 171.9 MB │ 171.9 MB │ │ +│ │ 1161481 │ 1161481 │ 1161481 │ 1161481 │ │ +│ │ 104.7 MB │ 104.7 MB │ 104.7 MB │ 104.7 MB │ │ │ │ grow: │ │ │ │ │ -│ │ 49638 │ 49638 │ 49638 │ 49638 │ │ -│ │ 42.22 MB │ 42.22 MB │ 42.22 MB │ 42.22 MB │ │ +│ │ 34097 │ 34097 │ 34097 │ 34097 │ │ +│ │ 24.9 MB │ 24.9 MB │ 24.9 MB │ 24.9 MB │ │ │ ├─ tiktoken │ │ │ │ │ │ │ ├─ 64 │ │ │ │ │ -│ │ │ ╰─ hashbrown_set_rs 803.6 ms │ 1.255 s │ 823.4 ms │ 834.9 ms │ 100 │ 100 -│ │ │ 109.5 KB/s │ 70.1 KB/s │ 106.8 KB/s │ 105.4 KB/s │ │ +│ │ │ ╰─ hashbrown_set_rs 394.6 ms │ 414.3 ms │ 398.2 ms │ 400.4 ms │ 100 │ 100 +│ │ │ 223 KB/s │ 212.4 KB/s │ 221 KB/s │ 219.7 KB/s │ │ │ │ │ alloc: │ │ │ │ │ -│ │ │ 5101864 │ 5101864 │ 5101864 │ 5101864 │ │ -│ │ │ 339.2 MB │ 339.2 MB │ 339.2 MB │ 339.2 MB │ │ +│ │ │ 1560480 │ 1560480 │ 1560480 │ 1560480 │ │ +│ │ │ 120.6 MB │ 120.6 MB │ 120.6 MB │ 120.6 MB │ │ │ │ │ dealloc: │ │ │ │ │ -│ │ │ 5413372 │ 5413372 │ 5413372 │ 5413372 │ │ -│ │ │ 611.8 MB │ 611.8 MB │ 611.8 MB │ 611.8 MB │ │ +│ │ │ 1871988 │ 1871988 │ 1871988 │ 1871988 │ │ +│ │ │ 270 MB │ 270 MB │ 270 MB │ 270 MB │ │ │ │ │ grow: │ │ │ │ │ -│ │ │ 1425524 │ 1425524 │ 1425524 │ 1425524 │ │ -│ │ │ 254.1 MB │ 254.1 MB │ 254.1 MB │ 254.1 MB │ │ +│ │ │ 456904 │ 456904 │ 456904 │ 456904 │ │ +│ │ │ 130.9 MB │ 130.9 MB │ 130.9 MB │ 130.9 MB │ │ │ │ ├─ 1024 │ │ │ │ │ -│ │ │ ╰─ hashbrown_set_rs 183.7 ms │ 187.2 ms │ 185.6 ms │ 185.6 ms │ 100 │ 100 -│ │ │ 479 KB/s │ 470.1 KB/s │ 474 KB/s │ 474.1 KB/s │ │ +│ │ │ ╰─ hashbrown_set_rs 98.08 ms │ 103.1 ms │ 100.5 ms │ 100 ms │ 100 │ 100 +│ │ │ 897.4 KB/s │ 853.2 KB/s │ 875.4 KB/s │ 879.7 KB/s │ │ │ │ │ alloc: │ │ │ │ │ -│ │ │ 1248530 │ 1248530 │ 1248530 │ 1248530 │ │ -│ │ │ 78.69 MB │ 78.69 MB │ 78.69 MB │ 78.69 MB │ │ +│ │ │ 590427 │ 590427 │ 590427 │ 590427 │ │ +│ │ │ 38.05 MB │ 38.05 MB │ 38.05 MB │ 38.05 MB │ │ │ │ │ dealloc: │ │ │ │ │ -│ │ │ 1560038 │ 1560038 │ 1560038 │ 1560038 │ │ -│ │ │ 147 MB │ 147 MB │ 147 MB │ 147 MB │ │ +│ │ │ 901935 │ 901935 │ 901935 │ 901935 │ │ +│ │ │ 83.06 MB │ 83.06 MB │ 83.06 MB │ 83.06 MB │ │ │ │ │ grow: │ │ │ │ │ -│ │ │ 349970 │ 349970 │ 349970 │ 349970 │ │ -│ │ │ 49.97 MB │ 49.97 MB │ 49.97 MB │ 49.97 MB │ │ +│ │ │ 166098 │ 166098 │ 166098 │ 166098 │ │ +│ │ │ 26.61 MB │ 26.61 MB │ 26.61 MB │ 26.61 MB │ │ │ │ ╰─ 16384 │ │ │ │ │ -│ │ ╰─ hashbrown_set_rs 69.38 ms │ 71.21 ms │ 69.86 ms │ 69.86 ms │ 100 │ 100 -│ │ 1.268 MB/s │ 1.236 MB/s │ 1.259 MB/s │ 1.259 MB/s │ │ +│ │ ╰─ hashbrown_set_rs 61.42 ms │ 67.35 ms │ 62.01 ms │ 62.22 ms │ 100 │ 100 +│ │ 1.433 MB/s │ 1.306 MB/s │ 1.419 MB/s │ 1.414 MB/s │ │ │ │ alloc: │ │ │ │ │ -│ │ 458364 │ 458364 │ 458364 │ 458364 │ │ -│ │ 28.58 MB │ 28.58 MB │ 28.58 MB │ 28.58 MB │ │ +│ │ 397840 │ 397840 │ 397840 │ 397840 │ │ +│ │ 24.83 MB │ 24.83 MB │ 24.83 MB │ 24.83 MB │ │ │ │ dealloc: │ │ │ │ │ -│ │ 769872 │ 769872 │ 769872 │ 769872 │ │ -│ │ 64.59 MB │ 64.59 MB │ 64.59 MB │ 64.59 MB │ │ +│ │ 709348 │ 709348 │ 709348 │ 709348 │ │ +│ │ 58.94 MB │ 58.94 MB │ 58.94 MB │ 58.94 MB │ │ │ │ grow: │ │ │ │ │ -│ │ 127334 │ 127334 │ 127334 │ 127334 │ │ -│ │ 17.6 MB │ 17.6 MB │ 17.6 MB │ 17.6 MB │ │ +│ │ 111367 │ 111367 │ 111367 │ 111367 │ │ +│ │ 15.7 MB │ 15.7 MB │ 15.7 MB │ 15.7 MB │ │ │ ╰─ tokenizers │ │ │ │ │ │ ├─ 64 │ │ │ │ │ -│ │ ╰─ hashbrown_set_rs 1.661 s │ 1.875 s │ 1.71 s │ 1.716 s │ 100 │ 100 -│ │ 52.97 KB/s │ 46.94 KB/s │ 51.46 KB/s │ 51.27 KB/s │ │ +│ │ ╰─ hashbrown_set_rs 706.4 ms │ 792.6 ms │ 722.8 ms │ 726.4 ms │ 100 │ 100 +│ │ 124.5 KB/s │ 111 KB/s │ 121.7 KB/s │ 121.1 KB/s │ │ │ │ alloc: │ │ │ │ │ -│ │ 33280123 │ 33280123 │ 33280123 │ 33280123 │ │ -│ │ 3.551 GB │ 3.551 GB │ 3.551 GB │ 3.551 GB │ │ +│ │ 10051800 │ 10051800 │ 10051800 │ 10051800 │ │ +│ │ 1.089 GB │ 1.089 GB │ 1.089 GB │ 1.089 GB │ │ │ │ dealloc: │ │ │ │ │ -│ │ 33338176 │ 33338176 │ 33338176 │ 33338176 │ │ -│ │ 5.417 GB │ 5.417 GB │ 5.417 GB │ 5.417 GB │ │ +│ │ 10109853 │ 10109853 │ 10109853 │ 10109853 │ │ +│ │ 1.723 GB │ 1.723 GB │ 1.723 GB │ 1.723 GB │ │ │ │ grow: │ │ │ │ │ -│ │ 846600 │ 846600 │ 846600 │ 846600 │ │ -│ │ 1.86 GB │ 1.86 GB │ 1.86 GB │ 1.86 GB │ │ +│ │ 431057 │ 431057 │ 431057 │ 431057 │ │ +│ │ 629 MB │ 629 MB │ 629 MB │ 629 MB │ │ │ ├─ 1024 │ │ │ │ │ -│ │ ╰─ hashbrown_set_rs 368.8 ms │ 381.2 ms │ 370.9 ms │ 371.9 ms │ 100 │ 100 -│ │ 238.6 KB/s │ 230.8 KB/s │ 237.3 KB/s │ 236.6 KB/s │ │ +│ │ ╰─ hashbrown_set_rs 149.7 ms │ 159.3 ms │ 150.3 ms │ 150.9 ms │ 100 │ 100 +│ │ 587.7 KB/s │ 552.3 KB/s │ 585.2 KB/s │ 582.9 KB/s │ │ │ │ alloc: │ │ │ │ │ -│ │ 7860823 │ 7860823 │ 7860823 │ 7860823 │ │ -│ │ 835.9 MB │ 835.9 MB │ 835.9 MB │ 835.9 MB │ │ +│ │ 2970854 │ 2970854 │ 2970854 │ 2970854 │ │ +│ │ 316 MB │ 316 MB │ 316 MB │ 316 MB │ │ │ │ dealloc: │ │ │ │ │ -│ │ 7918876 │ 7918876 │ 7918876 │ 7918876 │ │ -│ │ 1.268 GB │ 1.268 GB │ 1.268 GB │ 1.268 GB │ │ +│ │ 3028907 │ 3028907 │ 3028907 │ 3028907 │ │ +│ │ 486.8 MB │ 486.8 MB │ 486.8 MB │ 486.8 MB │ │ │ │ grow: │ │ │ │ │ -│ │ 171330 │ 171330 │ 171330 │ 171330 │ │ -│ │ 427.5 MB │ 427.5 MB │ 427.5 MB │ 427.5 MB │ │ +│ │ 86270 │ 86270 │ 86270 │ 86270 │ │ +│ │ 166 MB │ 166 MB │ 166 MB │ 166 MB │ │ │ ╰─ 16384 │ │ │ │ │ -│ ╰─ hashbrown_set_rs 91.44 ms │ 96.63 ms │ 94.61 ms │ 94.13 ms │ 100 │ 100 -│ 962.6 KB/s │ 910.8 KB/s │ 930.3 KB/s │ 935 KB/s │ │ +│ ╰─ hashbrown_set_rs 93.83 ms │ 101.1 ms │ 94.24 ms │ 94.49 ms │ 100 │ 100 +│ 938 KB/s │ 870.1 KB/s │ 933.9 KB/s │ 931.4 KB/s │ │ │ alloc: │ │ │ │ │ -│ 1982822 │ 1982822 │ 1982822 │ 1982822 │ │ -│ 208.5 MB │ 208.5 MB │ 208.5 MB │ 208.5 MB │ │ +│ 2030279 │ 2030279 │ 2030279 │ 2030279 │ │ +│ 213.2 MB │ 213.2 MB │ 213.2 MB │ 213.2 MB │ │ │ dealloc: │ │ │ │ │ -│ 2040875 │ 2040875 │ 2040875 │ 2040875 │ │ -│ 322.6 MB │ 322.6 MB │ 322.6 MB │ 322.6 MB │ │ +│ 2088332 │ 2088332 │ 2088332 │ 2088332 │ │ +│ 328.9 MB │ 328.9 MB │ 328.9 MB │ 328.9 MB │ │ │ grow: │ │ │ │ │ -│ 42967 │ 42967 │ 42967 │ 42967 │ │ -│ 109.2 MB │ 109.2 MB │ 109.2 MB │ 109.2 MB │ │ +│ 44407 │ 44407 │ 44407 │ 44407 │ │ +│ 110.9 MB │ 110.9 MB │ 110.9 MB │ 110.9 MB │ │ ├─ markdown │ │ │ │ │ │ ├─ characters │ │ │ │ │ │ │ ├─ 64 │ │ │ │ │ -│ │ │ ╰─ commonmark_spec 589.7 ms │ 593.3 ms │ 590.6 ms │ 590.7 ms │ 100 │ 100 -│ │ │ 347.6 KB/s │ 345.5 KB/s │ 347.1 KB/s │ 347 KB/s │ │ +│ │ │ ╰─ commonmark_spec 573.9 ms │ 622.3 ms │ 601.4 ms │ 599.1 ms │ 100 │ 100 +│ │ │ 357.2 KB/s │ 329.4 KB/s │ 340.8 KB/s │ 342.2 KB/s │ │ │ │ │ alloc: │ │ │ │ │ -│ │ │ 13616 │ 13616 │ 13616 │ 13616 │ │ +│ │ │ 13613 │ 13613 │ 13613 │ 13613 │ │ │ │ │ 11.01 MB │ 11.01 MB │ 11.01 MB │ 11.01 MB │ │ │ │ │ dealloc: │ │ │ │ │ -│ │ │ 13617 │ 13617 │ 13617 │ 13617 │ │ +│ │ │ 13614 │ 13614 │ 13614 │ 13614 │ │ │ │ │ 38.07 MB │ 38.07 MB │ 38.07 MB │ 38.07 MB │ │ │ │ │ grow: │ │ │ │ │ -│ │ │ 41386 │ 41386 │ 41386 │ 41386 │ │ +│ │ │ 41384 │ 41384 │ 41384 │ 41384 │ │ │ │ │ 26.85 MB │ 26.85 MB │ 26.85 MB │ 26.85 MB │ │ │ │ │ shrink: │ │ │ │ │ │ │ │ 13 │ 13 │ 13 │ 13 │ │ │ │ │ 94 B │ 94 B │ 94 B │ 94 B │ │ │ │ ├─ 1024 │ │ │ │ │ -│ │ │ ╰─ commonmark_spec 36.54 ms │ 38.05 ms │ 36.73 ms │ 36.77 ms │ 100 │ 100 -│ │ │ 5.61 MB/s │ 5.387 MB/s │ 5.581 MB/s │ 5.574 MB/s │ │ +│ │ │ ╰─ commonmark_spec 33.67 ms │ 41.6 ms │ 33.95 ms │ 34.18 ms │ 100 │ 100 +│ │ │ 6.088 MB/s │ 4.927 MB/s │ 6.037 MB/s │ 5.997 MB/s │ │ │ │ │ alloc: │ │ │ │ │ -│ │ │ 776 │ 776 │ 776 │ 776 │ │ -│ │ │ 912.6 KB │ 912.6 KB │ 912.6 KB │ 912.6 KB │ │ -│ │ │ dealloc: │ │ │ │ │ │ │ │ 777 │ 777 │ 777 │ 777 │ │ +│ │ │ 913 KB │ 913 KB │ 913 KB │ 913 KB │ │ +│ │ │ dealloc: │ │ │ │ │ +│ │ │ 778 │ 778 │ 778 │ 778 │ │ │ │ │ 3.331 MB │ 3.331 MB │ 3.331 MB │ 3.331 MB │ │ │ │ │ grow: │ │ │ │ │ │ │ │ 2296 │ 2296 │ 2296 │ 2296 │ │ @@ -187,11 +187,11 @@ chunk_size fastest │ slowest │ median │ │ │ 13 │ 13 │ 13 │ 13 │ │ │ │ │ 94 B │ 94 B │ 94 B │ 94 B │ │ │ │ ╰─ 16384 │ │ │ │ │ -│ │ ╰─ commonmark_spec 3.789 ms │ 4.289 ms │ 3.846 ms │ 3.861 ms │ 100 │ 100 -│ │ 54.09 MB/s │ 47.79 MB/s │ 53.3 MB/s │ 53.09 MB/s │ │ +│ │ ╰─ commonmark_spec 2.894 ms │ 3.225 ms │ 2.976 ms │ 2.986 ms │ 100 │ 100 +│ │ 70.82 MB/s │ 63.56 MB/s │ 68.87 MB/s │ 68.65 MB/s │ │ │ │ alloc: │ │ │ │ │ │ │ 84 │ 84 │ 84 │ 84 │ │ -│ │ 361.3 KB │ 361.3 KB │ 361.3 KB │ 361.3 KB │ │ +│ │ 360.9 KB │ 360.9 KB │ 360.9 KB │ 360.9 KB │ │ │ │ dealloc: │ │ │ │ │ │ │ 85 │ 85 │ 85 │ 85 │ │ │ │ 1.422 MB │ 1.422 MB │ 1.422 MB │ 1.422 MB │ │ @@ -203,161 +203,161 @@ chunk_size fastest │ slowest │ median │ │ 94 B │ 94 B │ 94 B │ 94 B │ │ │ ├─ rust_tokenizers │ │ │ │ │ │ │ ├─ 64 │ │ │ │ │ -│ │ │ ╰─ commonmark_spec 1.396 s │ 1.489 s │ 1.425 s │ 1.435 s │ 100 │ 100 -│ │ │ 146.7 KB/s │ 137.6 KB/s │ 143.7 KB/s │ 142.8 KB/s │ │ +│ │ │ ╰─ commonmark_spec 1.496 s │ 1.547 s │ 1.516 s │ 1.519 s │ 100 │ 100 +│ │ │ 136.9 KB/s │ 132.4 KB/s │ 135.1 KB/s │ 134.9 KB/s │ │ │ │ │ alloc: │ │ │ │ │ -│ │ │ 41599407 │ 41599407 │ 41599407 │ 41599407 │ │ -│ │ │ 2.827 GB │ 2.827 GB │ 2.827 GB │ 2.827 GB │ │ +│ │ │ 45617041 │ 45617041 │ 45617041 │ 45617041 │ │ +│ │ │ 3.103 GB │ 3.103 GB │ 3.103 GB │ 3.103 GB │ │ │ │ │ dealloc: │ │ │ │ │ -│ │ │ 41721534 │ 41721534 │ 41721534 │ 41721534 │ │ -│ │ │ 3.851 GB │ 3.851 GB │ 3.851 GB │ 3.851 GB │ │ +│ │ │ 45617042 │ 45617042 │ 45617042 │ 45617042 │ │ +│ │ │ 4.214 GB │ 4.214 GB │ 4.214 GB │ 4.214 GB │ │ │ │ │ grow: │ │ │ │ │ -│ │ │ 985921 │ 985921 │ 985921 │ 985921 │ │ -│ │ │ 1.014 GB │ 1.014 GB │ 1.014 GB │ 1.014 GB │ │ +│ │ │ 1110969 │ 1110969 │ 1110969 │ 1110969 │ │ +│ │ │ 1.11 GB │ 1.11 GB │ 1.11 GB │ 1.11 GB │ │ │ │ │ shrink: │ │ │ │ │ │ │ │ 13 │ 13 │ 13 │ 13 │ │ │ │ │ 94 B │ 94 B │ 94 B │ 94 B │ │ │ │ ├─ 1024 │ │ │ │ │ -│ │ │ ╰─ commonmark_spec 331.4 ms │ 365.9 ms │ 347.5 ms │ 347.9 ms │ 100 │ 100 -│ │ │ 618.5 KB/s │ 560.2 KB/s │ 589.9 KB/s │ 589.1 KB/s │ │ +│ │ │ ╰─ commonmark_spec 429 ms │ 451.8 ms │ 436.3 ms │ 437.1 ms │ 100 │ 100 +│ │ │ 477.8 KB/s │ 453.7 KB/s │ 469.8 KB/s │ 468.9 KB/s │ │ │ │ │ alloc: │ │ │ │ │ -│ │ │ 11424780 │ 11424780 │ 11424780 │ 11424780 │ │ -│ │ │ 785.9 MB │ 785.9 MB │ 785.9 MB │ 785.9 MB │ │ +│ │ │ 15412977 │ 15412977 │ 15412977 │ 15412977 │ │ +│ │ │ 1.06 GB │ 1.06 GB │ 1.06 GB │ 1.06 GB │ │ │ │ │ dealloc: │ │ │ │ │ -│ │ │ 11546907 │ 11546907 │ 11546907 │ 11546907 │ │ -│ │ │ 1.074 GB │ 1.074 GB │ 1.074 GB │ 1.074 GB │ │ +│ │ │ 15412978 │ 15412978 │ 15412978 │ 15412978 │ │ +│ │ │ 1.441 GB │ 1.441 GB │ 1.441 GB │ 1.441 GB │ │ │ │ │ grow: │ │ │ │ │ -│ │ │ 270335 │ 270335 │ 270335 │ 270335 │ │ -│ │ │ 279.2 MB │ 279.2 MB │ 279.2 MB │ 279.2 MB │ │ +│ │ │ 366180 │ 366180 │ 366180 │ 366180 │ │ +│ │ │ 381.2 MB │ 381.2 MB │ 381.2 MB │ 381.2 MB │ │ │ │ │ shrink: │ │ │ │ │ │ │ │ 13 │ 13 │ 13 │ 13 │ │ │ │ │ 94 B │ 94 B │ 94 B │ 94 B │ │ │ │ ╰─ 16384 │ │ │ │ │ -│ │ ╰─ commonmark_spec 139.9 ms │ 164.8 ms │ 153.3 ms │ 152.2 ms │ 100 │ 100 -│ │ 1.464 MB/s │ 1.243 MB/s │ 1.337 MB/s │ 1.346 MB/s │ │ +│ │ ╰─ commonmark_spec 184.2 ms │ 197.6 ms │ 188 ms │ 188.8 ms │ 100 │ 100 +│ │ 1.112 MB/s │ 1.037 MB/s │ 1.09 MB/s │ 1.085 MB/s │ │ │ │ alloc: │ │ │ │ │ -│ │ 4908657 │ 4908657 │ 4908657 │ 4908657 │ │ -│ │ 338.6 MB │ 338.6 MB │ 338.6 MB │ 338.6 MB │ │ +│ │ 6760824 │ 6760824 │ 6760824 │ 6760824 │ │ +│ │ 466.3 MB │ 466.3 MB │ 466.3 MB │ 466.3 MB │ │ │ │ dealloc: │ │ │ │ │ -│ │ 5030784 │ 5030784 │ 5030784 │ 5030784 │ │ -│ │ 466.8 MB │ 466.8 MB │ 466.8 MB │ 466.8 MB │ │ +│ │ 6760825 │ 6760825 │ 6760825 │ 6760825 │ │ +│ │ 630.1 MB │ 630.1 MB │ 630.1 MB │ 630.1 MB │ │ │ │ grow: │ │ │ │ │ -│ │ 113018 │ 113018 │ 113018 │ 113018 │ │ -│ │ 118.5 MB │ 118.5 MB │ 118.5 MB │ 118.5 MB │ │ +│ │ 156975 │ 156975 │ 156975 │ 156975 │ │ +│ │ 163.5 MB │ 163.5 MB │ 163.5 MB │ 163.5 MB │ │ │ │ shrink: │ │ │ │ │ │ │ 13 │ 13 │ 13 │ 13 │ │ │ │ 94 B │ 94 B │ 94 B │ 94 B │ │ │ ├─ tiktoken │ │ │ │ │ │ │ ├─ 64 │ │ │ │ │ -│ │ │ ╰─ commonmark_spec 951.3 ms │ 1.047 s │ 993.6 ms │ 992.1 ms │ 100 │ 100 -│ │ │ 215.5 KB/s │ 195.7 KB/s │ 206.3 KB/s │ 206.6 KB/s │ │ +│ │ │ ╰─ commonmark_spec 1.048 s │ 1.077 s │ 1.051 s │ 1.053 s │ 100 │ 100 +│ │ │ 195.6 KB/s │ 190.2 KB/s │ 194.9 KB/s │ 194.5 KB/s │ │ │ │ │ alloc: │ │ │ │ │ -│ │ │ 5936422 │ 5936422 │ 5936422 │ 5936422 │ │ -│ │ │ 410.7 MB │ 410.7 MB │ 410.7 MB │ 410.7 MB │ │ +│ │ │ 6463171 │ 6463171 │ 6463171 │ 6463171 │ │ +│ │ │ 445.9 MB │ 445.9 MB │ 445.9 MB │ 445.9 MB │ │ │ │ │ dealloc: │ │ │ │ │ -│ │ │ 6247930 │ 6247930 │ 6247930 │ 6247930 │ │ -│ │ │ 736 MB │ 736 MB │ 736 MB │ 736 MB │ │ +│ │ │ 6774679 │ 6774679 │ 6774679 │ 6774679 │ │ +│ │ │ 796 MB │ 796 MB │ 796 MB │ 796 MB │ │ │ │ │ grow: │ │ │ │ │ -│ │ │ 1651612 │ 1651612 │ 1651612 │ 1651612 │ │ -│ │ │ 306.7 MB │ 306.7 MB │ 306.7 MB │ 306.7 MB │ │ +│ │ │ 1804436 │ 1804436 │ 1804436 │ 1804436 │ │ +│ │ │ 331.5 MB │ 331.5 MB │ 331.5 MB │ 331.5 MB │ │ │ │ │ shrink: │ │ │ │ │ │ │ │ 13 │ 13 │ 13 │ 13 │ │ │ │ │ 94 B │ 94 B │ 94 B │ 94 B │ │ │ │ ├─ 1024 │ │ │ │ │ -│ │ │ ╰─ commonmark_spec 224.9 ms │ 234.7 ms │ 231.7 ms │ 231.6 ms │ 100 │ 100 -│ │ │ 911.5 KB/s │ 873.4 KB/s │ 884.8 KB/s │ 885.1 KB/s │ │ +│ │ │ ╰─ commonmark_spec 281.2 ms │ 295.1 ms │ 287.3 ms │ 287.1 ms │ 100 │ 100 +│ │ │ 728.8 KB/s │ 694.5 KB/s │ 713.3 KB/s │ 713.9 KB/s │ │ │ │ │ alloc: │ │ │ │ │ -│ │ │ 1657218 │ 1657218 │ 1657218 │ 1657218 │ │ -│ │ │ 112.1 MB │ 112.1 MB │ 112.1 MB │ 112.1 MB │ │ +│ │ │ 2074050 │ 2074050 │ 2074050 │ 2074050 │ │ +│ │ │ 140.1 MB │ 140.1 MB │ 140.1 MB │ 140.1 MB │ │ │ │ │ dealloc: │ │ │ │ │ -│ │ │ 1968726 │ 1968726 │ 1968726 │ 1968726 │ │ -│ │ │ 211.8 MB │ 211.8 MB │ 211.8 MB │ 211.8 MB │ │ +│ │ │ 2385558 │ 2385558 │ 2385558 │ 2385558 │ │ +│ │ │ 259.9 MB │ 259.9 MB │ 259.9 MB │ 259.9 MB │ │ │ │ │ grow: │ │ │ │ │ -│ │ │ 466551 │ 466551 │ 466551 │ 466551 │ │ -│ │ │ 81.14 MB │ 81.14 MB │ 81.14 MB │ 81.14 MB │ │ +│ │ │ 584202 │ 584202 │ 584202 │ 584202 │ │ +│ │ │ 101.3 MB │ 101.3 MB │ 101.3 MB │ 101.3 MB │ │ │ │ │ shrink: │ │ │ │ │ │ │ │ 13 │ 13 │ 13 │ 13 │ │ │ │ │ 94 B │ 94 B │ 94 B │ 94 B │ │ │ │ ╰─ 16384 │ │ │ │ │ -│ │ ╰─ commonmark_spec 76.94 ms │ 79.07 ms │ 77.56 ms │ 77.56 ms │ 100 │ 100 -│ │ 2.664 MB/s │ 2.592 MB/s │ 2.643 MB/s │ 2.643 MB/s │ │ +│ │ ╰─ commonmark_spec 105 ms │ 114 ms │ 107.7 ms │ 107.5 ms │ 100 │ 100 +│ │ 1.952 MB/s │ 1.797 MB/s │ 1.902 MB/s │ 1.906 MB/s │ │ │ │ alloc: │ │ │ │ │ -│ │ 574674 │ 574674 │ 574674 │ 574674 │ │ -│ │ 39.04 MB │ 39.04 MB │ 39.04 MB │ 39.04 MB │ │ +│ │ 787983 │ 787983 │ 787983 │ 787983 │ │ +│ │ 53.45 MB │ 53.45 MB │ 53.45 MB │ 53.45 MB │ │ │ │ dealloc: │ │ │ │ │ -│ │ 886182 │ 886182 │ 886182 │ 886182 │ │ -│ │ 86.42 MB │ 86.42 MB │ 86.42 MB │ 86.42 MB │ │ +│ │ 1099491 │ 1099491 │ 1099491 │ 1099491 │ │ +│ │ 111.5 MB │ 111.5 MB │ 111.5 MB │ 111.5 MB │ │ │ │ grow: │ │ │ │ │ -│ │ 162611 │ 162611 │ 162611 │ 162611 │ │ -│ │ 28.85 MB │ 28.85 MB │ 28.85 MB │ 28.85 MB │ │ +│ │ 223912 │ 223912 │ 223912 │ 223912 │ │ +│ │ 39.57 MB │ 39.57 MB │ 39.57 MB │ 39.57 MB │ │ │ │ shrink: │ │ │ │ │ │ │ 13 │ 13 │ 13 │ 13 │ │ │ │ 94 B │ 94 B │ 94 B │ 94 B │ │ │ ╰─ tokenizers │ │ │ │ │ │ ├─ 64 │ │ │ │ │ -│ │ ╰─ commonmark_spec 1.839 s │ 1.939 s │ 1.882 s │ 1.885 s │ 100 │ 100 -│ │ 111.4 KB/s │ 105.7 KB/s │ 108.9 KB/s │ 108.7 KB/s │ │ +│ │ ╰─ commonmark_spec 2.013 s │ 2.261 s │ 2.044 s │ 2.063 s │ 100 │ 100 +│ │ 101.8 KB/s │ 90.67 KB/s │ 100.2 KB/s │ 99.36 KB/s │ │ │ │ alloc: │ │ │ │ │ -│ │ 42123660 │ 42123660 │ 42123660 │ 42123660 │ │ -│ │ 3.954 GB │ 3.954 GB │ 3.954 GB │ 3.954 GB │ │ +│ │ 46294685 │ 46294685 │ 46294685 │ 46294685 │ │ +│ │ 4.353 GB │ 4.353 GB │ 4.353 GB │ 4.353 GB │ │ │ │ dealloc: │ │ │ │ │ -│ │ 42181713 │ 42181713 │ 42181713 │ 42181713 │ │ -│ │ 6.136 GB │ 6.136 GB │ 6.136 GB │ 6.136 GB │ │ +│ │ 46352738 │ 46352738 │ 46352738 │ 46352738 │ │ +│ │ 6.749 GB │ 6.749 GB │ 6.749 GB │ 6.749 GB │ │ │ │ grow: │ │ │ │ │ -│ │ 1304562 │ 1304562 │ 1304562 │ 1304562 │ │ -│ │ 2.176 GB │ 2.176 GB │ 2.176 GB │ 2.176 GB │ │ +│ │ 1551879 │ 1551879 │ 1551879 │ 1551879 │ │ +│ │ 2.391 GB │ 2.391 GB │ 2.391 GB │ 2.391 GB │ │ │ │ shrink: │ │ │ │ │ │ │ 13 │ 13 │ 13 │ 13 │ │ │ │ 94 B │ 94 B │ 94 B │ 94 B │ │ │ ├─ 1024 │ │ │ │ │ -│ │ ╰─ commonmark_spec 463.5 ms │ 497.8 ms │ 476.4 ms │ 473.4 ms │ 100 │ 100 -│ │ 442.2 KB/s │ 411.7 KB/s │ 430.3 KB/s │ 433 KB/s │ │ +│ │ ╰─ commonmark_spec 604 ms │ 648.8 ms │ 609.9 ms │ 611.5 ms │ 100 │ 100 +│ │ 339.4 KB/s │ 315.9 KB/s │ 336.1 KB/s │ 335.2 KB/s │ │ │ │ alloc: │ │ │ │ │ -│ │ 11614535 │ 11614535 │ 11614535 │ 11614535 │ │ -│ │ 1.127 GB │ 1.127 GB │ 1.127 GB │ 1.127 GB │ │ +│ │ 15542414 │ 15542414 │ 15542414 │ 15542414 │ │ +│ │ 1.509 GB │ 1.509 GB │ 1.509 GB │ 1.509 GB │ │ │ │ dealloc: │ │ │ │ │ -│ │ 11672588 │ 11672588 │ 11672588 │ 11672588 │ │ -│ │ 1.748 GB │ 1.748 GB │ 1.748 GB │ 1.748 GB │ │ +│ │ 15600467 │ 15600467 │ 15600467 │ 15600467 │ │ +│ │ 2.336 GB │ 2.336 GB │ 2.336 GB │ 2.336 GB │ │ │ │ grow: │ │ │ │ │ -│ │ 268571 │ 268571 │ 268571 │ 268571 │ │ -│ │ 615.4 MB │ 615.4 MB │ 615.4 MB │ 615.4 MB │ │ +│ │ 357862 │ 357862 │ 357862 │ 357862 │ │ +│ │ 821.9 MB │ 821.9 MB │ 821.9 MB │ 821.9 MB │ │ │ │ shrink: │ │ │ │ │ │ │ 13 │ 13 │ 13 │ 13 │ │ │ │ 94 B │ 94 B │ 94 B │ 94 B │ │ │ ╰─ 16384 │ │ │ │ │ -│ ╰─ commonmark_spec 196 ms │ 200.9 ms │ 196.6 ms │ 196.7 ms │ 100 │ 100 -│ 1.045 MB/s │ 1.02 MB/s │ 1.042 MB/s │ 1.041 MB/s │ │ +│ ╰─ commonmark_spec 261.3 ms │ 270.8 ms │ 262.8 ms │ 263.7 ms │ 100 │ 100 +│ 784.5 KB/s │ 757 KB/s │ 780 KB/s │ 777.4 KB/s │ │ │ alloc: │ │ │ │ │ -│ 4941007 │ 4941007 │ 4941007 │ 4941007 │ │ -│ 484.5 MB │ 484.5 MB │ 484.5 MB │ 484.5 MB │ │ +│ 6805983 │ 6805983 │ 6805983 │ 6805983 │ │ +│ 667.9 MB │ 667.9 MB │ 667.9 MB │ 667.9 MB │ │ │ dealloc: │ │ │ │ │ -│ 4999060 │ 4999060 │ 4999060 │ 4999060 │ │ -│ 754.3 MB │ 754.3 MB │ 754.3 MB │ 754.3 MB │ │ +│ 6864036 │ 6864036 │ 6864036 │ 6864036 │ │ +│ 1.044 GB │ 1.044 GB │ 1.044 GB │ 1.044 GB │ │ │ grow: │ │ │ │ │ -│ 88859 │ 88859 │ 88859 │ 88859 │ │ -│ 264.8 MB │ 264.8 MB │ 264.8 MB │ 264.8 MB │ │ +│ 122450 │ 122450 │ 122450 │ 122450 │ │ +│ 371.2 MB │ 371.2 MB │ 371.2 MB │ 371.2 MB │ │ │ shrink: │ │ │ │ │ │ 13 │ 13 │ 13 │ 13 │ │ │ 94 B │ 94 B │ 94 B │ 94 B │ │ ╰─ text │ │ │ │ │ ├─ characters │ │ │ │ │ │ ├─ 64 │ │ │ │ │ - │ │ ├─ romeo_and_juliet 140.7 ms │ 142.5 ms │ 141 ms │ 141 ms │ 100 │ 100 - │ │ │ 1.162 MB/s │ 1.148 MB/s │ 1.16 MB/s │ 1.159 MB/s │ │ + │ │ ├─ romeo_and_juliet 127.3 ms │ 138.4 ms │ 127.8 ms │ 128 ms │ 100 │ 100 + │ │ │ 1.284 MB/s │ 1.181 MB/s │ 1.279 MB/s │ 1.277 MB/s │ │ │ │ │ alloc: │ │ │ │ │ - │ │ │ 11091 │ 11367 │ 11091 │ 11093 │ │ - │ │ │ 32.09 MB │ 32.11 MB │ 32.09 MB │ 32.09 MB │ │ + │ │ │ 11091 │ 11091 │ 11091 │ 11093 │ │ + │ │ │ 32.09 MB │ 32.09 MB │ 32.09 MB │ 32.09 MB │ │ │ │ │ dealloc: │ │ │ │ │ - │ │ │ 11092 │ 11288 │ 11092 │ 11093 │ │ + │ │ │ 11092 │ 11092 │ 11092 │ 11093 │ │ │ │ │ 120.8 MB │ 120.8 MB │ 120.8 MB │ 120.8 MB │ │ │ │ │ grow: │ │ │ │ │ - │ │ │ 33185 │ 33224 │ 33185 │ 33185 │ │ - │ │ │ 88.58 MB │ 88.6 MB │ 88.58 MB │ 88.58 MB │ │ + │ │ │ 33184 │ 33184 │ 33184 │ 33184 │ │ + │ │ │ 88.58 MB │ 88.58 MB │ 88.58 MB │ 88.58 MB │ │ │ │ │ shrink: │ │ │ │ │ - │ │ │ 0 │ 5 │ 0 │ 0.05 │ │ - │ │ │ 0 B │ 2.34 KB │ 0 B │ 23.4 B │ │ - │ │ ╰─ room_with_a_view 118.4 ms │ 121 ms │ 118.7 ms │ 118.8 ms │ 100 │ 100 - │ │ 2.549 MB/s │ 2.494 MB/s │ 2.541 MB/s │ 2.54 MB/s │ │ + │ │ │ 0 │ 0 │ 0 │ 0.05 │ │ + │ │ │ 0 B │ 0 B │ 0 B │ 23.4 B │ │ + │ │ ╰─ room_with_a_view 102.8 ms │ 114.2 ms │ 103.1 ms │ 103.8 ms │ 100 │ 100 + │ │ 2.934 MB/s │ 2.642 MB/s │ 2.926 MB/s │ 2.906 MB/s │ │ │ │ alloc: │ │ │ │ │ │ │ 18124 │ 18124 │ 18124 │ 18124 │ │ │ │ 25.87 MB │ 25.87 MB │ 25.87 MB │ 25.87 MB │ │ @@ -365,262 +365,262 @@ chunk_size fastest │ slowest │ median │ │ 18125 │ 18125 │ 18125 │ 18125 │ │ │ │ 91.14 MB │ 91.14 MB │ 91.14 MB │ 91.14 MB │ │ │ │ grow: │ │ │ │ │ - │ │ 47957 │ 47957 │ 47957 │ 47957 │ │ + │ │ 47956 │ 47956 │ 47956 │ 47956 │ │ │ │ 64.97 MB │ 64.97 MB │ 64.97 MB │ 64.97 MB │ │ │ ├─ 1024 │ │ │ │ │ - │ │ ├─ romeo_and_juliet 9.817 ms │ 10.33 ms │ 9.863 ms │ 9.875 ms │ 100 │ 100 - │ │ │ 16.66 MB/s │ 15.82 MB/s │ 16.58 MB/s │ 16.56 MB/s │ │ + │ │ ├─ romeo_and_juliet 7.058 ms │ 7.633 ms │ 7.151 ms │ 7.158 ms │ 100 │ 100 + │ │ │ 23.18 MB/s │ 21.43 MB/s │ 22.87 MB/s │ 22.85 MB/s │ │ │ │ │ alloc: │ │ │ │ │ │ │ │ 573 │ 573 │ 573 │ 573 │ │ │ │ │ 1.634 MB │ 1.634 MB │ 1.634 MB │ 1.634 MB │ │ │ │ │ dealloc: │ │ │ │ │ │ │ │ 574 │ 574 │ 574 │ 574 │ │ - │ │ │ 6.491 MB │ 6.491 MB │ 6.491 MB │ 6.491 MB │ │ + │ │ │ 6.489 MB │ 6.489 MB │ 6.489 MB │ 6.489 MB │ │ │ │ │ grow: │ │ │ │ │ - │ │ │ 1713 │ 1713 │ 1713 │ 1713 │ │ - │ │ │ 4.693 MB │ 4.693 MB │ 4.693 MB │ 4.693 MB │ │ - │ │ ╰─ room_with_a_view 12.31 ms │ 12.65 ms │ 12.41 ms │ 12.42 ms │ 100 │ 100 - │ │ 24.5 MB/s │ 23.86 MB/s │ 24.31 MB/s │ 24.3 MB/s │ │ + │ │ │ 1712 │ 1712 │ 1712 │ 1712 │ │ + │ │ │ 4.691 MB │ 4.691 MB │ 4.691 MB │ 4.691 MB │ │ + │ │ ╰─ room_with_a_view 6.349 ms │ 8.88 ms │ 6.397 ms │ 6.5 ms │ 100 │ 100 + │ │ 47.54 MB/s │ 33.99 MB/s │ 47.19 MB/s │ 46.44 MB/s │ │ │ │ alloc: │ │ │ │ │ │ │ 1117 │ 1117 │ 1117 │ 1117 │ │ │ │ 1.574 MB │ 1.574 MB │ 1.574 MB │ 1.574 MB │ │ │ │ dealloc: │ │ │ │ │ │ │ 1118 │ 1118 │ 1118 │ 1118 │ │ - │ │ 5.871 MB │ 5.871 MB │ 5.871 MB │ 5.871 MB │ │ + │ │ 5.868 MB │ 5.868 MB │ 5.868 MB │ 5.868 MB │ │ │ │ grow: │ │ │ │ │ - │ │ 2942 │ 2942 │ 2942 │ 2942 │ │ - │ │ 3.994 MB │ 3.994 MB │ 3.994 MB │ 3.994 MB │ │ + │ │ 2940 │ 2940 │ 2940 │ 2940 │ │ + │ │ 3.992 MB │ 3.992 MB │ 3.992 MB │ 3.992 MB │ │ │ ╰─ 16384 │ │ │ │ │ - │ ├─ romeo_and_juliet 2.151 ms │ 2.388 ms │ 2.179 ms │ 2.197 ms │ 100 │ 100 - │ │ 76.05 MB/s │ 68.49 MB/s │ 75.08 MB/s │ 74.45 MB/s │ │ + │ ├─ romeo_and_juliet 914.6 µs │ 1.117 ms │ 986.7 µs │ 976.8 µs │ 100 │ 100 + │ │ 178.8 MB/s │ 146.3 MB/s │ 165.8 MB/s │ 167.4 MB/s │ │ │ │ alloc: │ │ │ │ │ │ │ 53 │ 53 │ 53 │ 53 │ │ - │ │ 153.3 KB │ 153.3 KB │ 153.3 KB │ 153.3 KB │ │ + │ │ 152.9 KB │ 152.9 KB │ 152.9 KB │ 152.9 KB │ │ │ │ dealloc: │ │ │ │ │ │ │ 54 │ 54 │ 54 │ 54 │ │ - │ │ 959.8 KB │ 959.8 KB │ 959.8 KB │ 959.8 KB │ │ + │ │ 959.4 KB │ 959.4 KB │ 959.4 KB │ 959.4 KB │ │ │ │ grow: │ │ │ │ │ │ │ 162 │ 162 │ 162 │ 162 │ │ │ │ 642.8 KB │ 642.8 KB │ 642.8 KB │ 642.8 KB │ │ - │ ╰─ room_with_a_view 3.771 ms │ 3.946 ms │ 3.86 ms │ 3.853 ms │ 100 │ 100 - │ 80.05 MB/s │ 76.5 MB/s │ 78.2 MB/s │ 78.34 MB/s │ │ + │ ╰─ room_with_a_view 867.1 µs │ 991.9 µs │ 888.1 µs │ 901.2 µs │ 100 │ 100 + │ 348.1 MB/s │ 304.3 MB/s │ 339.9 MB/s │ 335 MB/s │ │ │ alloc: │ │ │ │ │ │ 102 │ 102 │ 102 │ 102 │ │ - │ 158.6 KB │ 158.6 KB │ 158.6 KB │ 158.6 KB │ │ + │ 158.1 KB │ 158.1 KB │ 158.1 KB │ 158.1 KB │ │ │ dealloc: │ │ │ │ │ │ 103 │ 103 │ 103 │ 103 │ │ - │ 914.5 KB │ 914.5 KB │ 914.5 KB │ 914.5 KB │ │ + │ 914.1 KB │ 914.1 KB │ 914.1 KB │ 914.1 KB │ │ │ grow: │ │ │ │ │ │ 283 │ 283 │ 283 │ 283 │ │ │ 454 KB │ 454 KB │ 454 KB │ 454 KB │ │ ├─ rust_tokenizers │ │ │ │ │ │ ├─ 64 │ │ │ │ │ - │ │ ├─ romeo_and_juliet 776.4 ms │ 823 ms │ 795.6 ms │ 797.3 ms │ 100 │ 100 - │ │ │ 210.7 KB/s │ 198.7 KB/s │ 205.6 KB/s │ 205.2 KB/s │ │ + │ │ ├─ romeo_and_juliet 796.3 ms │ 827.6 ms │ 806.3 ms │ 809.8 ms │ 100 │ 100 + │ │ │ 205.4 KB/s │ 197.6 KB/s │ 202.9 KB/s │ 202 KB/s │ │ │ │ │ alloc: │ │ │ │ │ - │ │ │ 21817065 │ 21817065 │ 21817065 │ 21817065 │ │ - │ │ │ 1.642 GB │ 1.642 GB │ 1.642 GB │ 1.642 GB │ │ + │ │ │ 22964285 │ 22964285 │ 22964285 │ 22964285 │ │ + │ │ │ 1.727 GB │ 1.727 GB │ 1.727 GB │ 1.727 GB │ │ │ │ │ dealloc: │ │ │ │ │ - │ │ │ 21939192 │ 21939192 │ 21939192 │ 21939192 │ │ - │ │ │ 2.148 GB │ 2.148 GB │ 2.148 GB │ 2.148 GB │ │ + │ │ │ 22964286 │ 22964286 │ 22964286 │ 22964286 │ │ + │ │ │ 2.25 GB │ 2.25 GB │ 2.25 GB │ 2.25 GB │ │ │ │ │ grow: │ │ │ │ │ - │ │ │ 707936 │ 707936 │ 707936 │ 707936 │ │ - │ │ │ 496.4 MB │ 496.4 MB │ 496.4 MB │ 496.4 MB │ │ - │ │ ╰─ room_with_a_view 1.167 s │ 1.263 s │ 1.19 s │ 1.195 s │ 100 │ 100 - │ │ 258.6 KB/s │ 238.9 KB/s │ 253.5 KB/s │ 252.6 KB/s │ │ + │ │ │ 739475 │ 739475 │ 739475 │ 739475 │ │ + │ │ │ 522.7 MB │ 522.7 MB │ 522.7 MB │ 522.7 MB │ │ + │ │ ╰─ room_with_a_view 1.238 s │ 1.337 s │ 1.26 s │ 1.265 s │ 100 │ 100 + │ │ 243.7 KB/s │ 225.6 KB/s │ 239.4 KB/s │ 238.5 KB/s │ │ │ │ alloc: │ │ │ │ │ - │ │ 32453797 │ 32453797 │ 32453797 │ 32453797 │ │ - │ │ 2.546 GB │ 2.546 GB │ 2.546 GB │ 2.546 GB │ │ + │ │ 35100997 │ 35100997 │ 35100997 │ 35100997 │ │ + │ │ 2.755 GB │ 2.755 GB │ 2.755 GB │ 2.755 GB │ │ │ │ dealloc: │ │ │ │ │ - │ │ 32575924 │ 32575924 │ 32575924 │ 32575924 │ │ - │ │ 3.281 GB │ 3.281 GB │ 3.281 GB │ 3.281 GB │ │ + │ │ 35100998 │ 35100998 │ 35100998 │ 35100998 │ │ + │ │ 3.539 GB │ 3.539 GB │ 3.539 GB │ 3.539 GB │ │ │ │ grow: │ │ │ │ │ - │ │ 1236503 │ 1236503 │ 1236503 │ 1236503 │ │ - │ │ 725.5 MB │ 725.5 MB │ 725.5 MB │ 725.5 MB │ │ + │ │ 1345341 │ 1345341 │ 1345341 │ 1345341 │ │ + │ │ 784.2 MB │ 784.2 MB │ 784.2 MB │ 784.2 MB │ │ │ ├─ 1024 │ │ │ │ │ - │ │ ├─ romeo_and_juliet 194.7 ms │ 219 ms │ 209.2 ms │ 208.3 ms │ 100 │ 100 - │ │ │ 840.3 KB/s │ 746.9 KB/s │ 782 KB/s │ 785.4 KB/s │ │ + │ │ ├─ romeo_and_juliet 233.5 ms │ 247.2 ms │ 238.6 ms │ 238.5 ms │ 100 │ 100 + │ │ │ 700.5 KB/s │ 661.7 KB/s │ 685.5 KB/s │ 685.9 KB/s │ │ │ │ │ alloc: │ │ │ │ │ - │ │ │ 5478123 │ 5478123 │ 5478123 │ 5478123 │ │ - │ │ │ 410.4 MB │ 410.4 MB │ 410.4 MB │ 410.4 MB │ │ + │ │ │ 6841781 │ 6841781 │ 6841781 │ 6841781 │ │ + │ │ │ 512.4 MB │ 512.4 MB │ 512.4 MB │ 512.4 MB │ │ │ │ │ dealloc: │ │ │ │ │ - │ │ │ 5600250 │ 5600250 │ 5600250 │ 5600250 │ │ - │ │ │ 540.2 MB │ 540.2 MB │ 540.2 MB │ 540.2 MB │ │ + │ │ │ 6841782 │ 6841782 │ 6841782 │ 6841782 │ │ + │ │ │ 666.1 MB │ 666.1 MB │ 666.1 MB │ 666.1 MB │ │ │ │ │ grow: │ │ │ │ │ - │ │ │ 172570 │ 172570 │ 172570 │ 172570 │ │ - │ │ │ 120.1 MB │ 120.1 MB │ 120.1 MB │ 120.1 MB │ │ - │ │ ╰─ room_with_a_view 423.1 ms │ 461 ms │ 441 ms │ 440.3 ms │ 100 │ 100 - │ │ 713.5 KB/s │ 654.8 KB/s │ 684.5 KB/s │ 685.6 KB/s │ │ + │ │ │ 213683 │ 213683 │ 213683 │ 213683 │ │ + │ │ │ 153.5 MB │ 153.5 MB │ 153.5 MB │ 153.5 MB │ │ + │ │ ╰─ room_with_a_view 500.2 ms │ 516.3 ms │ 505.5 ms │ 506 ms │ 100 │ 100 + │ │ 603.5 KB/s │ 584.6 KB/s │ 597.2 KB/s │ 596.6 KB/s │ │ │ │ alloc: │ │ │ │ │ - │ │ 12024711 │ 12024711 │ 12024711 │ 12024711 │ │ - │ │ 939.7 MB │ 939.7 MB │ 939.7 MB │ 939.7 MB │ │ + │ │ 14350869 │ 14350869 │ 14350869 │ 14350869 │ │ + │ │ 1.121 GB │ 1.121 GB │ 1.121 GB │ 1.121 GB │ │ │ │ dealloc: │ │ │ │ │ - │ │ 12146838 │ 12146838 │ 12146838 │ 12146838 │ │ - │ │ 1.207 GB │ 1.207 GB │ 1.207 GB │ 1.207 GB │ │ + │ │ 14350870 │ 14350870 │ 14350870 │ 14350870 │ │ + │ │ 1.435 GB │ 1.435 GB │ 1.435 GB │ 1.435 GB │ │ │ │ grow: │ │ │ │ │ - │ │ 440079 │ 440079 │ 440079 │ 440079 │ │ - │ │ 257.7 MB │ 257.7 MB │ 257.7 MB │ 257.7 MB │ │ + │ │ 523890 │ 523890 │ 523890 │ 523890 │ │ + │ │ 313.6 MB │ 313.6 MB │ 313.6 MB │ 313.6 MB │ │ │ ╰─ 16384 │ │ │ │ │ - │ ├─ romeo_and_juliet 83.72 ms │ 105.3 ms │ 96.7 ms │ 95.34 ms │ 100 │ 100 - │ │ 1.954 MB/s │ 1.552 MB/s │ 1.691 MB/s │ 1.716 MB/s │ │ + │ ├─ romeo_and_juliet 119 ms │ 131 ms │ 119.5 ms │ 120.1 ms │ 100 │ 100 + │ │ 1.374 MB/s │ 1.248 MB/s │ 1.368 MB/s │ 1.362 MB/s │ │ │ │ alloc: │ │ │ │ │ - │ │ 2324756 │ 2324756 │ 2324756 │ 2324756 │ │ - │ │ 173.8 MB │ 173.8 MB │ 173.8 MB │ 173.8 MB │ │ + │ │ 3520004 │ 3520004 │ 3520004 │ 3520004 │ │ + │ │ 263.3 MB │ 263.3 MB │ 263.3 MB │ 263.3 MB │ │ │ │ dealloc: │ │ │ │ │ - │ │ 2446883 │ 2446883 │ 2446883 │ 2446883 │ │ - │ │ 238.9 MB │ 238.9 MB │ 238.9 MB │ 238.9 MB │ │ + │ │ 3520005 │ 3520005 │ 3520005 │ 3520005 │ │ + │ │ 348.9 MB │ 348.9 MB │ 348.9 MB │ 348.9 MB │ │ │ │ grow: │ │ │ │ │ - │ │ 69746 │ 69746 │ 69746 │ 69746 │ │ - │ │ 55.42 MB │ 55.42 MB │ 55.42 MB │ 55.42 MB │ │ - │ ╰─ room_with_a_view 149.4 ms │ 174.9 ms │ 162.5 ms │ 161.8 ms │ 100 │ 100 - │ 2.02 MB/s │ 1.725 MB/s │ 1.856 MB/s │ 1.865 MB/s │ │ + │ │ 105901 │ 105901 │ 105901 │ 105901 │ │ + │ │ 85.36 MB │ 85.36 MB │ 85.36 MB │ 85.36 MB │ │ + │ ╰─ room_with_a_view 191 ms │ 198.3 ms │ 191.5 ms │ 191.8 ms │ 100 │ 100 + │ 1.58 MB/s │ 1.522 MB/s │ 1.576 MB/s │ 1.574 MB/s │ │ │ alloc: │ │ │ │ │ - │ 4196859 │ 4196859 │ 4196859 │ 4196859 │ │ - │ 327.7 MB │ 327.7 MB │ 327.7 MB │ 327.7 MB │ │ + │ 5451823 │ 5451823 │ 5451823 │ 5451823 │ │ + │ 425.7 MB │ 425.7 MB │ 425.7 MB │ 425.7 MB │ │ │ dealloc: │ │ │ │ │ - │ 4318986 │ 4318986 │ 4318986 │ 4318986 │ │ - │ 426.4 MB │ 426.4 MB │ 426.4 MB │ 426.4 MB │ │ + │ 5451824 │ 5451824 │ 5451824 │ 5451824 │ │ + │ 542.3 MB │ 542.3 MB │ 542.3 MB │ 542.3 MB │ │ │ grow: │ │ │ │ │ - │ 150197 │ 150197 │ 150197 │ 150197 │ │ - │ 88.93 MB │ 88.93 MB │ 88.93 MB │ 88.93 MB │ │ + │ 195316 │ 195316 │ 195316 │ 195316 │ │ + │ 116.3 MB │ 116.3 MB │ 116.3 MB │ 116.3 MB │ │ ├─ tiktoken │ │ │ │ │ │ ├─ 64 │ │ │ │ │ - │ │ ├─ romeo_and_juliet 721.2 ms │ 778.5 ms │ 729.3 ms │ 731.6 ms │ 100 │ 100 - │ │ │ 226.8 KB/s │ 210.1 KB/s │ 224.3 KB/s │ 223.6 KB/s │ │ + │ │ ├─ romeo_and_juliet 744.6 ms │ 758.1 ms │ 749.6 ms │ 749.9 ms │ 100 │ 100 + │ │ │ 219.7 KB/s │ 215.8 KB/s │ 218.2 KB/s │ 218.1 KB/s │ │ │ │ │ alloc: │ │ │ │ │ - │ │ │ 6266149 │ 6266149 │ 6266149 │ 6266149 │ │ - │ │ │ 396.3 MB │ 396.3 MB │ 396.3 MB │ 396.3 MB │ │ + │ │ │ 6568864 │ 6568864 │ 6568864 │ 6568864 │ │ + │ │ │ 415.1 MB │ 415.1 MB │ 415.1 MB │ 415.1 MB │ │ │ │ │ dealloc: │ │ │ │ │ - │ │ │ 6577657 │ 6577657 │ 6577657 │ 6577657 │ │ - │ │ │ 655.6 MB │ 655.6 MB │ 655.6 MB │ 655.6 MB │ │ + │ │ │ 6880372 │ 6880372 │ 6880372 │ 6880372 │ │ + │ │ │ 683 MB │ 683 MB │ 683 MB │ 683 MB │ │ │ │ │ grow: │ │ │ │ │ - │ │ │ 1763070 │ 1763070 │ 1763070 │ 1763070 │ │ - │ │ │ 240.8 MB │ 240.8 MB │ 240.8 MB │ 240.8 MB │ │ - │ │ ╰─ room_with_a_view 950.2 ms │ 1.038 s │ 962.3 ms │ 964.3 ms │ 100 │ 100 - │ │ 317.7 KB/s │ 290.6 KB/s │ 313.7 KB/s │ 313 KB/s │ │ + │ │ │ 1838047 │ 1838047 │ 1838047 │ 1838047 │ │ + │ │ │ 249.4 MB │ 249.4 MB │ 249.4 MB │ 249.4 MB │ │ + │ │ ╰─ room_with_a_view 1.009 s │ 1.113 s │ 1.04 s │ 1.04 s │ 100 │ 100 + │ │ 299.2 KB/s │ 271.2 KB/s │ 290.1 KB/s │ 290 KB/s │ │ │ │ alloc: │ │ │ │ │ - │ │ 8296202 │ 8296202 │ 8296202 │ 8296202 │ │ - │ │ 522.8 MB │ 522.8 MB │ 522.8 MB │ 522.8 MB │ │ + │ │ 8945581 │ 8945581 │ 8945581 │ 8945581 │ │ + │ │ 563.3 MB │ 563.3 MB │ 563.3 MB │ 563.3 MB │ │ │ │ dealloc: │ │ │ │ │ - │ │ 8607710 │ 8607710 │ 8607710 │ 8607710 │ │ - │ │ 902.1 MB │ 902.1 MB │ 902.1 MB │ 902.1 MB │ │ + │ │ 9257089 │ 9257089 │ 9257089 │ 9257089 │ │ + │ │ 968.3 MB │ 968.3 MB │ 968.3 MB │ 968.3 MB │ │ │ │ grow: │ │ │ │ │ - │ │ 2749376 │ 2749376 │ 2749376 │ 2749376 │ │ - │ │ 360.6 MB │ 360.6 MB │ 360.6 MB │ 360.6 MB │ │ + │ │ 2960518 │ 2960518 │ 2960518 │ 2960518 │ │ + │ │ 386.3 MB │ 386.3 MB │ 386.3 MB │ 386.3 MB │ │ │ ├─ 1024 │ │ │ │ │ - │ │ ├─ romeo_and_juliet 171 ms │ 174.7 ms │ 173 ms │ 173 ms │ 100 │ 100 - │ │ │ 956.6 KB/s │ 936.3 KB/s │ 945.3 KB/s │ 945.5 KB/s │ │ + │ │ ├─ romeo_and_juliet 210.2 ms │ 224.7 ms │ 211.9 ms │ 213.1 ms │ 100 │ 100 + │ │ │ 778 KB/s │ 728 KB/s │ 772 KB/s │ 767.5 KB/s │ │ │ │ │ alloc: │ │ │ │ │ - │ │ │ 1529573 │ 1529573 │ 1529573 │ 1529573 │ │ - │ │ │ 95.48 MB │ 95.48 MB │ 95.48 MB │ 95.48 MB │ │ + │ │ │ 1892272 │ 1892272 │ 1892272 │ 1892272 │ │ + │ │ │ 118 MB │ 118 MB │ 118 MB │ 118 MB │ │ │ │ │ dealloc: │ │ │ │ │ - │ │ │ 1841081 │ 1841081 │ 1841081 │ 1841081 │ │ - │ │ │ 169.4 MB │ 169.4 MB │ 169.4 MB │ 169.4 MB │ │ + │ │ │ 2203780 │ 2203780 │ 2203780 │ 2203780 │ │ + │ │ │ 204.8 MB │ 204.8 MB │ 204.8 MB │ 204.8 MB │ │ │ │ │ grow: │ │ │ │ │ - │ │ │ 429991 │ 429991 │ 429991 │ 429991 │ │ - │ │ │ 55.45 MB │ 55.45 MB │ 55.45 MB │ 55.45 MB │ │ - │ │ ╰─ room_with_a_view 354.7 ms │ 364.4 ms │ 360.9 ms │ 360.6 ms │ 100 │ 100 - │ │ 850.9 KB/s │ 828.3 KB/s │ 836.4 KB/s │ 837 KB/s │ │ + │ │ │ 530850 │ 530850 │ 530850 │ 530850 │ │ + │ │ │ 68.38 MB │ 68.38 MB │ 68.38 MB │ 68.38 MB │ │ + │ │ ╰─ room_with_a_view 413.8 ms │ 433.5 ms │ 422.9 ms │ 421.7 ms │ 100 │ 100 + │ │ 729.4 KB/s │ 696.3 KB/s │ 713.8 KB/s │ 715.8 KB/s │ │ │ │ alloc: │ │ │ │ │ - │ │ 3133455 │ 3133455 │ 3133455 │ 3133455 │ │ - │ │ 195.7 MB │ 195.7 MB │ 195.7 MB │ 195.7 MB │ │ + │ │ 3709836 │ 3709836 │ 3709836 │ 3709836 │ │ + │ │ 231.7 MB │ 231.7 MB │ 231.7 MB │ 231.7 MB │ │ │ │ dealloc: │ │ │ │ │ - │ │ 3444963 │ 3444963 │ 3444963 │ 3444963 │ │ - │ │ 345.9 MB │ 345.9 MB │ 345.9 MB │ 345.9 MB │ │ + │ │ 4021344 │ 4021344 │ 4021344 │ 4021344 │ │ + │ │ 406 MB │ 406 MB │ 406 MB │ 406 MB │ │ │ │ grow: │ │ │ │ │ - │ │ 1032562 │ 1032562 │ 1032562 │ 1032562 │ │ - │ │ 131.5 MB │ 131.5 MB │ 131.5 MB │ 131.5 MB │ │ + │ │ 1221964 │ 1221964 │ 1221964 │ 1221964 │ │ + │ │ 155.7 MB │ 155.7 MB │ 155.7 MB │ 155.7 MB │ │ │ ╰─ 16384 │ │ │ │ │ - │ ├─ romeo_and_juliet 72.95 ms │ 75.05 ms │ 73.53 ms │ 73.58 ms │ 100 │ 100 - │ │ 2.242 MB/s │ 2.18 MB/s │ 2.225 MB/s │ 2.223 MB/s │ │ + │ ├─ romeo_and_juliet 107.4 ms │ 120.9 ms │ 111.1 ms │ 111.4 ms │ 100 │ 100 + │ │ 1.522 MB/s │ 1.352 MB/s │ 1.471 MB/s │ 1.468 MB/s │ │ │ │ alloc: │ │ │ │ │ - │ │ 631628 │ 631628 │ 631628 │ 631628 │ │ - │ │ 39.4 MB │ 39.4 MB │ 39.4 MB │ 39.4 MB │ │ + │ │ 956275 │ 956275 │ 956275 │ 956275 │ │ + │ │ 59.56 MB │ 59.56 MB │ 59.56 MB │ 59.56 MB │ │ │ │ dealloc: │ │ │ │ │ - │ │ 943136 │ 943136 │ 943136 │ 943136 │ │ - │ │ 80.67 MB │ 80.67 MB │ 80.67 MB │ 80.67 MB │ │ + │ │ 1267783 │ 1267783 │ 1267783 │ 1267783 │ │ + │ │ 112.5 MB │ 112.5 MB │ 112.5 MB │ 112.5 MB │ │ │ │ grow: │ │ │ │ │ - │ │ 176016 │ 176016 │ 176016 │ 176016 │ │ - │ │ 22.79 MB │ 22.79 MB │ 22.79 MB │ 22.79 MB │ │ - │ ╰─ room_with_a_view 116.4 ms │ 120 ms │ 117.7 ms │ 117.8 ms │ 100 │ 100 - │ 2.592 MB/s │ 2.515 MB/s │ 2.563 MB/s │ 2.562 MB/s │ │ + │ │ 266929 │ 266929 │ 266929 │ 266929 │ │ + │ │ 34.48 MB │ 34.48 MB │ 34.48 MB │ 34.48 MB │ │ + │ ╰─ room_with_a_view 148.3 ms │ 163.6 ms │ 151.4 ms │ 152 ms │ 100 │ 100 + │ 2.035 MB/s │ 1.845 MB/s │ 1.993 MB/s │ 1.985 MB/s │ │ │ alloc: │ │ │ │ │ - │ 1002369 │ 1002369 │ 1002369 │ 1002369 │ │ - │ 62.62 MB │ 62.62 MB │ 62.62 MB │ 62.62 MB │ │ + │ 1309367 │ 1309367 │ 1309367 │ 1309367 │ │ + │ 81.75 MB │ 81.75 MB │ 81.75 MB │ 81.75 MB │ │ │ dealloc: │ │ │ │ │ - │ 1313877 │ 1313877 │ 1313877 │ 1313877 │ │ - │ 123.1 MB │ 123.1 MB │ 123.1 MB │ 123.1 MB │ │ + │ 1620875 │ 1620875 │ 1620875 │ 1620875 │ │ + │ 155.2 MB │ 155.2 MB │ 155.2 MB │ 155.2 MB │ │ │ grow: │ │ │ │ │ - │ 328970 │ 328970 │ 328970 │ 328970 │ │ - │ 41.87 MB │ 41.87 MB │ 41.87 MB │ 41.87 MB │ │ + │ 429953 │ 429953 │ 429953 │ 429953 │ │ + │ 54.84 MB │ 54.84 MB │ 54.84 MB │ 54.84 MB │ │ ╰─ tokenizers │ │ │ │ │ ├─ 64 │ │ │ │ │ - │ ├─ romeo_and_juliet 1.398 s │ 1.556 s │ 1.429 s │ 1.429 s │ 100 │ 100 - │ │ 117 KB/s │ 105.1 KB/s │ 114.4 KB/s │ 114.4 KB/s │ │ + │ ├─ romeo_and_juliet 1.438 s │ 1.512 s │ 1.461 s │ 1.462 s │ 100 │ 100 + │ │ 113.7 KB/s │ 108.1 KB/s │ 111.9 KB/s │ 111.9 KB/s │ │ │ │ alloc: │ │ │ │ │ - │ │ 28423160 │ 28423160 │ 28423160 │ 28423160 │ │ - │ │ 3.482 GB │ 3.482 GB │ 3.482 GB │ 3.482 GB │ │ + │ │ 29799042 │ 29799042 │ 29799042 │ 29799042 │ │ + │ │ 3.639 GB │ 3.639 GB │ 3.639 GB │ 3.639 GB │ │ │ │ dealloc: │ │ │ │ │ - │ │ 28481213 │ 28481213 │ 28481213 │ 28481213 │ │ - │ │ 5.069 GB │ 5.069 GB │ 5.069 GB │ 5.069 GB │ │ + │ │ 29857095 │ 29857095 │ 29857095 │ 29857095 │ │ + │ │ 5.296 GB │ 5.296 GB │ 5.296 GB │ 5.296 GB │ │ │ │ grow: │ │ │ │ │ - │ │ 386851 │ 386851 │ 386851 │ 386851 │ │ - │ │ 1.581 GB │ 1.581 GB │ 1.581 GB │ 1.581 GB │ │ - │ ╰─ room_with_a_view 1.948 s │ 2.057 s │ 2.012 s │ 2.006 s │ 100 │ 100 - │ 154.9 KB/s │ 146.7 KB/s │ 150 KB/s │ 150.4 KB/s │ │ + │ │ 445155 │ 445155 │ 445155 │ 445155 │ │ + │ │ 1.652 GB │ 1.652 GB │ 1.652 GB │ 1.652 GB │ │ + │ ╰─ room_with_a_view 2.031 s │ 2.103 s │ 2.061 s │ 2.058 s │ 100 │ 100 + │ 148.5 KB/s │ 143.5 KB/s │ 146.4 KB/s │ 146.6 KB/s │ │ │ alloc: │ │ │ │ │ - │ 38125510 │ 38125510 │ 38125510 │ 38125510 │ │ - │ 4.963 GB │ 4.963 GB │ 4.963 GB │ 4.963 GB │ │ + │ 41106206 │ 41106206 │ 41106206 │ 41106206 │ │ + │ 5.344 GB │ 5.344 GB │ 5.344 GB │ 5.344 GB │ │ │ dealloc: │ │ │ │ │ - │ 38183563 │ 38183563 │ 38183563 │ 38183563 │ │ - │ 7.173 GB │ 7.173 GB │ 7.173 GB │ 7.173 GB │ │ + │ 41164259 │ 41164259 │ 41164259 │ 41164259 │ │ + │ 7.719 GB │ 7.719 GB │ 7.719 GB │ 7.719 GB │ │ │ grow: │ │ │ │ │ - │ 551496 │ 551496 │ 551496 │ 551496 │ │ - │ 2.204 GB │ 2.204 GB │ 2.204 GB │ 2.204 GB │ │ + │ 674019 │ 674019 │ 674019 │ 674019 │ │ + │ 2.369 GB │ 2.369 GB │ 2.369 GB │ 2.369 GB │ │ ├─ 1024 │ │ │ │ │ - │ ├─ romeo_and_juliet 332.6 ms │ 349.9 ms │ 334.5 ms │ 335.7 ms │ 100 │ 100 - │ │ 491.8 KB/s │ 467.5 KB/s │ 489.1 KB/s │ 487.3 KB/s │ │ + │ ├─ romeo_and_juliet 390.4 ms │ 408.1 ms │ 396 ms │ 395.9 ms │ 100 │ 100 + │ │ 419 KB/s │ 400.9 KB/s │ 413.1 KB/s │ 413.2 KB/s │ │ │ │ alloc: │ │ │ │ │ - │ │ 6756281 │ 6756281 │ 6756281 │ 6756281 │ │ - │ │ 831.4 MB │ 831.4 MB │ 831.4 MB │ 831.4 MB │ │ + │ │ 8212456 │ 8212456 │ 8212456 │ 8212456 │ │ + │ │ 1.009 GB │ 1.009 GB │ 1.009 GB │ 1.009 GB │ │ │ │ dealloc: │ │ │ │ │ - │ │ 6814334 │ 6814334 │ 6814334 │ 6814334 │ │ - │ │ 1.209 GB │ 1.209 GB │ 1.209 GB │ 1.209 GB │ │ + │ │ 8270509 │ 8270509 │ 8270509 │ 8270509 │ │ + │ │ 1.469 GB │ 1.469 GB │ 1.469 GB │ 1.469 GB │ │ │ │ grow: │ │ │ │ │ - │ │ 59128 │ 59128 │ 59128 │ 59128 │ │ - │ │ 373.4 MB │ 373.4 MB │ 373.4 MB │ 373.4 MB │ │ - │ ╰─ room_with_a_view 671.7 ms │ 1.046 s │ 685.3 ms │ 693.1 ms │ 100 │ 100 - │ 449.4 KB/s │ 288.4 KB/s │ 440.5 KB/s │ 435.5 KB/s │ │ + │ │ 67360 │ 67360 │ 67360 │ 67360 │ │ + │ │ 454.6 MB │ 454.6 MB │ 454.6 MB │ 454.6 MB │ │ + │ ╰─ room_with_a_view 811.3 ms │ 889 ms │ 832.2 ms │ 834.8 ms │ 100 │ 100 + │ 372 KB/s │ 339.6 KB/s │ 362.7 KB/s │ 361.6 KB/s │ │ │ alloc: │ │ │ │ │ - │ 13882867 │ 13882867 │ 13882867 │ 13882867 │ │ - │ 1.817 GB │ 1.817 GB │ 1.817 GB │ 1.817 GB │ │ + │ 16382110 │ 16382110 │ 16382110 │ 16382110 │ │ + │ 2.144 GB │ 2.144 GB │ 2.144 GB │ 2.144 GB │ │ │ dealloc: │ │ │ │ │ - │ 13940920 │ 13940920 │ 13940920 │ 13940920 │ │ - │ 2.628 GB │ 2.628 GB │ 2.628 GB │ 2.628 GB │ │ + │ 16440163 │ 16440163 │ 16440163 │ 16440163 │ │ + │ 3.103 GB │ 3.103 GB │ 3.103 GB │ 3.103 GB │ │ │ grow: │ │ │ │ │ - │ 100143 │ 100143 │ 100143 │ 100143 │ │ - │ 806.2 MB │ 806.2 MB │ 806.2 MB │ 806.2 MB │ │ + │ 116788 │ 116788 │ 116788 │ 116788 │ │ + │ 953.3 MB │ 953.3 MB │ 953.3 MB │ 953.3 MB │ │ ╰─ 16384 │ │ │ │ │ - ├─ romeo_and_juliet 136.9 ms │ 146.9 ms │ 139.2 ms │ 139.9 ms │ 100 │ 100 - │ 1.194 MB/s │ 1.113 MB/s │ 1.174 MB/s │ 1.169 MB/s │ │ + ├─ romeo_and_juliet 202.1 ms │ 213 ms │ 204.1 ms │ 204.3 ms │ 100 │ 100 + │ 809.2 KB/s │ 767.8 KB/s │ 801.5 KB/s │ 800.7 KB/s │ │ │ alloc: │ │ │ │ │ - │ 2855034 │ 2855034 │ 2855034 │ 2855034 │ │ - │ 350.8 MB │ 350.8 MB │ 350.8 MB │ 350.8 MB │ │ + │ 4290267 │ 4290267 │ 4290267 │ 4290267 │ │ + │ 527.6 MB │ 527.6 MB │ 527.6 MB │ 527.6 MB │ │ │ dealloc: │ │ │ │ │ - │ 2913087 │ 2913087 │ 2913087 │ 2913087 │ │ - │ 515.8 MB │ 515.8 MB │ 515.8 MB │ 515.8 MB │ │ + │ 4348320 │ 4348320 │ 4348320 │ 4348320 │ │ + │ 773.4 MB │ 773.4 MB │ 773.4 MB │ 773.4 MB │ │ │ grow: │ │ │ │ │ - │ 10046 │ 10046 │ 10046 │ 10046 │ │ - │ 160 MB │ 160 MB │ 160 MB │ 160 MB │ │ - ╰─ room_with_a_view 265.8 ms │ 283.1 ms │ 267.6 ms │ 268.2 ms │ 100 │ 100 - 1.135 MB/s │ 1.066 MB/s │ 1.128 MB/s │ 1.125 MB/s │ │ + │ 14855 │ 14855 │ 14855 │ 14855 │ │ + │ 241 MB │ 241 MB │ 241 MB │ 241 MB │ │ + ╰─ room_with_a_view 326.4 ms │ 338.8 ms │ 328.2 ms │ 328.9 ms │ 100 │ 100 + 924.8 KB/s │ 891.1 KB/s │ 919.8 KB/s │ 917.8 KB/s │ │ alloc: │ │ │ │ │ - 5235632 │ 5235632 │ 5235632 │ 5235632 │ │ - 686.1 MB │ 686.1 MB │ 686.1 MB │ 686.1 MB │ │ + 6566133 │ 6566133 │ 6566133 │ 6566133 │ │ + 860.8 MB │ 860.8 MB │ 860.8 MB │ 860.8 MB │ │ dealloc: │ │ │ │ │ - 5293685 │ 5293685 │ 5293685 │ 5293685 │ │ - 1.003 GB │ 1.003 GB │ 1.003 GB │ 1.003 GB │ │ + 6624186 │ 6624186 │ 6624186 │ 6624186 │ │ + 1.259 GB │ 1.259 GB │ 1.259 GB │ 1.259 GB │ │ grow: │ │ │ │ │ - 18036 │ 18036 │ 18036 │ 18036 │ │ - 312.2 MB │ 312.2 MB │ 312.2 MB │ 312.2 MB │ │ + 22546 │ 22546 │ 22546 │ 22546 │ │ + 393.8 MB │ 393.8 MB │ 393.8 MB │ 393.8 MB │ │