Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Perf] Changes at 12/4/2020 4:50:12 AM #3564

Closed
performanceautofiler bot opened this issue Dec 7, 2020 · 0 comments
Closed

[Perf] Changes at 12/4/2020 4:50:12 AM #3564

performanceautofiler bot opened this issue Dec 7, 2020 · 0 comments

Comments

@performanceautofiler
Copy link

Run Information

Architecture x64
OS ubuntu 18.04
Baseline 4a200d18fe9c0d41ecf56ced17ea657fcee2067c
Compare e280e6124ba75f139b71ebb0eb2d33cc3b3843b2

Regressions in System.Tests.Perf_UInt64

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
ToString 355.06 ns 429.53 ns 1.21
TryFormat 807.52 ns 1.10 μs 1.37
TryFormat 276.47 ns 344.68 ns 1.25

graph
graph
graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Tests.Perf_UInt64*'

.

Payloads

Baseline
Compare

Histogram

System.Tests.Perf_UInt64.ToString(value: 12345)

[307.196 ; 315.294) | @@@@@@@@@@
[315.294 ; 324.392) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[324.392 ; 333.807) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[333.807 ; 341.745) | @@@@@@@@@
[341.745 ; 352.696) | @@@
[352.696 ; 361.794) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[361.794 ; 371.064) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[371.064 ; 381.635) | @@@@@@@@@@@@@@@@
[381.635 ; 390.734) | @@@
[390.734 ; 399.832) | 
[399.832 ; 408.930) | 
[408.930 ; 418.029) | 
[418.029 ; 432.385) | @@@@@@@@@
[432.385 ; 443.831) | @@@@

System.Tests.Perf_UInt64.TryFormat(value: 18446744073709551615)

[ 655.239 ;  689.286) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 689.286 ;  724.301) | @@@@@@@@@@@@@@@@@@@@@@@
[ 724.301 ;  739.068) | 
[ 739.068 ;  773.115) | @@@@@@@@
[ 773.115 ;  801.912) | 
[ 801.912 ;  835.959) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 835.959 ;  873.466) | @@@@@@@@
[ 873.466 ;  907.513) | @@
[ 907.513 ;  941.560) | 
[ 941.560 ;  975.607) | 
[ 975.607 ; 1009.654) | 
[1009.654 ; 1043.701) | 
[1043.701 ; 1077.246) | 
[1077.246 ; 1111.293) | @@@@@@@@@@@@
[1111.293 ; 1141.372) | @

System.Tests.Perf_UInt64.TryFormat(value: 12345)

[229.237 ; 235.942) | @@@@@@@
[235.942 ; 245.093) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[245.093 ; 253.666) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@
[253.666 ; 263.173) | @@@@@@@@@@@@@@@@@@@@@
[263.173 ; 272.404) | @@@@@@
[272.404 ; 281.555) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[281.555 ; 290.768) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[290.768 ; 300.495) | @@@@@@@@@@@@@@@@@@@@@@@@@@
[300.495 ; 309.460) | @@@
[309.460 ; 318.611) | 
[318.611 ; 327.762) | 
[327.762 ; 342.167) | 
[342.167 ; 351.318) | @@@@@@@@@@
[351.318 ; 361.135) | @@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline 4a200d18fe9c0d41ecf56ced17ea657fcee2067c
Compare e280e6124ba75f139b71ebb0eb2d33cc3b3843b2

Regressions in System.Tests.Perf_Int64

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
TryFormat 859.31 ns 1.13 μs 1.32
ToString 875.41 ns 1.14 μs 1.30
ToString 931.05 ns 1.21 μs 1.30
TryFormat 780.83 ns 1.08 μs 1.39
ToString 369.58 ns 442.06 ns 1.20

graph
graph
graph
graph
graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Tests.Perf_Int64*'

.

Payloads

Baseline
Compare

Histogram

System.Tests.Perf_Int64.TryFormat(value: -9223372036854775808)

[ 676.035 ;  693.189) | @
[ 693.189 ;  725.996) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 725.996 ;  764.863) | @@@@@@@@@@@@
[ 764.863 ;  797.670) | @
[ 797.670 ;  824.109) | 
[ 824.109 ;  842.652) | @@@@@@
[ 842.652 ;  875.459) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 875.459 ;  916.893) | @@@@@@@@@@@@@
[ 916.893 ;  949.700) | @
[ 949.700 ;  982.507) | 
[ 982.507 ; 1015.314) | 
[1015.314 ; 1048.120) | 
[1048.120 ; 1080.927) | 
[1080.927 ; 1104.709) | 
[1104.709 ; 1137.516) | @@@@@@@@@@@
[1137.516 ; 1160.712) | @

System.Tests.Perf_Int64.ToString(value: 9223372036854775807)

[ 723.232 ;  756.955) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 756.955 ;  790.014) | @@@@@@@@
[ 790.014 ;  824.565) | @
[ 824.565 ;  849.985) | 
[ 849.985 ;  867.350) | @
[ 867.350 ;  901.074) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 901.074 ;  928.132) | @@@@@@@@@@
[ 928.132 ;  964.879) | @@
[ 964.879 ;  998.603) | 
[ 998.603 ; 1032.326) | 
[1032.326 ; 1066.050) | 
[1066.050 ; 1099.774) | 
[1099.774 ; 1128.719) | 
[1128.719 ; 1162.443) | @@@@@@@@@@@@@

System.Tests.Perf_Int64.ToString(value: -9223372036854775808)

[ 754.433 ;  773.711) | @
[ 773.711 ;  808.054) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 808.054 ;  841.710) | @@@@@@@@
[ 841.710 ;  876.053) | 
[ 876.053 ;  894.083) | 
[ 894.083 ;  923.156) | @@@
[ 923.156 ;  957.500) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 957.500 ;  984.166) | @@@@@@@@@
[ 984.166 ; 1018.509) | 
[1018.509 ; 1052.852) | 
[1052.852 ; 1087.195) | 
[1087.195 ; 1121.539) | 
[1121.539 ; 1155.882) | 
[1155.882 ; 1178.177) | 
[1178.177 ; 1212.520) | @@@@@@@@@@@
[1212.520 ; 1249.969) | @

System.Tests.Perf_Int64.TryFormat(value: 9223372036854775807)

[ 634.476 ;  665.814) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 665.814 ;  695.164) | @@@@@@@@@@@@@@@@@@@@
[ 695.164 ;  717.694) | @@@@
[ 717.694 ;  746.832) | @
[ 746.832 ;  773.905) | 
[ 773.905 ;  805.243) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 805.243 ;  835.773) | @@@@@@@@@@@@@@@
[ 835.773 ;  867.111) | 
[ 867.111 ;  889.200) | 
[ 889.200 ;  920.537) | @
[ 920.537 ;  951.875) | 
[ 951.875 ;  983.213) | 
[ 983.213 ; 1014.551) | 
[1014.551 ; 1033.585) | 
[1033.585 ; 1064.922) | @@@@@@@@@@@@
[1064.922 ; 1098.922) | @

System.Tests.Perf_Int64.ToString(value: 12345)

[318.101 ; 325.652) | @@@@@@@@@@@
[325.652 ; 335.268) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[335.268 ; 346.997) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[346.997 ; 355.842) | @@@@@@@@@
[355.842 ; 365.628) | @@@@@@@@@@@@@@@
[365.628 ; 375.244) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[375.244 ; 384.762) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[384.762 ; 395.112) | @@@@@@@@@@@@@@@@
[395.112 ; 404.077) | @@@@@
[404.077 ; 413.692) | 
[413.692 ; 423.307) | 
[423.307 ; 433.639) | 
[433.639 ; 443.254) | @@@@@@@@@
[443.254 ; 461.951) | @@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline 4a200d18fe9c0d41ecf56ced17ea657fcee2067c
Compare e280e6124ba75f139b71ebb0eb2d33cc3b3843b2

Regressions in System.Tests.Perf_Int32

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
TryFormat 479.88 ns 630.14 ns 1.31
ToString 564.04 ns 715.26 ns 1.27

graph
graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Tests.Perf_Int32*'

.

Payloads

Baseline
Compare

Histogram

System.Tests.Perf_Int32.TryFormat(value: -2147483648)

[386.635 ; 397.291) | @@@@@
[397.291 ; 416.061) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[416.061 ; 433.415) | @@@@@@@@@@@@@@@@@@@@@@@
[433.415 ; 457.008) | @@@
[457.008 ; 476.173) | @
[476.173 ; 494.943) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[494.943 ; 515.067) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[515.067 ; 528.121) | @@@
[528.121 ; 546.891) | 
[546.891 ; 565.660) | 
[565.660 ; 584.430) | 
[584.430 ; 603.200) | 
[603.200 ; 613.860) | 
[613.860 ; 632.629) | @@@@@@@@@@
[632.629 ; 653.973) | @@

System.Tests.Perf_Int32.ToString(value: -2147483648)

[453.807 ; 473.457) | @@@@@@
[473.457 ; 493.416) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[493.416 ; 513.494) | @@@@@@@@@@@@@@@@@@@@@@@
[513.494 ; 533.453) | 
[533.453 ; 552.973) | 
[552.973 ; 572.932) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[572.932 ; 593.348) | @@@@@@@@@@@@@@@@@@@@@@@@@@@
[593.348 ; 611.341) | @@@@@
[611.341 ; 638.722) | 
[638.722 ; 658.681) | @@
[658.681 ; 678.640) | 
[678.640 ; 696.124) | @
[696.124 ; 716.083) | @@@@@@@@@
[716.083 ; 749.198) | @@
[749.198 ; 769.157) | 
[769.157 ; 789.116) | 
[789.116 ; 809.751) | 
[809.751 ; 829.710) | @

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline 4a200d18fe9c0d41ecf56ced17ea657fcee2067c
Compare e280e6124ba75f139b71ebb0eb2d33cc3b3843b2

Regressions in System.Tests.Perf_UInt32

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
TryFormat 327.87 ns 480.76 ns 1.47

Related Issue on x64 Windows

[Perf -11%] System.Tests.Perf_UInt32.TryParseHex

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Tests.Perf_UInt32*'

.

Payloads

Baseline
Compare

Histogram

System.Tests.Perf_UInt32.TryFormat(value: 4294967295)

[267.764 ; 280.457) | @@@@@@@@@@@@@@@@@@
[280.457 ; 293.833) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[293.833 ; 307.381) | @@@@@@@@@@@@@@@@@@@@@
[307.381 ; 321.937) | @@@@
[321.937 ; 337.130) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[337.130 ; 351.752) | @@@@@@@@@@@@@@@@@@@@@@@
[351.752 ; 361.261) | @
[361.261 ; 374.636) | 
[374.636 ; 388.011) | 
[388.011 ; 401.386) | 
[401.386 ; 414.761) | 
[414.761 ; 428.136) | 
[428.136 ; 441.511) | 
[441.511 ; 457.390) | 
[457.390 ; 470.765) | @@@@@@@@@
[470.765 ; 484.130) | @@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline 4a200d18fe9c0d41ecf56ced17ea657fcee2067c
Compare e280e6124ba75f139b71ebb0eb2d33cc3b3843b2

Regressions in System.Buffers.Text.Tests.Utf8FormatterTests

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
FormatterDecimal 924.37 ns 1.05 μs 1.14

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Buffers.Text.Tests.Utf8FormatterTests*'

.

Payloads

Baseline
Compare

Histogram

System.Buffers.Text.Tests.Utf8FormatterTests.FormatterDecimal(value: 123456.789)

[ 754.281 ;  771.676) | @@@
[ 771.676 ;  800.066) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 800.066 ;  829.725) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 829.725 ;  853.102) | @@@@
[ 853.102 ;  881.491) | 
[ 881.491 ;  921.698) | @@
[ 921.698 ;  950.087) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 950.087 ;  976.251) | @@@@@@@@@@@@@@@@@@@@@@@@
[ 976.251 ; 1004.641) | 
[1004.641 ; 1033.030) | 
[1033.030 ; 1069.934) | @@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

@naricc naricc closed this as completed Dec 17, 2020
DrewScoggins pushed a commit that referenced this issue Jan 22, 2024
…1206.9 (#3564)

Microsoft.Extensions.Logging , Microsoft.NET.ILLink , Microsoft.NET.ILLink.Tasks , System.Threading.Channels
 From Version 9.0.0-alpha.1.23606.5 -> To Version 9.0.0-alpha.1.23606.9

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

1 participant