Implementing CLDR testing using `unitsTest.txt` #4422

younies · 2023-12-07T16:37:29Z

No description provided.

younies · 2023-12-07T16:39:04Z

experimental/unitsconversion/tests/units_test.rs

+    #[test]
+    fn test_conversion() {
+        // let provider = icu_unitsconversion::provider::UnitsInfoV1;
+


@sffc and @robertbastian ,

How could I read the provider UnitsInfoV1 here, because I need its info in the testing?

How can I use let provider = AnyPayload::new_default::<UnitsInfoV1>();

What are you testing?

If you are testing data generation, the test should go in datagen

If you are testing functionality, you should implement the functionality and hook up compiled data.

For now, I am testing that all input and output units if they are parsable. In the next PR, I will use the same test to test convertibility and conversion.

I need to access the UnitsInfoV1 to create a parser right now.

from @robertbastian , look at the translitrator, use BakedData

sffc · 2023-12-07T17:14:28Z

experimental/unitsconversion/tests/unitsTest.txt

@@ -0,0 +1,245 @@
+# Test data for unit conversions


By convention, this should be located at experimental/unitsconversion/tests/data/unitsTest.txt

sffc · 2023-12-07T17:34:02Z

experimental/unitsconversion/Cargo.toml

@@ -25,6 +25,7 @@ databake = { workspace = true, optional = true, features = ["derive"]}
 displaydoc = { version = "0.2.3", default-features = false }
 icu_locid = { workspace = true }
 icu_provider = { workspace = true, features = ["macros"] }
+num = "0.4.1"


Issue: dev dependency

sffc · 2023-12-07T17:38:28Z

experimental/unitsconversion/tests/units_test.rs

+    #[test]
+    fn test_conversion() {
+        // let provider = icu_unitsconversion::provider::UnitsInfoV1;
+


What are you testing?

If you are testing data generation, the test should go in datagen

If you are testing functionality, you should implement the functionality and hook up compiled data.

younies · 2023-12-14T11:47:39Z

experimental/unitsconversion/tests/data/baked/macros/units_info_v1.rs.data

+        #[clippy::msrv = "1.67"]
+        impl $provider {
+            #[doc(hidden)]
+            pub const SINGLETON_UNITS_INFO_V1: &'static <icu::unitsconversion::provider::UnitsInfoV1Marker as icu_provider::DataMarker>::Yokeable = &icu::unitsconversion::provider::UnitsInfoV1 { units_conversion_trie: zerotrie::ZeroTrieSimpleAscii { store: unsafe { zerovec::ZeroVec::from_bytes_unchecked(b"\xE1x1abcdefghijklmnopqrstvwy\0\0\0\0\x01\x01\x01\x02\x02\x02\x02\x02\x02\x02\x02\x03\x03\x03\x03\x04\x04\x04\x04\rJ\x8B\xE3:b\xBF\x04,8N\x8F\xAE\xE8\xFF*\xA2\xB9\xE7e\x9C\xA1\xBD00-kilometer\x80\xC5cmrst\x03\x08\x1A*re\x81pere\x82c-\xC2ms\x06inute\x83econd\x84tronomical-unit\x85mosphere\x86\xC6aeiruy\x06\x0E\x10'2r\x87rel\x88cquerel\x89t\x8Aitish-thermal-unit\x8B-it\x8C\xC2-s\x03jp\x8Dhel\x8Ete\x8F\xC5aehou\x1B+5<\xC3lnr\x0B\x11orie\x90\0-it\x90\x01dela\x90\x02at\x90\x03\xC2ln\x06sius\x90\x04tury\x90\x05\xC2ao\x04in\x90\x06\x90\x07ulomb\x90\x08p\x90\t-\xC2jm\x03p\x90\netric\x90\x0B\xC5aeoru\x14;>H\xC2ly\x05ton\x90\x0C\x90\r-person\x90\x0E\xC3cgs\x05\nade\x90\x0Free\x90\x10sert-spoon\x90\x11-imperial\x90\x12t\x90\x13\xC2ao\x03m\x90\x14p\x90\x15nam\x90\x16\xC3alm\x14 rth-\xC2mr\x05ass\x90\x17adius\x90\x18ectronvolt\x90\x19\x90\x1A\xC4alou\x18.I\xC3hrt\t\rrenheit\x90\x1Bad\x90\x1Chom\x90\x1Duid-ounce\x90\x1E-imperial\x90\x1F\xC2or\x0F\xC2dt\tcalorie\x90 \x90!tnight\x90\"\xC2nr\x02\x90#long\x90$\xC3-ar\x071force\x90%\xC2ls\x10lon\x90&-imperial\x90'oline-energy-density\x90(a\xC3imy\x03\x05n\x90)\x90*\x90+\xC2eo\x14\xC3cnr\x06\ntare\x90,ry\x90-tz\x90.\xC2ru\tsepower\x90/r\x900\xC2nt\x04ch\x901em\x902\xC2io\x06gger\x903\xC2-u\x04jp\x904le\x905\xC5aeino\x0C\x17'+\xC2rt\x04at\x906al\x907\xC2ln\x05vin\x908\x909logram\x90:-force\x90;ot\x90<\xC2ks\x03u\x90=aji\x90>\xC2iu\x11\xC2gt\tht-year\x90?er\x90@\xC2mx\x04en\x90A\x90B\xC3eio\x05 ter\x90C\xC2ln\x12e\x90D-scandinavian\x90Eute\x90F\xC2ln\x03e\x90Gth\x90H-person\x90I\xC2ae\rutical-mile\x90Jwton\x90K\xC4fhsu\x0F\x12\x17\xC2gh\x08lucose\x90Lg\x90Mm\x90Naji\x90Once\x90P-troy\x90Q\xC4aeio\x0E.T\xC2rs\x05sec\x90Rcal\x90Sr\xC2cm\x05ent\x90T\xC2iy\x0Cll\xC2ei\x02\x90Uon\x90Vriad\x90W\xC2nx\x1E\xC2ct\x03h\x90X\x90Y-\xC2im\tmperial\x90Zetric\x90[el\x90\\\xC3iru\x04\nnt\x90]tion\x90^nd\x90_-force\x90`uart\x90a\xC2-e\nimperial\x90br\x90c\xC4aeio\x0F\x19#\xC2dn\x05ian\x90dkine\x90evolution\x90f\xC2-n\x04jp\x90g\x90hd\x90i\xC8aehilotu\x03\x10'6:[ki\x90j\xC2-c\x04jp\x90kond\x90laku\x90m-\xC2cl\x06loth\x90nength\x90oe\xC2mv\x05ens\x90pert\x90qug\x90rlar-\xC3lmr\x0B\x10uminosity\x90sass\x90tadius\x90u\xC2eo\x08radian\x90vne\x90wn\x90x\xC4aeho\n\x19!blespoon\x90y\xC2as\x07spoon\x90zla\x90{erm-us\x90|\xC2-n\x04jp\x90}\x90~ne\x90\x7Folt\x91\0\xC2ae\x04tt\x91\x01\xC2be\x04er\x91\x02k\x91\x03-person\x91\x04\xC2ae\x04rd\x91\x05ar\x91\x06-person\x91\x07") } }.into_zerotrie(), convert_infos: unsafe { zerovec::VarZeroVec::from_bytes_unchecked(b"\x98\0\0\0\0\0&\0O\0s\0\x98\0\xBE\0\xE6\0\x16\x01F\x01r\x01\x96\x01\xBA\x01\xEF\x01$\x02I\x02v\x02\x9A\x02\xC9\x02\xF9\x02\x1D\x03B\x03g\x03\x8B\x03\xB1\x03\xD7\x03\0\x04,\x04Q\x04v\x04\xAD\x04\xD3\x04\xF9\x04\x1D\x05B\x05n\x05\x98\x05\xBC\x05\xE8\x05\x15\x06:\x06h\x06\x8E\x06\xC8\x06\xEC\x06\x11\x07D\x07j\x07\x96\x07\xC0\x07\xEF\x07\x15\x08;\x08`\x08\x85\x08\xB1\x08\xDC\x08\x05\t=\tg\t\x8C\t\xB5\t\xDA\t\r\n6\no\n\x94\n\xB9\n\xDD\n\t\x0B-\x0B[\x0B\x7F\x0B\xB1\x0B\xD5\x0B\xF9\x0B\x1D\x0CN\x0Cy\x0C\x9F\x0C\xC5\x0C\xEF\x0C\x14\rB\rk\r\x8F\r\xB5\r\xDA\r\xFE\r+\x0EO\x0Es\x0E\x98\x0E\xC6\x0E\xFD\x0E1\x0Fd\x0F\x8A\x0F\xB4\x0F\xDD\x0F\x0E\x10<\x10`\x10\x85\x10\xAB\x10\xD0\x10\xFD\x10(\x11Q\x11v\x11\x9A\x11\xC0\x11\xE4\x11\x0E\x12F\x12q\x12\x9A\x12\xBE\x12\xE8\x12\x0C\x130\x13U\x13z\x13\xA0\x13\xC8\x13\xED\x13\x11\x149\x14]\x14\x81\x14\xB4\x14\xDD\x14\n\x15C\x15s\x15\x9A\x15\xCB\x15\xF5\x15\x1A\x16F\x16r\x16\xA0\x16\xD1\x16\xF8\x16 \x17E\x17x\x17\xA6\x17\xD9\x17\xFF\x17%\x18K\x18o\x18\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\t\0\0\0\n\0\0\0\x01\0\0S\0\xA0\x86\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\x0C\0\0\0\r\0\0\0\x02\0\0S\0\x92:\xD8\x12-1\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0\x02\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x08\0\0\0\t\0\0\0\x01\0\0v\0\x01`T\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\t\0\0\0\n\0\0\0\x01\0\0v\0\x01\x80\xC6\x13\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\n\0\0\0\x0B\0\0\0\x0C\0\0\0\x01\0\0S\0lZ\xBA\xD4\"\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x12\0\0\0\x13\0\0\0\x14\0\0\0\x01\x03\0:\0\xFF\0\0S\0\xFE\0\0|\0\xCD\x8B\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x12\0\0\0\x13\0\0\0\x14\0\0\0\x01\x03\0:\0\xFF\0\0S\0\xFE\0\0|\0\xA0\x86\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\n\0\0\0\x0F\0\0\0\x10\0\0\0\x03\0\0S\0\x8D\x19FP\x02\0QJ\x8D\x0E\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\xFF\0\0|\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0\n\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x14\0\0\0\x18\0\0\0\x19\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFE\0\0|\0\xB7o\xFE\x85\x05\xA0RW\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x14\0\0\0\x18\0\0\0\x19\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFE\0\0|\x007\xBCOH\x0C\x80\xF0\xFA\x02\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\x08\0\0\0\t\0\0\0\x02\0\0S\0\x90\x01y\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\n\0\0\0\x10\0\0\0\x11\0\0\0\x03\0\0S\0\x7F\x9D\x93G3\0\xA4\x071\xAF\x05\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0\n\0\x08\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x11\0\0\0\x12\0\0\0\x13\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFE\0\0|\0\x0B\x02}\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x11\0\0\0\x13\0\0\0\x14\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFE\0\0|\0\xE3(\xC4\t\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0\x12\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x08\0\0\0\t\0\0\0\x01\x03\0:\0\x01\x88\x13\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\t\0\0\0\x01\0\0H\0\x01\x01W\x15\x14\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0\x96\0d\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\t\0\0\0\n\0\0\0\x01\0\0S\0\x1D1q\x02\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\t\0\0\0\n\0\0\0\x02\0\0S\0\x80O\x12y\0\x01\0\0\0\x05\0\0\0\0\0\0\0\n\0\0\0\x0B\0\0\0\x0C\0\0\0\r\0\0\0\x01\0\0|\0\x01\0\0\x02\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\x0F\0\0\0\x10\0\0\0\x03\0\0S\0\x99\x194\x1C\0 J\xA9\xD1\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x08\0\0\0\t\0\0\0\x03\0\0S\0\x01\x10'\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x08\0\0\0\t\0\0\0\x03\0\0S\0\x01\xA0\x0F\0\x01\0\0\x01\x05\0\0\0\0\0\0\0\x05\0\0\0\n\0\0\0\x1A\0\0\0\x1B\0\0\0\x01\x03\0:\0\x0B\x1A\x95\xA9&\0\0\0\0@\"\x8A\tz\xC4\x86Z\xA8L;K\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\t\0\0\0\n\0\0\0\x01\0\0|\0\x80Q\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\t\0\0\0\n\0\0\0\x01\0\0|\0\x80Q\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0\x96\0\n\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x08\0\0\0\t\0\0\0\x01\0\0v\0\x01h\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\x0F\0\0\0\x10\0\0\0\x03\0\0S\0\x99\x194\x1C\0\0\x10\xA5\xD4\xE8\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\r\0\0\0\x0E\0\0\0\x03\0\0S\0\xD1\xEF\x06\0\0\x08\xAF/\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0l\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\x0F\0\0\0\x10\0\0\0\x03\0\0S\0\x99\x194\x1C\0\0\x88Rjt\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\x10\0\0\0\x11\0\0\0\x03\0\0S\x003\xB3f\t\0\0\xC0\xBC\xF7\xE9\n\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\x08\0\0\0\t\0\0\0\x02\0\0S\0\xE8\x03\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x10\0\0\0\x11\0\0\0\x12\0\0\0\x01\x03\0:\0\0\0\xA02H\x88X\x9C\xA9\xF0\x04\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\t\0\0\0\n\0\0\0\x01\0\0S\0tRa\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x12\0\0\0\x1D\0\0\0\x1E\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFE\0\0|\0\x81r\x18\0\0\0JH\x01\x14\x16\x95E\x08\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0*\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\t\0\0\0\x01\0\0H\0\x05\t\x8F\xB3\xB4\0\0\0\x05\0\0\0\0\0\0\0\x14\0\0\0\x15\0\0\0\x16\0\0\0\x17\0\0\0\x04\0\0|\0\x02\0\0\x02\0\xFF\x03\0:\0\xFE\0\0S\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\t\0\0\0\n\0\0\0\x01\0\0S\0w\x04q\x02\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\x0F\0\0\0\x10\0\0\0\x03\0\0S\0\x99\x194\x1C\0\0QJ\x8D\x0E\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\r\0\0\0\x0E\0\0\0\x03\0\0S\0\xD1\xEF\x06\0\xA0\xAC\xB9\x03\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x11\0\0\0\x12\0\0\0\x13\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFE\0\0|\0X\x10\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\t\0\0\0\n\0\0\0\x01\0\0S\0}\x01\xE2\x04\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\t\0\0\0\n\0\0\0\x01\0\0|\0\0u\x12\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x08\0\0\0\t\0\0\0\x01\x03\0:\0\x03@\x1F\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\x08\0\0\0\t\0\0\0\x01\0\0S\0:b}\0\x01\0\0\0\x05\0\0\0\0\0\0\0\n\0\0\0\r\0\0\0\x0F\0\0\0\x10\0\0\0\x01\0\0S\0\xFE\0\0|\0%\xFE\x02 N\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\x0E\0\0\0\x0F\0\0\0\x03\0\0S\0\x99\x194\x1C\0\xA2\x94\x1A\x1D\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\x0C\0\0\0\r\0\0\0\x03\0\0S\0\xD1\xEF\x06\0\xE1\xF5\x05\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x17\0\0\0\x1B\0\0\0\x1C\0\0\0\x01\x03\0:\0\xFF\0\0S\0\xFE\0\0|\0\0\xA0\x06a\x8C\xF2\x05\nu\xD0W\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\r\0\0\0\x0E\0\0\0\x01\x03\0:\0\x13\xE0b\0\xE8vH\x17\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x08\0\0\0\t\0\0\0\x01\x03\0:\0\x01\xE8\x03\0\x01\0\0\0\x05\0\0\0\0\0\0\0\n\0\0\0\x0B\0\0\0\x0C\0\0\0\r\0\0\0\x02\0\0S\0\xFE\0\0|\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\x08\0\0\0\t\0\0\0\x02\0\0S\0\x10'\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x14\0\0\0\x15\0\0\0\x16\0\0\0\x17\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFE\0\0|\0\xFE\0\0\x02\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\n\0\0\0\x0B\0\0\0\x0C\0\0\0\r\0\0\0\x01\0\0v\0\xFF\0\0|\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x16\0\0\0\x1C\0\0\0\x1D\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFD\0\0|\0'\\\xBC\r\x81v\x84\0 =\x88y-\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\x08\0\0\0\t\0\0\0\x01\0\0|\0\x10\x0E\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x08\0\0\0\t\0\0\0\x01\0\0S\0\x7F\x88\x13\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0B\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\x0F\0\0\0\x10\0\0\0\x03\0\0S\0\xCBL\x9CT\0\0\xA2\x94\x1A\x1D\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0S\0(y\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x10\0\0\0\x11\0\0\0\x12\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFE\0\0|\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0n\0\x01\x18\0\x01\0\0\0\x05\0\0\0\0\0\0\0\n\0\0\0\x14\0\0\0\x15\0\0\0\x16\0\0\0\x01\0\0B\0\xFF\0\0|\0\0\0\xC6\\\x14_)\x17\x86\x7F\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0H\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0S\0\x18y\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\x03\0:\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x12\0\0\0\x14\0\0\0\x15\0\0\0\x01\x03\0:\0\x01\0\0S\0\xFE\0\0|\0%\xFE\x02 N\0\x01\0\0\0\x05\0\0\0\0\0\0\0\n\0\0\0\x0C\0\0\0\x0E\0\0\0\x0F\0\0\0\x01\0\0S\0\xFF\0\0|\0\xCF\x01\x84\x03\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\t\0\0\0\n\0\0\0\x03\0\0S\0a\t\xFE3\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\t\0\0\0\n\0\0\0\x03\0\0S\0\x01@\r\x03\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x0C\0\0\0\r\0\0\0\x0E\0\0\0\x01\0\0S\0\xC0F\"\xF7{\x9C!\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x08\0\0\0\t\0\0\0\x03\0\0S\0\x01\xE8\x03\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x10\0\0\0\x11\0\0\0\x12\0\0\0\x01\0\0\x12\0\x02\0\0S\0\xFE\0\0S\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\n\0\0\0\x0B\0\0\0\x0C\0\0\0\r\0\0\0\x01\0\0\x12\0\xFE\0\0S\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0S\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\t\0\0\0\n\0\0\0\x01\0\0S\0\xD0\x11\x03}\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\x08\0\0\0\t\0\0\0\x01\0\0S\0\x10'\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0|\0<\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x0F\0\0\0\x10\0\0\0\x11\0\0\0\x01\0\0B\0\0\0\xC6\\\x14_)\x17\x86\x7F\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0\x96\0\x01\x0C\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0\x96\0\x01\x0C\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\x08\0\0\0\t\0\0\0\x01\0\0S\0<\x07\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x10\0\0\0\x11\0\0\0\x12\0\0\0\x01\x03\0:\0\x01\0\0S\0\xFE\0\0|\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\n\0\0\0\x17\0\0\0\x1A\0\0\0\x1B\0\0\0\x01\0\0B\0\xFF\x03\0:\0\0\0\0g\x1A\x8E|F.\x15\x96\x02LU}\x1B\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x14\0\0\0\x17\0\0\0\x18\0\0\0\x01\x03\0:\0\xFE\0\0S\0\xFE\0\0|\0+\xA3S5\x06@\r\x03\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x14\0\0\0\x15\0\0\0\x16\0\0\0\x17\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFD\0\0|\0\xFE\0\0\x02\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\t\0\0\0\n\0\0\0\x03\0\0S\0\x03@\r\x03\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\r\0\0\0\x0E\0\0\0\x01\x03\0:\0\x85 \xB4\x02\0\x10^_\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\x0C\0\0\0\r\0\0\0\x01\x03\0:\0s\xDD\x0B@x}\x01\0\x01\0\0\x01\x05\0\0\0\0\0\0\0\x05\0\0\0\x10\0\0\0\x14\0\0\0\x15\0\0\0\x01\0\0S\0\0\xA0\xF1\xE1;\xB0\xD7G1\x81\nc\xE0\x87\x18\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x10\0\0\0\x11\0\0\0\x12\0\0\0\x01\x03\0:\0\xFF\0\0S\0\xFE\0\0|\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0n\0\x01d\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x08\0\0\0\t\0\0\0\x01\0\0n\0\x01\xE8\x03\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\t\0\0\0\n\0\0\0\x01\0\0n\0\x01@B\x0F\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x08\0\0\0\t\0\0\0\x01\0\0n\0\x01\x10'\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\x10\0\0\0\x11\0\0\0\x03\0\0S\0\x99\x194\x1C\0\0\x80(\xA5F\x07\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\x0E\0\0\0\x0F\0\0\0\x03\0\0S\0\x99\x194\x1C\0\x10\xA5\xD4\xE8\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\x0C\0\0\0\r\0\0\0\x03\0\0S\0\xD1\xEF\x06\0\x08\xAF/\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x08\0\0\0\t\0\0\0\x03\0\0S\0\x01\xD0\x07\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0l\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\t\0\0\0\n\0\0\0\x01\0\0S\0\x7F@~\x05\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0n\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\r\0\0\0\x0E\0\0\0\x01\x03\0:\0\x85 \xB4\x02\0\xE1\xF5\x05\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x15\0\0\0\x1B\0\0\0\x1C\0\0\0\x01\x03\0:\0\x01\0\0S\0\xFE\0\0|\09\xA9V]\x17\x08\0 J\xA9\xD1\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\x0E\0\0\0\x0F\0\0\0\x03\0\0S\0\x99\x194\x1C\0\x88Rjt\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\x0C\0\0\0\r\0\0\0\x03\0\0S\0\xD1\xEF\x06\0\x84\xD7\x17\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0\x96\0\x01\x04\0\x01\0\0\x01\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\r\0\0\0\x0E\0\0\0\x01\0\0v\x000y\xE7\x03c\xE0\x87\x18\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0H\0\x05\t\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0v\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\x08\0\0\0\t\0\0\0\x01\0\0S\0\x80\xCAy\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x08\0\0\0\t\0\0\0\x01\0\0S\0\x01*v\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\t\0\0\0\n\0\0\0\x01\0\0S\0\x1D1\xC4\t\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\x0B\0\0\0\x0C\0\0\0\x03\0\0S\0a\t\xC0rUO\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\x08\0\0\0\t\0\0\0\x02\0\0S\0\xE0.y\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0|\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\x0B\0\0\0\x0C\0\0\0\x03\0\0S\0a\t\xE0\xF1\xEE\x07\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0S\0\x05y\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0S\0\x04y\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x14\0\0\0\x15\0\0\0\x16\0\0\0\x17\0\0\0\x03\0\0|\0\x02\0\0\x02\0\xFF\x03\0:\0\xFE\0\0S\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\n\0\0\0\x0B\0\0\0\x0C\0\0\0\r\0\0\0\x02\0\0S\0\xFE\0\0|\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x0B\0\0\0\x10\0\0\0\x11\0\0\0\x01\x03\0:\09\xA9V]\x17\x08\0\xD0\xFD\xEE\x8D\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x1B\0\0\0\x1C\0\0\0\x1D\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFD\0\0|\0\0\0\0\xF2\xED\xD4\xD4\x94\r\xA5<\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x12\0\0\0\x13\0\0\0\x14\0\0\0\x01\x03\0:\0\0\0\x006?\x15\xD0\x1C(\xD5\x17\x19\x19\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\n\0\0\0\x0B\0\0\0\x01\0\0S\0 \x8Aw)\x01\0\x01\0\0\x01\x05\0\0\0\0\0\0\0\x05\0\0\0\x0C\0\0\0\x14\0\0\0\x15\0\0\0\x02\0\0v\0\0i\xFE\r#>\x0FIf\x17\xFD0\xC2Y\x02\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\r\0\0\0\x0E\0\0\0\x01\x03\0:\0\xA3\xE3\xEC\x12\x80\xF0\xFA\x02\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x08\0\0\0\t\0\0\0\x01\0\0S\0\x02]\x02\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\x0F\0\0\0\x10\0\0\0\x03\0\0S\0\x99\x194\x1C\0\0\xA2\x94\x1A\x1D\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\x0F\0\0\0\x10\0\0\0\x03\0\0S\x003\xB3f\t\0\0\xA2\x94\x1A\x1D\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x10\0\0\0\x11\0\0\0\x12\0\0\0\x01\x03\0:\0\xFE\0\0|\0\xFF\0\0\x02\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x13\0\0\0\x14\0\0\0\x15\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFE\0\0|\0\xD0\x80I\x06\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\n\0\0\0\x0B\0\0\0\x03\0\0S\0a\t\xEC\x07\x02\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\t\0\0\0\x0B\0\0\0\x0C\0\0\0\x01\x03\0:\0\x85 \xB4\x02P\xC3\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\x08\0\0\0\t\0\0\0\x01\x03\0:\0\xE8\x03\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x14\0\0\0\x15\0\0\0\x16\0\0\0\x17\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFD\0\0|\0\xFF\0\0\x02\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x0F\0\0\0\x10\0\0\0\x11\0\0\0\x12\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFD\0\0|\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x14\0\0\0\x15\0\0\0\x16\0\0\0\x17\0\0\0\x01\x03\0:\0\x02\0\0S\0\xFE\0\0|\0\xFF\0\0\x02\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\t\0\0\0\n\0\0\0\x01\0\0|\0\x80:\t\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x08\0\0\0\t\0\0\0\n\0\0\0\x01\0\0|\0\x80:\t\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x07\0\0\0\t\0\0\0\n\0\0\0\x01\0\0S\0w\x04\xE2\x04\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0\x96\0\x01\x01\0\x01\0\0\0\x05\0\0\0\0\0\0\0\x05\0\0\0\x06\0\0\0\x07\0\0\0\x08\0\0\0\x01\0\0\x96\0\x01\x01\0\x01") } };


@robertbastian : how to read this in experimental/unitsconversion/tests/units_test.rs

icu_unitsconversion::provider::Baked::SINGLETON_UNITS_INFO_V1

experimental/unitsconversion/tests/units_test.rs

robertbastian · 2023-12-15T10:43:17Z

experimental/unitsconversion/tests/units_test.rs

+#[cfg(test)]
+mod tests {


not requires in a tests/ test

robertbastian · 2023-12-15T10:46:27Z

experimental/unitsconversion/tests/units_test.rs

+        .cloned()
+        .collect();
+        for test in tests {
+            // TODO: remove this line after fixing the parser.


do you have an issue?

done: #4461

robertbastian · 2023-12-15T10:47:36Z

experimental/unitsconversion/tests/units_test.rs

+            .collect();
+
+        let parser = MeasureUnitParser::from_payload(
+            &icu_unitsconversion::provider::Baked::SINGLETON_UNITS_INFO_V1.units_conversion_trie,


are you following the transliteration model with baked data in the tests/ folder, or are you properly hooking up baked date with a icu_units_conversion_data crate? In the former case, this is not correct, in the latter you don't need the files in tests/data

As I saw at the transliteration, they have copied the baked data into tests.

Can I read the data directly from the Datagen place?

ah ok, then my response before to use it like this was incorrect. Check the documentation in macros.rs for how to use it

Actually, we can just access the data directly.

robertbastian · 2023-12-15T15:38:40Z

experimental/unitsconversion/tests/units_test.rs

+        assert!(output_unit.is_ok());
+    }
+
+    // let parser = MeasureUnitParser::from_payload(&BakedDataProvider);


I forgot to delete, done

Add unitsTest.txt to to the testing folder

fb3578f

younies requested a review from a team as a code owner December 7, 2023 16:37

younies commented Dec 7, 2023

View reviewed changes

sffc requested changes Dec 7, 2023

View reviewed changes

younies requested a review from sffc December 7, 2023 17:44

move the test data to /data

01b4012

sffc removed their request for review December 8, 2023 02:16

younies added 4 commits December 14, 2023 11:52

Merge branch 'main' of github.com:unicode-org/icu4x into add-testcases

3527b70

move to the dev dependency

20a6167

try load the datagen

06179bd

add baked files

d49210a

younies requested a review from robertbastian December 14, 2023 11:36

younies commented Dec 14, 2023

View reviewed changes

younies added 2 commits December 14, 2023 16:47

Fix the testing with databake

84e94b1

fix clippy

e8542b7

younies requested a review from sffc December 14, 2023 15:53

younies changed the title ~~Add unitsTest.txt to to the testing folder~~ Implementing CLDR testing using UnitsTest.txt Dec 14, 2023

younies changed the title ~~Implementing CLDR testing using UnitsTest.txt~~ Implementing CLDR testing using unitsTest.txt Dec 14, 2023

younies commented Dec 14, 2023

View reviewed changes

experimental/unitsconversion/tests/units_test.rs Outdated Show resolved Hide resolved

robertbastian reviewed Dec 15, 2023

View reviewed changes

younies added 5 commits December 15, 2023 11:27

Merge branch 'main' of github.com:unicode-org/icu4x into add-testcases

7d5e5ac

fix merging

25343a0

remove mod test

ad5db83

add issue number

5e98d1e

delete unneeded data.

3ad17e1

younies requested a review from robertbastian December 15, 2023 11:51

robertbastian previously approved these changes Dec 15, 2023

View reviewed changes

fix

f0a1dc4

younies dismissed robertbastian’s stale review via f0a1dc4 December 15, 2023 23:42

sffc approved these changes Dec 15, 2023

View reviewed changes

younies merged commit 92a839b into unicode-org:main Dec 16, 2023
29 checks passed

younies deleted the add-testcases branch December 16, 2023 00:26

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Implementing CLDR testing using `unitsTest.txt` #4422

Implementing CLDR testing using `unitsTest.txt` #4422

younies commented Dec 7, 2023

younies Dec 7, 2023

younies Dec 7, 2023

sffc Dec 7, 2023

younies Dec 7, 2023 •

edited

Loading

younies Dec 7, 2023

sffc Dec 7, 2023

younies Dec 14, 2023

sffc Dec 7, 2023

sffc Dec 8, 2023

younies Dec 14, 2023

sffc Dec 7, 2023

younies Dec 14, 2023

robertbastian Dec 14, 2023

younies Dec 14, 2023

robertbastian Dec 15, 2023

younies Dec 15, 2023

robertbastian Dec 15, 2023

younies Dec 15, 2023

robertbastian Dec 15, 2023

younies Dec 15, 2023

robertbastian Dec 15, 2023

younies Dec 15, 2023

robertbastian Dec 15, 2023

younies Dec 15, 2023

Implementing CLDR testing using unitsTest.txt #4422

Implementing CLDR testing using unitsTest.txt #4422

Conversation

younies commented Dec 7, 2023

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

younies Dec 7, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Implementing CLDR testing using `unitsTest.txt` #4422

Implementing CLDR testing using `unitsTest.txt` #4422

younies Dec 7, 2023 •

edited

Loading