Evaluator refactor #774
Evaluator refactor #774
Conversation
only tokenized evaluation available now, so it is no big deal really
neuralmonkey/evaluators/evaluator.py
Outdated
| def compare_maximize(score1: float, score2: float) -> int: | ||
| # the bigger the better | ||
| return (score1 > score2) - (score1 < score2) | ||
|
|
There was a problem hiding this comment.
Musi tohle byt separatni funkce?
There was a problem hiding this comment.
Já to dal ven, protože si lint stěžoval že no-self-use a taky jsem chtěl, aby z názvu tý funkce bylo patrný, co to dělá a aby když to chceš overridnout, tak abys mohl napsat jen compare_minimize. ale taky to jde jednodušejc, třeba že overridovaný budou dělat 1 - Evaluator.compare_scores(s1, s2) nebo prohodí s1 a s2. (myslim že takhle to někde je)
|
|
||
| def check_lengths(scorer): | ||
| @wraps(scorer) | ||
| def decorate(self, hypotheses, references): |
There was a problem hiding this comment.
U tech wrapperu to nenadava na notaci?
There was a problem hiding this comment.
když jí tam nenapíšeš, tak to nenadává. Já jí tam nechtěl psát, protože vlastně nevim, co to dělá. ale zkusim
There was a problem hiding this comment.
nevim, co to dělá = nevim, jak se to má anotovat, když to po dekoraci může najednou vracet něco jinýho
There was a problem hiding this comment.
mypy to ještě neumí.. z tohohle plyne, že by to jít mělo: python/mypy#3157
nicméně to podle mě pak ještě posere ten dodatečnej @wraps...
| for m in range(1, self.n + 1): | ||
| count_all = 0 | ||
| count_matched = 0 | ||
| for ngr in ref_ngrams[m - 1]: |
There was a problem hiding this comment.
Jsem rad, ze moje politicky nekorektni zkracenina ngramu se zachovala :)
closes #667
evaluators now have a common predecessor
Evaluator. Large portion of evaluator code has been simplified.