Embedding joblib

[valer1435]

Due to some problems with memory and performance #840. Multiprocessing was refactored using joblib library

[gkirgizov]

Запускал ли, сравнивал ли с multiprocessing? Эффективнее ли по памяти?

[gkirgizov]

может выше убрать вообще импорт и использования multiprocessing

[valer1435]

done

[nicl-nno]

Но импорт multiprocessing вроде остался. Или он нужен?

[codecov]

Codecov Report

Merging #843 (e0024c4) into master (644215b) will decrease coverage by 0.44%.
The diff coverage is 100.00%.

@@            Coverage Diff             @@
##           master     #843      +/-   ##
==========================================
- Coverage   87.53%   87.08%   -0.45%     
==========================================
  Files         192      192              
  Lines       13280    13278       -2     
==========================================
- Hits        11624    11563      -61     
- Misses       1656     1715      +59     

Impacted Files	Coverage Δ
fedot/core/optimisers/gp_comp/evaluation.py	98.44% <100.00%> (-0.03%)	⬇️
...lementations/data_operations/ts_transformations.py	74.75% <0.00%> (-13.35%)	⬇️
fedot/core/pipelines/tuning/hyperparams.py	91.83% <0.00%> (-2.05%)	⬇️
...implementations/models/ts_implementations/naive.py	93.93% <0.00%> (-2.03%)	⬇️
fedot/core/data/merge/data_merger.py	97.87% <0.00%> (-1.07%)	⬇️
...edot/core/optimisers/gp_comp/operators/mutation.py	92.82% <0.00%> (-0.45%)	⬇️
fedot/core/composer/advisor.py	94.00% <0.00%> (+2.00%)	⬆️

Help us with your feedback. Take ten seconds to tell us how you rate us. Have a feature suggestion? Share it here.

[valer1435]

Запускал ли, сравнивал ли с multiprocessing? Эффективнее ли по памяти?

Тестов не проводил. Хорошо то, что перестал падать у меня пример api_classification. До этого у меня ноут с 16 гб оперативы просто вылетал

[nicl-nno]

А вот этот вывод можно сделать опциальным?

[valer1435]

А вот этот вывод можно сделать опциальным?

Можно его вообще убрать. Но я так понимаю, скоро будет обновление логгинга и выставление отдельного уровня логирования для композирования(?)

[nicl-nno]

Да, но его все равно надо будет связывать с job-libом. Ну давай пока вообще отключим.