You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Еще раз посмотрел свежим взглядом. Действительно, в контексте линейной регрессии довольно часто решение формулируют с помощью явной формулы x=(A^TA)^(-1) A^T b
так как у нас обычно данных гораздо больше чем фичей то обратное обычно существует. Тем не менее, более верная формула это x=A^+ b
она верна даже в случае если A^TA необратима. В этом смысле вести речь о вычисление псевдообратной (A^TA)^+ довольно странно, ведь реально нам надо вычислить A^+.
Тем не менее, если мы предполагаем что (A^TA)^(-1) скорее всего обратима, то вычислять A^+ через, например, SVD будет медленнее чем просто вычислить (A^TA)^(-1) A^T (и, возможно даже медленнее чем вычислить (A^TA)^+ A^T), так как SVD значительно медленнее перемножения матриц, хотя асимптотика одинаковая.
Мне кажется что стоит заменить часть про x=(A^TA)^(-1) A^T b на x=A^+ b и добавить объяснение о его вычислении в стиле этого коммента
начало обсуждения тут
The text was updated successfully, but these errors were encountered: