Approximation des moindres carrés

dans cette vidéo on va considérer une matrice à on va dire que c'est une matrice n fois cas et on va considérer l'équation ax égal à b avec x qui du coup est un vecteur qui appartient à m ar cas parce que la matrix et n fois k&b est un vecteur qui appartient lui à m n à la différence de ce qu'on a fait jusqu'à maintenant elle est une grosse différence c'est que on va considérer maintenant qu'il n'ya pas de solution à cette équation je vais écrire on va considérer qu'il n'ya pas de solution à l'équation ax et galbées alors bon jusqu'à présent eu quand il n'y avait pas de solution ce qu'on faisait c'est qu'en fait on prenait la matrice augmenté ensuite on la réduisait à sa forme échelonné réduite et ont trouvé une condition absurdes comme un égal à zéro on disait ya pas de solution et on s'arrêtait là on va essayer d'aller un peu plus loin alors déjà six organes qu'est ce que ça veut dire qu'il n'ya pas de solution à l'équation à xxi galbées ça veut dire que en fait la matrice à on peut très bien l'écrire sous la forme de ses vecteurs colonnes donc à 1 à 2 et cetera jusqu'à ak il y a qu'à colonnes donc la matrice le vectrix on peut l'écrire comme un vecteur colonnes x1 x2 jusqu'à x cas et ça se doit être égale à baisser l'équation qu'on considère et du coup si on développe on va avoir quoi on va avoir 6 1 à 1 + x 2 à 2 et c'est jusqu'à + x k à ka qui doit être égale à b qu'est ce que ça veut dire qu'il n'ya pas de solution à cette équation donc ça veut dire qu'il n'ya pas de solution à cette équation donc ça veut dire que b ne peut pas écrire comme une combinaison in her des vecteurs colonnes de la matrice à et donc on sait maintenant que ça veut dire que b n'appartient pas à l'image de la matrice à b n'appartient pas n'appartient pas à l'image de la matrice à qu'on appelle bien sûr l'image de a alors du coup comme disait au lieu de s'arrêter en disant il ya pas de solution on va essayer d'aller un peu plus loin et on va essayer de trouver en quelques sortes la meilleure solution la meilleure solution approché de cette équation c'est à dire qu'on va considérer un hic ce qu'on appelait x étoiles qui est un vecteur on va chercher le x étoiles tels que tels que la la matrice à foix le vectrix étoiles soient aussi proches que possible aussi proche de ben est en fait aussi proche de béco possible si proches devaient que possible que possible qu'en fait ce qu'on dit c'est qu'on n'a pas de solution exact à l'équation à itzig ab mais on va chercher entre guillemets à minimiser l'erreur est en fait quand je dis minimiser l'erreur on va chercher à minimiser un mini musée a minimisé quoi en fait on va chercher à minimiser la distance entre le vecteur b est le vecteur ax ax étoile plutôt minimisé la distance c'est-à-dire le module de b - à x on va on va minimiser cette distance et le hic ce qui nous donnera la distance minimale on va l'appeler le x étoiles lorsqu'on va faire c'est qu'on va appeler vais le le lever terre à x c'est-à-dire ax étoiles plus tôt on va dire que à x étoiles est égal à un vecteur v fait si on représente ce qu'on a vu jusque là on a dit qu'en fait on a on a un plan c'est à dire qu'on va supposer de l'image de à ses implants ça on va dire que c'est l'image de a bien sûr l'image doit peut être autre chose ici c'est juste pour visualiser on va considérer que l'image doit être un plan et quand on dit que b n'appartient pas à l'image doit ça veut dire que b en fait sortir de ce plan il va pas être contenue dans le plan par exemple ici on va avoir le vecteur b comme ça ça c'est le vecteur b il sort du plan il n'est pas contenue dans l'image de à et nous ce qu'on va faire quand on dit qu'on va minimiser la distance entre le vecteur b est le vecteur ax et qu'on va chercher le vecteur v compris dans le plan tels que la distance entre le 20 octobre et est le vecteur v soit la plus faible possible fait on a cherché un v qui va être comme ça ça c'est le vecteur v qui était égal à x étoiles et en fait ça on voit bien d'après les vidéos précédentes que le vecteur qui va minimiser la distance entre le vecteur b est le vecteur v c'est la projection orthogonale 2b sur l'image de a alors elle avant d'aller plus loin avec la projection de b ici si on note vais le vecteur en fait ça ça veut dire quoi cette cette distance ici si on la met au carré on a la distance est le vecteur b - v ça va être quoi ça va être si on écrit ça va être fait un moins et un bep 2 - b2 et c est jusqu à bn - v n est du coup si on regarde cette distance au carré ça vaut quoi en fonction des b i et v é en fait ça vaut b1 - v1 au carré plus b 2 - b2o cas et plus et c'est jusqu'à bn - vn au carré en fait c'est pour ça nous ce qu'on essaye c'est de minimiser cette distance est de minimiser cette somme ici d'écart et c'est pour ça que en fait x notre x etc toile on l'appelle l'estimation des moindres carrés l'estimation des moindres carrés parce qu'en fait on va essayer de minimiser cette somme ici avec tous ces carrés ici donc c'est pour ça que x étoiles on l'appelle l'estimation ou la solution des moindres carrés qu'on nous tient par la méthode des moindres carrés donc la méthode des moindres carrés ça correspond au fait de minimiser cette distance ici du coup cette estimation des moindres carrés on a dit qu'on a un vecteur v qui est égal à ax étoiles et on a dit que v c'est pas n'importe quels vecteurs de l'image de l'as v c'est la projection v c'est la projection sur l'image de à de mon vecteur b donc je vais leur écrire en dessous on a dit que à x étoile était égal à la projection sur l'image de à de mon secteur b alors là on pourrait très bien dire que la projection sur l'image de a2b c1 une application linéaire dont la matrice de projection dépend de la matrice à de sa transposer et ses appuis ensuite calculer la projection etc ans pourrait s'en sortir comme ça mais c'est assez compliqué alors on va faire les choses un peu différemment ce qu'on va faire c'est qu'on va soustraire de chaque côté le vecteur b donc on va dire que on a cette égalité et du coup on peut dire que à x étoiles et du coup j'ai soustraire b - p c'est égal à quoi c'est égal à la projection sur l'image de à de mon secteur b - le vecteur b - le vecteur but j'ai juste sous ce très b de chaque côté et maintenant on a quelque chose d'intéressant qu'est-ce qu'on a ça on sait quelque chose là dessus la projection orthogonale sur image 2a 2b - b c'est quelque chose qui est orthogonale à l'image de la sas et orthogonale c'est un vecteur qui est orthogonale à l'image de à ça veut dire quoi ça veut dire que du coup le vecteur à x étoiles - b il appartient aux compléments orthogonale de l'image de un complément orthogonale de l'image de à i'm ça ça on connaît c'est quoi le complément orthogonale de l'image de à le complément orthogonale de l'image doit on sait que c'est égal au noyau on l'a vu dans plusieurs vidéos c'est égal au noyau de la transposer de a donc j'ai que le vecteur à x étoiles - b appartient au noyau de la transposer d'eux a alors ça veut dire quoi que ce vecteur appartient au noyau de la transposer de ah bah c'est tout simple ça veut dire que si on calcule la transposer de à foix ce vecteur fois le vecteur à x étoiles - b qu'est-ce qu'on va obtenir on va obtenir bien sûr le vecteur nul parce que ce vecteur ax étoiles - b appartient au noyau de la matrice trans transposer de a donc maintenant peu développé on va dire que c'est égal à à transposer de la fois à x étoiles - transposer de à x b ça c'est égal à zéro ou vecteurs nul donc ça veut dire que la transposer de à foix à foix le vecteur x étoiles donc mon estimation des moindres carrés est égale à la transposer de à x b j'aimerais refaire un peu le cheminement qui nous a conduits ici on est parti du fait on est partie de l'équation ax et galbées et on a dit qu que cette équation n'avait pas de solution pas de solution alors du coup on a dit qu'on va qu'on allait chercher un x étoiles qui minimisent qui minimisent la distance entre x et ax minimise cette distance là puis on a vu qu'en fait ce vecteur ax étoiles il correspond à la projection sur l'image de a2b donc s'il aurait écrit j'ai que ax étoiles est égale à la projection sur l'image de à du vecteur b et en utilisant ça en fait on arrive au résultat que on peut trouver le vecteur x étoiles en résolvant cette équation c'est à dire en fait si on revient ça correspond à multiplier de chaque côté hi-fi par la matrice transposer de à si je fais ça qu'est ce que j'obtiens j'obtiens la transpose la fois à x x égale la transposer de à x b donc en fait j'ai pas de solution à l'équation ax et galbées par contre je sais que j'ai une solution maintenant à l'équation transposer de à x x x égale transposer deux fois b donc voilà ça ça peut sembler encore un petit peu un petit peu abstrait mais on va voir dans la vidéo prochaine que finalement c'est pas si compliqué que ça