If you're seeing this message, it means we're having trouble loading external resources on our website.

Si vous avez un filtre web, veuillez vous assurer que les domaines *. kastatic.org et *. kasandbox.org sont autorisés.

Contenu principal

Droite de régression et méthode des moindres carrés

Comment est née l'idée de la méthode des moindres carrés. Créé par Sal Khan.

Vous souhaitez rejoindre la discussion ?

  • blobby green style l'avatar de l’utilisateur ghitaderraz
    Pourquoi élevons nous les erreurs au carré? Est-ce pour être plus précis?
    (1 vote)
    Default Khan Academy avatar l'avatar de l’utilisateur
    • aqualine ultimate style l'avatar de l’utilisateur Yaelle
      Elever toutes les valeurs à sommer au carré permet de ne sommer que des valeurs positives ou nulles et donc de pouvoir véritablement estimer la validité d'une modélisation.
      Par exemple, imaginons une droite qui passe 3 carreaux au-dessus d'un point et 3 carreaux au-dessous d'un autre point. Les erreurs seraient donc de 3 et -3, et quand on les somme, ça fait 0... Or la droite ne passe pas du tout par ces deux points, on l'a dit ! Mais en élevant les erreurs au carré, la somme vaut 9+9 = 18 et non 0, ce qui veut bien dire que la droite ne passe pas par les deux points.
      En sommant non pas les erreurs mais les carrés des erreurs, on ne peut avoir une somme nulle que si toutes les erreurs valent zéro (zéro est le seul nombre qui mis au carré donne zéro), ce qui revient à avoir une droite qui passe par exactement tous les points.
      (2 votes)
  • blobby green style l'avatar de l’utilisateur Mohamed Amira Khaled
    comment améliorée un model de régression multiple avec les algorithme genetique
    (1 vote)
    Default Khan Academy avatar l'avatar de l’utilisateur
Vous comprenez l'anglais ? Cliquez ici pour participer à d'autres discussions sur Khan Academy en anglais.

Transcription de la vidéo

dans la vidéo précédente on avait vu de manière un petit peu intuitives comme ça un peu légère comment est ce que dans certains cas on pouvait modéliser un nuage de points si la forme l'autorisé par une droite qui donnait une idée de ce nuage de points alors dans cette vidéo et dans celles qui suivent les quelques unes qui vont suivre on va essayer de trouver une formule pour déterminer cette droite là de manière de la meilleure manière possible là on va essayer de trouver là d'une formule qui donnent la droite qui ajuste au mieux un nuage de points alors bon ça va être un petit peu compliqué là on va s'embarquer dans quelque chose qui va être mathématiquement un petit peu le un petit peu complexe un petit peu lourd donc si si si ça te décourages si tu n'arrives pas très bien suivre jusqu'au bout c'est pas très grave ce qui est important c'est de retenir cette formule qu'on va finalement réussir à des terres à trouver voilà c'est ça qui va être important d'ailleurs très souvent on ne démontre pas forcément cette formule il faut savoir il faut la connaître et puis savoir l'utiliser mais bon je trouve que c'est assez intéressant et assez satisfaisant d'arriver à la démontrer soi même donc là on va essayer de le faire alors je vais commencer par me visualiser un petit peu la situation donc je vais pour ça je vais tracer un nuage de points et puisque je vais faire c'est que je vais tracer un nuage de points dans un premier cadran ça c'est vraiment pas du tout obligatoire de placer ce d'avoir un nuage de points où tous les poissons situé dans le 1er cadran mais là c'est ce que je vais faire pour simplifier un petit peu le dessin donc je fais déjà mon repère avec le premier cadran et puis je vais placer des poids évidemment là complètement hasard c'est vraiment uniquement pour pour visualiser la situation donc j'ai ce premier point là que je vais noté x1 y voilà ça ce sont ses coordonnées puis après j'ai d'autres pointent donc j'ai par exemple celui je vais prendre une autre couleur celui ci que je vais appeler x 2 y 2 donc ça sent que ses coordonnées puis j'ai d'autres points alors je place comme ça voilà j'en ai plusieurs et puis j'ai du coup je suis je dit que j'en ai ng voilà je vais placer maintenant le dernier point le dernier point ici que je vais appeler xnx n y n ça ce sont les coordonnées du énième point évidemment je les ai pas tous dessinés r ça serait pas possible je fais un dessin indicatif est générale donc ce qu'on va essayer de faire c'est de remplacer ce nuage de points par une droite comme on a vu dans les vidéos précédentes donc je vais là essayer de tracer une droite approximativement une droite qui pourrait remplacer ce nuage de points donc qui va essayer en fait le but qu'on se fixe assez d'essayer de trouver la droite qui va passer le plus près possible de tous les points donc je peux voilà à faire une droite de ce genre là par exemple je peux même j'ai essayé de jouer je vais la trace est peut-être que comme ça ça sera un peu mieux voilà on va dire que cette droite là ça va être la droite qui va passer le plus près des données ici bon évidemment l'aja dessine au hasard j'ai aucune indication à part ce que me dit mon intuition donc c'est très approximatif et la seule chose que je sais c'est que cette droite là c'est une droite donc elle a une équation et son équation c'est quelque chose de ce genre là y égale m x + b donc ça c'est ce concert depuis longtemps une équation ça c'est chris a toujours une équation de cette forme là avec ici m c'est la pente la pente on l'appelle la pente ou bien le coefficient directeur et ça se baisser celle ordonnée à l'origine donc en fait c'est ici ce qu'on a là ce point-là l'intersection avec l'axé des ordonnées c'est le poids de coordonner 0 b voilà alors évidemment quand on remplace notre nuage de points par une droite on fait des erreurs puisque tous les preuves sont pas du tout sur la droite donc on fait des erreurs alors ce qui va être important c'est d'arriver ce qu'on va essayer de faire c'est de mesurer ses erreurs alors l'erreur au fait quand on remplace par exemple ce point là par le point qui est sur la droite donc ici on est à une abscisse de x1 est en fait on remplace ce point là par le point de même apsys mais qui est située sur la droite donc c'est ce point là ici on va en fait quand on remplace la nulle le nuage de poids par cette droite remplace en particulier ce point là par ce point ci qui est située sur la droite mais map 6 mai située sur la droite donc on va essayer de mesurer l'erreur qu'on fait ici lors l'erreur qui est là je vais l'appeler erreur un par exemple eh bien on peut la mesurer c'est en fait tout se joue sur l'axé des ordonnées on va mesurer cette distance là voilà alors cette distance ça qu'est ce que c'est c'est je peux j'ai y 1 au départ ça c'est leur donner de mon point et je fais je vais soustraire 7,7 ordonné l'arrêt ordonné de ce point là alors leur donner ce point là comment est-ce qu'on peut la calculer tout simplement à partir de l'équation de la droite donc c'est m puisque ce point ci a pour abscissique c'est un plus b alors voilà ça c'est l'erreur qu'on fait quand on remplace ce point-ci grics de coordonner x1 y un parent ce point là qui est située sur la droite avec la même map 6 alors évidemment tu vas me dire ce qu'on fait c'est quoi puisque on connaît pas cette droite-là alors effectivement c'est vrai on connaît pas l on connaît pas b mais justement le problème qu'on va essayer de résoudre la dans cette vidéo et dans les prochaines c'est de déterminer ses valeurs de m&p pour que cette droite soit la selle qui celle qui ajuste le mieux le nuage de pointe alors on va continuer on va maintenant mesurer cette erreur là l'erreur qui est là qu'on fait quand on remplace le premier le deuxième point par le point de même abscisse située sur la droite donc ça je vais l'écrire comme ça ça c'est ce qu'on peut appeler l'erreur deux et ça on va pouvoir la mesurer c'est donc y 2 - le leur donnez du point de la droite et caabc 6-2 donc celui-là cm x 2 plus b voilà et puis je peux faire ça pour tous les points qui sont là jusqu'au dernier qui est le point de coordonnées x n y n donc je vais pouvoir mesurer cette erreur là ça ça va être l'erreur n est celle là c'est y n - mxn plus b voilà alors maintenant je rappelle le problème c'est de minimiser cette erreur qu'on fait quand on remplace le nuage de points par par cette droite alors le problème c'est que ici on va avoir de certaines erreurs qui sont négatifs comme celles ci certaines positif comme celle là voilà donc c'est pas très pratique à utiliser ce qu'on va faire c'est plutôt prendre le car et de ses erreurs et on va étudier quelque chose qu'on va appeler la somme des carrés des erreurs par rapport à cette droite et c'est donc les est la somme des carrés des erreurs comme son nom l'indiqué donc je vais déjà prendre le premier la première erreur donc c'est l'erreur 1 je vais écrire c'est alors je vais garder le même code couleur donc c'est y 1 - mx1 plus b le tout élevée au carré plus l'erreur la deuxième erreur donc c'est y 2 - mx2 plus b le tout élevée au carré plus la troisième erreur élevée au carré plus la quatrième erreur et a lieu au carré plus jusqu'à la dernière erreur donc la énième erreur élevée au carré la dernière erreur c'est y n - mxn plus b le tout élevée au carré voilà alors maintenant le problème qu'on va se poser c'est d'arriver à minimiser cette cette somme là cette somme des carrés des erreurs effectivement si on minimise cette somme des carrés des erreurs en fait on va minimiser la somme des erreurs elle même donc on va déterminer la meilleure droite possible celle qui va ajuster au mieux le nuage de points donc voilà le problème qu'on se pose ici c'est trouver les valeurs de m et b qui minimisent qui minimise cette somme là donc la somme des carrés des erreurs voilà c'est le problème qu'on va essayer de résoudre dans les prochaines vidéos là je vais arrêter bon ça va être un petit peu un petit peu technique 1 donc il faut il faut s'accrocher mais si tu passes c'est pas très grave je le répète donc je vais m'arrêter ici parce que je trouve que c'est bien d'y aller petit à petit quand on fait des mathématiques un petit peu compliqué un petit peu technique et puis en plus comme ça on va minimiser aussi les risques que je fasse des erreurs en en faisant cette démonstration