Teaching staff

Nom Email
F. Portier (Prof) Télécom ParisTech
J. Salmon (Prof) Télécom ParisTech

Quiz: pool de questions

Général:

  1. Que vaut pour tout déterministe, et tout vecteur aléatoire ?

  2. Que vaut , pour toute matrice et tout vecteur aléatoire ?

  3. Quel est un modèle naturel pour “un lancer de dé” (non-nécéssairement équilibré)?

  4. Soit i.i.d. tel que . Quel estimateur minimise ? Donner son biais et sa variance, pour tout .

  5. Que vaut le biais de ( est la moyenne empirique) pour des i.i.d, gaussiens, centrés et de variance ?

  6. Quelle est la projection orthogonal du vecteur sur , avec ?

  7. Quels sont les vecteurs tels que ( est la variance empirique)?

Moindres carrés unidimensionnels: on observe et

  1. La fonction est elle convexe ou concave?

  2. Donner la formule des estimateurs des moindres carrés où correspond au coefficient des constantes et correspond à l’influence de sur . On les exprimera en fonction des .

Moindres carrés: et

  1. Écrire un pseudo-code de descente de gradient pour résoudre le problème des moindres carrés.

  2. Pour une matrice , que vaut ?

  3. Pour une matrice , et , qui possède comme première colonne une colonne de , notons , les lignes de . Montrer que non-inversible est equivalent à .

  4. Si la matrice est de plein rang, donner une formule exacte de l’estimateur des moindres carrés.

  5. Si la matrice n’est pas de plein rang, donner une formule pour un estimateur des moindres carrées.

  6. Décrire les cas possible quant à la définition de l’estimateur des moindre carrées (existence et unicité).

  7. Si la matrice est de plein rang, donner la matrice de covariance de l’estimateur des moindres carrés (dans l’hypothèse d’un bruit centré et de matrice de covariance ).

  8. Donner la formulation de la pseudo inverse de connaissant sa SVD : , avec et .

  9. Donner un estimateur sans biais du niveau du bruit (dans le cas où le est déterministe).

  10. Donner une formule explicite du problème pour une matrice définie positive, dans le cas o`u est de plein rang.

  11. Dans le cas du modèle de régression avec design aléatoire, décrire l’asymptotique de l’estimateur des moindre carrées. On donnera la loi asymptotique de .

  12. Dans le cas du modèle de régression avec design deterministe et bruit Gaussien centré de variance , donner la loi de l’estimateur des moindre carrées .

  13. Dans le cas du modèle de régression avec design deterministe où est de plein rang , donner la valeur du risque de prédiction.

Ridge: On note l’estimateur ridge.

  1. Donner une formule explicite pour l’estimateur Ridge en fonction de et quand .

  2. Donner une formule explicite pour l’estimateur Ridge en fonction de , et .

  3. Donner la variance de l’estimateur Ridge sous l’hypothèse que le bruit est centré et de variance .

  4. Donner en fonction de , , et , une formule explicite de

Lasso:

  1. Exprimer en fonction du signe de et de la partie positive

  2. Donner en tout point la sous-différentielle de la fonction réelle .

  3. Donner l’étape de mise à jour principale en descente par coordonnée pour résoudre le problème de l’Elastic Net: .

  4. Donner l’étape de mise à jour principale en descente par coordonnée pour résoudre le problème du Lasso Positif: .

  5. On suppose que l’on dispose d’un solveur qui résout le problème du Lasso $ \hat{\boldsymbol\theta}\lambda= {\rm arg} \displaystyle\min{{\boldsymbol\theta} \in \mathbb{R}^p} \frac{1}{2}| \mathbf{y} -X {\boldsymbol\theta} |2^2 +\lambda |{\boldsymbol\theta}|1$. En utilisant ce solveur comment résoudre le problème suivant: $ \hat{\boldsymbol\theta}\lambda= {\rm arg} \displaystyle\min{{\boldsymbol\theta} \in \mathbb{R}^p} \frac{1}{2}| \mathbf{y} -X {\boldsymbol\theta} |2^2 +\lambda \sum{j=1}^p w_j |\theta_j|?

ACP/SVD

  1. Que vaut ?

Test:

  1. Pour des identiquement distribuées à valeur dans , décrire une procédure de test de l’hypothèse contre son contraire.

  2. Soient des variables aléatoires i.i.d selon des lois gaussiennes de moyenne (inconnue) et de variance connue , i.e., . Décrire une procédure de test de l’hypothèse contre son contraire.

  3. Soient des variables aléatoires indépendantes et distribuées selon des lois gaussiennes de moyenne (inconnue) et de variances connues , i.e., . Décrire une procédure de test de l’hypothèse contre son contraire.

Bootstrap

  1. Soient des variables aléatoires i.i.d. selon des lois gaussiennes de moyenne (inconnue) et de variance connue , i.e., . Écrire un pseudo code de bootstrap pour le test sur la moyenne .