Fondements mathématiques

Vecteurs et espaces vectoriels

Un vecteur est une suite ordonnée de nombres réels :

$$\vec{v} = [v_1, v_2, \dots, v_n] \in \mathbb{R}^n$$

Un espace vectoriel est un ensemble de vecteurs où s’appliquent deux opérations :

• addition de vecteurs,
• multiplication par un scalaire.

Exemple :

• Un produit alimentaire décrit par 5 propriétés : protéines, sucres, graisses, sel, fibres est représenté par vecteur à 5 dimensions.
• Une image de 28×28 pixels peut être représentée par un vecteur de dimension 784.

Normes

En géométrie, la norme est une extension de la valeur absolue des nombres aux vecteurs. Elle permet de mesurer la longueur commune à toutes les représentations d'un vecteur dans un espace affine.

Elle définit aussi une distance entre deux vecteurs, invariante par translation et compatible avec la multiplication externe.

Norme $L_2$ (euclidienne)

Dans le plan, si le vecteur $\vec{v}$ a pour coordonnées (x , y), sa norme s'écrit :

$$||\vec{v}|| = \sqrt{x^2 + y^2}$$

par extension à n dimensions

$$||\vec{v}||_2 = \sqrt{\sum_{i=1}^n v_i^2}$$

Norme $L_1$ (Manhattan)

$$||\vec{v}||_1 = \sum_{i=1}^n |v_i|$$

Normalisation des données

Avant de comparer des vecteurs, il faut rendre les dimensions comparables en grandeur.

Min-Max scaling :

$$x' = \frac{x - \min}{\max - \min}$$

Standardisation (z-score) :

$$x' = \frac{x - \mu}{\sigma}$$

Distances

À partir d’une norme, on définit une distance entre vecteurs $\vec{u}$ et $\vec{v}$.

La distance euclidienne :

$$d(\vec{u},\vec{v}) = ||\vec{u}-\vec{v}||_2$$

Produit scalaire et similarité cosinus

Le produit scalaire (inner product ou dot product en anglais) est une opération qui prend deux vecteurs et donne un scalaire (nombre).

$$\vec{u} \cdot \vec{v} = \sum_{i=1}^n u_i v_i$$

ou

$$\vec{u} \cdot \vec{v} = ||\vec{u}|| \cdot ||\vec{v}|| \cdot cos(\theta)$$

Le produit scalaire relie longueurs et angles. Il permet d'exploiter les notions de la géométrie euclidienne traditionnelle : longueurs, angles, orthogonalité en deux, trois ou plus de dimensions.

La similarité cosinus est donnée par :

$$\cos(\theta) = \frac{\vec{u} \cdot \vec{v}}{||\vec{u}|| \cdot ||\vec{v}||}$$

Elle est utilisée pour comparer deux vecteurs indépendamment de leur taille (ex. documents textuels).

Si = 0 soit θ = 90°, les vecteurs sont orthogonaux (perpendiculaires) Il n'y a aucune similarité.

Si = 1 les vecteurs pointent exactement dans la même direction (très similaires).

Si = -1 les vecteurs pointent dans des directions opposées (complètement dissemblables).

Statistique multivariée

Moyenne, variance et covariance

Pour une variable $X$ :

Moyenne

$\mu = \frac{1}{n}\sum x_i$

Variance

la variance est un nombre qui mesure la dispersion (l'étalement) des valeurs d'un ensemble de données autour de leur moyenne.

$\sigma^2 = \frac{1}{n}\sum (x_i - \mu)^2$

Pour deux variable $X$ et $Y$

Covariance

$\text{Cov}(X,Y) = E[(X-\mu_X)(Y-\mu_Y)]$

La covariance mesure comment deux variables X et Y varient ensemble. $E$ est l'espérance (ou moyenne théorique). En statistique pratique, on remplace $E[X]$ par la moyenne empirique

D'où de manière empirique

$$\widehat{\mathrm{Cov}}(X,Y) = \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y})$$

Si $X$ et $Y$ sont corrélés alors la covariance est positive. Si la covariance est nulle il n'y a pas de lien. Si la covariance est négative alors la probabilité est très faible.

Corrélation est la covariance normalisée sur une échelle de -1 à 1.

$$\rho(X,Y) = \frac{\mathrm{Cov}(X,Y)}{\sigma_X \sigma_Y}$$

Ces mesures servent à comprendre la dispersion et les corrélations.