# Fairness and discrimination, PhD Course, #3 Machine Learning, losses and distances

For the third course, we will get back a little bit on machine learning (slides are still online on the github repository). The starting point will be loss functions and risk.

#### Loss functions and risk

A general definition for a loss is that it is positive, and null when we consider $\ell(y,y)$. As we will discuss further, it is neither a distance, nor a dissimilarity measure

Then, define the empirical risk (and the associated empirical risk minimization principle, as coined in Vapnik (1991))

Given a loss $\ell$ and some probabilistic space, define the optimal decision, also called Bayes decision rule

And instead of the risk of a model, define the excess of risk.

A classical loss for a classifier is $\ell_{0/1}$,

In that case, Bayes decision rule, is$$m^\star(\boldsymbol{x}) = \boldsymbol{1}(\mu(\boldsymbol{x})>1/2) =\begin{cases}1 \text{ if }\mu(\boldsymbol{x})>1/2\\0 \text{ if }\mu(\boldsymbol{x})\leq1/2\\\end{cases}$$where (of course), one needs to know $\mu$, otherwise, we can consider some plug-in estimator based on $\widehat\mu$. For continuous variables $y$, consider the quadratic loss $\ell_2$,

In that case, Bayes decision rule (the optimal model) is the conditional expectation

Observe that we can also define the quantile loss (or the expectile loss)

Observe that this loss is not symmetric..

#### From loss functions to distances

Let us discuss a bit more the fact that losses are not distances. As mentioned, it is neither necessarily symmetric nor seperable,

But furthermore, it has no reason to satisfy the triangle inequality. Actually, if $d$ is the distance, it is very likely that $d^2$ is not (since exponentiating is not a subadditive transformation)

Another related concept could be the concept of similarity, or dissimilarity.

Another one is the concept of divergence, that we will use much more. For instance, Bregman divergence is

which safisfies desirables properties.

Interestingly it is possible to define “projections” even if we have neither an orthogonal projection (since there is no orthogonal concept since there is no inner-product), nor a distance. But still

One can use a nice algorithm to estimate that quantity, if the convex set can we expressed simply

When considering “distances” between distributions, instead of $y$‘s, among other interesting properties in statistics, we can mention the one of unbiased gradients,

and Müller (1997) defined integral probability metrics

#### Standard “distances” between distributions

The first one will be Hellinger distance

that can lead so simple expressions for standard parametric distributions, such as Beta distributions,

or (multivariate) Gaussian ones

We can also mention Pearson divergence

More interesting (and popular in probability theory), total variation

There are several ways to express that distance.

If instead of general sets $\mathcal{A}$, we can consider half lines, (-\infty,t][\latex], and we obtain Kolmogorov distance (or Kolmogorov-Smirnov)

Another important one in statistics is Kullback–Leibler divergence

For instance, with Gaussian vectors

Observe that the measure is actually a dissimilarity measure

If we want a symmetric version, we can consider Jeffreys divergence

Finally, we will mention f-divergence

We will discuss a little bit more those "distances" (yes, I usually use that term, abusively) and next week, we will present the most interesting distance, that will be Wasserstein's.

# Puissance et tests statistiques (simples)

Pour comprendre la notion de puissance dans un test statistique, reprenons Statistical power analysis for the behavioral sciences de Jacob Cohen. Comme il le rappelle Fisher (dans The Design of Experiments) ne souhaite pas “prouver” qu’une hypothèse (appelée H_0) est valide, mais il espère, en réalité, rejeter l’hypothèse en question (c’est ce que rappellent d’ailleurs Hubbard et Bayarri en 2003). Autrement dit, supposons que l’on cherche à faire un test médical, et à détecter si une personne est malade (ou pas). Si une personne est généralement malade dès lors qu’un taux de quelque chose est faible (noté $\theta$), on va chercher à tester $H_0:\theta_\star>\theta_0$. Dans un test statistique, on espère rejeter l’hypothèse nulle $H_0$.

The power of a statistical test of a null hypothesis is the probability that it will lead to the rejection of the null hypothesis.

# Tests statistiques et p value

Mercredi, nous avons abordé le concept de -value en cours (avant de parler tout à l’heure de tests asymptotiques). Intuitivement, la -value est la probabilité que la statistique de test prenne une valeur au moins aussi extrême que celle qui a été observée, si l’hypothèse  est vraie.

• Fisher vs. Neyman (et Pearson)

Dans l’approche de Fisher, on suppose que  et on cherche à tester . On dispose pour cela d’un échantillon .
On choisit une statistique  telle que plus  est grande, plus on s’éloigne de  (on calcule une distance à l’hypothèse , quelque chose comme ça). On calcule alors la -value comme

et on rejette  si  est trop petite. La notion de “plus petite” est liée à la comparaison avec un seuil prédéfini, souvent 5% (cf plus loin pour une discussion).
C’est un peu heuristique, mais c’est comme cela que ça fonctionne.
Dans l’approche de Neyman-Pearson, on cherche à tester contre une hypothèse alternative, du genre . Si , on va construire une région de rejet de la forme

où  est choisi en fonction d’une probabilité d’erreur de première espèce souhaitée a priori, i.e.

Par exemple, considérons un échantillon suivant une loi . On dispose de  observations pour tester . L’échantillon est le suivant

> set.seed(4)
> (X=rnorm(10))
[1]  0.2167549 -0.5424926  0.8911446  0.5959806  1.6356180  0.6892754
[7] -1.2812466 -0.2131445  1.8965399  1.7768632

La statistique proposée par Fisher (je ne discuterais pas le choix optimal de la statistique – si quelqu’un a des références, les commentaires sont ouvertes) est la moyenne normalisée,

On sait que sous H_0, cette statistique suit une loi normale centrée réduite.  La -value se calcule alors simplement

> (T=sqrt(10)*mean(X))
[1] 1.791523

> 2*(1-pnorm(T,mean=0,sd=0)))
[1] 0.07320942

Graphiquement, cela se représente de la manière suivante.

Cette probabilité étant faible, on aurait tendance vouloir rejeter .
Dans l’optique de Neyman Pearson, si on teste  contre , la région critique s’obtient à l’aide du rapport de vraisemblance

ou encore

où  est tel que

Or sous H_0, la somme suit une loi normale centrée de variance . Ici,  est donné par

> qnorm(1-alpha,mean=0,sd=sqrt(10))
[1] 5.201484

Or pour rappel, la somme vaut ici

> sum(X)
[1] 5.665293

On est dans la région de rejet: on rejette alors .

• p-value pour les tests usuels de R

La -value est intéressante en pratique car elle permet à l’utilisateur de ne pas rentrer trop dans les détails de la construction du test, et de la loi de la statistique considérée.
Par exemple (comme celui abordé ici), pour un test d’égalité de proportion, sous R, la commande est

> prop.test(nx,n,.5)

1-sample proportions test with continuity correction

data:  nx out of n, null probability 0.5
X-squared = 0.05, df = 1, p-value = 0.823
alternative hypothesis: true p is not equal to 0.5
95 percent confidence interval:
0.3204804 0.7617145
sample estimates:
p
0.55

Et de manière générale, tous les tests sous R renvoient une -value.

• p ne signifie pas puissance

(mais probabilité). Dans un test simple, contre, la puissance est la probabilité de rejeter  sous l’hypothèse où  est vraie (rejeter  avec raison si on veut). C’est donc une fonction de  .
Pour un test multiple, avec une hypothèse alternative de la forme , on définit alors une fonction puissance pour toute valeur  .  On a alors des graphiques de fonction puissance, comme ceux évoqués ici. Bref, la -value est une valeur, alors que la puissance sera une fonction, définie sur lorsque H_1 est une hypothèse de la forme .

• L’interprétation de p

La -value est la probabilité d’obtenir (au moins) la statistique obtenue pour l’échantillon si  est vraie. Classiquement, on rejette  si la -value est inférieure au seuil  .
Certains interprètent la -value comme la probabilité que  est vraie, . Ce qui n’a pas de sens si l’on s’en tient au formalisme énoncé en cours:  est vraie, ou pas.
Ce n’est pas non plus la probabilité de rejeter, à tort,  , , correspondant à la puissance du test (cf la discussion dans le paragraphe précédant).

• Pourquoi 5% ?

En pratique, on prend toujours comme valeur critique 5%, avec la règle décision simple suivante:

• : si  on accepte
• : si  on rejette

C’est Fisher qui semble être à l’origine de ce 5%, en 1925 “The value for which P=0.05, or 1 in 20, is 1.96 or nearly 2; it is convenient to take this point as a limit in judging whether a deviation ought to be considered significant or not. Deviations exceeding twice the standard deviation are thus formally regarded as significant. Using this criterion we should be led to follow up a false indication only once in 22 trials, even if the statistics were the only guide available.” On retrouve ce “un sur vingt” un an plus tard, “Either there is something in the treatment, or a coincidence has occurred such as does not occur more than once in twenty trials”.
Voilà ce que l’on retient souvent de la lecture des conseils de Fisher.
Maintenant, il lui arrive aussi, à l’occasion, de penser que 4% ce n’est pas significatif, e.g. “P is between .02 and .05. The result must be judged significant, though barely so; in view of the data we cannot ignore the possibility that on this field, and in conjunction with the other manures used, nitrate of soda has conserved the fertility better than sulphate of ammonia; the data do not, however, demonstrate this point beyond the possibility of doubt.” Ou parfois pense que 8% est significatif “P=.089. Thus a larger value of 2 would be obtained by chance only 8.9 times in a hundred, from a series of values in random order. There is thus some reason to suspect that the distribution of rainfall in successive years is not wholly fortuitous, but that some slowly changing cause is liable to affect in the same direction the rainfall of a number of consecutive years.”