En tant que statisticien, j’aime beaucoup les alcooliques… ils nous permettent de voir certains problèmes de modélisation sous un autre angle.
Considérons une personne ayant un trousseau de 10 clés, ou disons n pour généraliser. Il souhaite ouvrir la porte de chez lui, mais ne sait plus laquelle est la bonne. Combien d’essais – en moyenne – faudra-t-il avant de tomber sur la bonne clé ?
Pour une personne à jeun (et saine d’esprit), le plus simple est de tenter une clé au hasard, puis, si ça ne marche pas, de prendre celle à sa droite (ou à sa gauche, peut importe, mais il faut une stratégie et s’y tenir, à moins de pouvoir noter quelle clé a été utilisée). Bref, au bout de n essais, on est certain de tomber sur la bonne clé. Si le fait de manière un peu formelle (histoire de justifier une intuition), et que l’on note 
l’évènement “la bonne clé est tirée au bout de 
essais“, alors
Raisonnons alors simplement,
puis
puis
etc. Aussi, on peut légitimement penser que
Moralité (il s’agit de la moyenne d’une loi uniforme)
Pour une personne ivre (ou un peu moins à jeun), à chaque essai, elle prend une clé au hasard dans le trousseau (on pourrait appeler ça la stratégie du poisson rouge). Le nombre d’essais peut être potentiellement infini. Et en reprenant les notations précédentes, on note que si
en revanche
puisqu’à l’étape 2, on n’a pas écarté la clé qui ne marche pas… Aussi,
qui correspond à une loi géométrique, ou loi de Pascal, de paramètre 
. Pour ceux qui ne savent plus comment calculer l’espérance d’une telle loi, on peut prendre trois lignes pour refaire le calcul
Aussi 
.
Grosso modo, il faut deux fois plus de temps pour trouver une clé quand on est rond comme une queue d’pelle, que quand on est à jeun (sans compter le temps où l’on parle à son trousseau de clé, en espérant qu’il trouvera un moyen de désigner la bonne clé). La prochaine partie du billet parlera de “marche aléatoire“, et de difficultés pour quelqu’un d’ivre mort à quitter a rue Saint Michel….
Comme le dit Wikipedia, “l’expression grande école
Un petit mot sur les courbes dites ROC, pour Receiver Operating Characteristic. Pour cela, on suppose que l’on dispose d’un prédicteur d’un variable prenant des valeurs 0 et 1 (pour simplifier), ou mieux encore “positif” et “négatif”. Peu importe le prédicteur, on peut considérer une régression logistique, une analyse discriminante, un classificateur nonparamétrique…. Bref, pour l’ensemble de nos observations, on a une valeur observée 
et une valeur prédite 
. En fait, comme je l’expliquais 
. La règle d’affectation est alors simple: on se fixe un seuil 
, et
, alors 
, alors 
Si cette courbe coïncide avec la diagonale, c’est que le modèle n’est pas plus performant qu’un modèle aléatoire (où on attribue la classe au hasard). Plus la courbe ROC s’approche du coin supérieur gauche, meilleur est le modèle, car il permet de capturer le plus possible de vrais positifs avec le moins possible de faux positifs. Notons que de part sa construction, la courbe ROC est invariante par toute transformation monotone croissante de la fonction de score (ce qui peut être particulièrement intéressant si on s’amuse à “normaliser” la fonction de score).
. Là aussi, un calcul d’aire donne un indicateur de la qualité, et on retrouve l’indice de Gini.
Après la publication de l’opuscule ce qui vient à nous, i.e. le premier volet du catalogue de la Biennale d’Art Contemporain (
le nombre de carte total (ici 200 car je suppose qu’il existe 200 personnages). Je note 
le coût d’une carte cachée (50 centimes ici) et 
le coût d’une carte non-cachée (1 euro). Supposons que j’ai à en ma possession les cartes 
(et que je n’ai pas les suivantes). Si je veux récupérer une nouvelle carte (que je noterais 
), en achetant au hasard i.e. dans des sachets hermétiques, le nombre de cartes à acheter est 
, qui suit une loi géométrique, de paramètre 
, où
cartes, et qu’il m’en manque simplement une, alors la probabilité de la tirer est
), le coût moyen de ma stratégie est
). Plus généralement, pour un quantile d’ordre 
,
, et dont la médiane est la plus profonde. Liu a proposé une profondeur dite simpliciale en 1984,
. On note alors 
l’équivalent empirique de la profondeur. En dimension 2, ça sera 
où 
. La méthode de construction est détaillée ci-dessous,
le plus petit nombre d’observations contenu dans un demi plan passant par 
. On note 
l’ensemble des points 
contienne au moins 
points. On notera qu’on peut montrer que 
, et que ces régions sont convexes. Rousseeuw et Ruts ont proposé un algorithme permettant de construire un tel ensemble de région en 1998. Sur l’exemple suivant, on considère 20 points en dimension 2,
On note que 4 années se détachent des autres, 1982/1983 et 1997/1998, qui sont particulièrement élevées, mais pas seulement. Certaines semblent décallées de quelques mois. Le code est ici simplement
, i.e. minimiser la distance entre ma boule et le cochonnet. On appelle ça 
, i.e. maximiser la distance entre la boule de mon adversaire et le cochonnet. On appelle ça 
I wanted to upload here a small problem I started to work on…. unfortunatley, I could not find (yet) a proper answer. Any comments and suggestions are welcomed. The problem is simple: 
and 
. From Fréchet-Hoeffding bounds, we know that
. Further, correlation matrices are necessarily positive-semidefinite matrices.
will be a function of 
.
and 
) are functions of 
,
and 
.
, respectively describing global dependence (that can be related to 
from 
(but actually any positive distribution should work) and 
)
with a Bernoulli 
distribution
from copula 
if 
and 
if 
and 
, and 
In order to get a better understanding, I look at slices, for instance when 
. On the graph on the right, to dark area are values that can not be obtained since correlation have to be positive-semidefinite. Dots are points that have been obtained in a particular scenario. I have also included the convex hull if the points obtained with all the scenarios (here 50,000 scenarios), since I assume that the set of positive correlation is necessarily convex. Graphs below have been obtained when 
and 
.
The paper on the 2003 heat wave has been submitted a few months ago, and now, the preprint can be downloaded (
Toujours pour répondre à une question posée par mail (“ça quoi ça sert le test lillie sous R ? “), un court billet. Avant de parler de Lillie1, il faut revenir sur Kolmogorov-Smirnov. L’idée est de tester
converge en loi (si l’hypothèse H0 était la bonne) vers un pont brownien changé de temps par la fonction quantile 
.
ici). En pratique, on ne connaît pas cette loi, mais on peut l’estimer, en particulier pour les lois paramétriques. On peut alors chercher à tester autre chose, comme
donne
donne
dépend du niveau des taux d’intérêt. L’ensemble des tables de décallage sont en ligne 
si les deux époux sont en vie, soit en payant une prime 
si l’un des époux décède. En contrepartie, l’assureur verse 10 000 euros si les deux époux sont en vie, et 60% de ce montant au conjoint survivant.
, et 
(i.e. les deux membres du couple sont en vie à la signature du contrat).
(les autres découlant de cette dernière). Pour importer les tables de mortalité, on pourra utiliser