# PP plot, QQ plot et estimation à noyau

Reprenons ici le code pour récupérer la base de la taille (et du poids) d’un ensemble de 200 personnes.

Davis=read.table(
"http://socserv.socsci.mcmaster.ca/jfox/Books/Applied-Regression-2E/datasets/Davis.txt")
Davis[12,c(2,3)]=Davis[12,c(3,2)]
X=Davis$height n=length(X) La première chose que l’on avait vu la semaine passée est le PP-plot, $\left\{\frac{i}{n},F_\star(X_{i:n})\right\}$On va ici ‘tester’ une loi normale (de même moyenne et de même variance que notre échantillon… faisons simple) PP=data.frame(empirique=(1:n)/n, theorique=pnorm(sort(X),mean(X),sd(X))) # Generating Hurricanes with a Markov Spatial Process The National Hurricane Center (NHC) collects datasets with all storms in North Atlantic, the North Atlantic Hurricane Database (HURDAT). For all sorms, we have the location of the storm, every six jours (at midnight, six a.m., noon and six p.m.). Note that we have also the date, the maximal wind speed – on a 6 hour window – and the pressure in the eye of the storm. It is possible to run the following function library(XML) extract.track=function(year=2012,p=TRUE){ # R package for Computational Actuarial Science A webpage for the book is now hosted on http://cas.uqam.ca/ So far, it is a very basic page, but information regarding the package can be found there. For instance, to install the package, with all the datasets, the R code is > install.packages("CASdatasets", repos = "http://cas.uqam.ca/pub/R/") The reference manual provides a description of all datasets. # Somewhere else, part 168 tonight, in Hong Kong, #occupyhongkong#OccupyCentral, and #hongkongdemocracy. And some posts and articles worth reading, The scene is total chaos: a woman and all her purse’s contents in middair as she trips over a child’s toy, a man hastily trying to gather his spilled laundry, a screaming child weaving through the crowd. Somewhere, in the midst of it all, is the person you’ve been looking for: wearing a red and white striped shirt, black rimmed glasses and a lopsided cap. There he is! There’s Waldo. Many of us have fond memories of Waldo. But while he looms large in our imagination, our childhood searches for Waldo typically stayed pretty small – Waldo is a tiny person in the middle of lots of other tiny things. And that’s what this post is about: wee things. Specifically, the wee things that we see as part of graphics, maps, visualizations (wee things in space) as well as the wee things we experience as part of interactions, navigation, and usability (wee things in time). This means everything from sequences of small graphics that help us make comparisons, to tiny locator maps that help orient us within a larger graphic, to navigation icons that give hints about how we should make our way around a page. Waldo, and the eternal search for him, can actually tell us quite a lot about design. In many ways, Waldo is a great example of what NOT to do when using wee things in your own work. So with Waldo as our anti-hero, let’s take a look at how people read and interpret small visual forms, why tiny details can be hugely useful, and what principles we can apply to make all these little images and moments work for us as designers. Probably the most immediate definition of wee things are things that are physically small: little things on a page. We see these all the time in news graphics, and we’re probably familiar with some of their forms: small multiples, sparklines, icons, etc. I’ll go into more details about all of these. These visual forms work because they serve as extensions of our mind – they are cognitive tools that complement our own mental abilities. They do this by recording information for us to make use of later, lending a hand to our (pretty terrible) working memories, helping us search and discover and recognize. We’ll take a look at one task in particular they are great at: letting us make comparisons. [to be continued….] # “Raw Data” is an Oxymoron Cette semaine, j’ai pris le temps pour parcourir un livre que j’avais reçu à la rentrée, “Raw Data” is an Oxymoron, collection de textes édité par Lisa Gitelman en 2013, aux MIT Press. Une lecture critique avait été faite l’an passé sur les blogs impactofsocialsciences de la LSE et infofutures de la bibliothèque de NYU. J’avais alors eu envie de parcourir ce (petit) livre, et j’ai été ravi qu’on me l’envoie cet été. Je noterais aussi que j’ai été surpris de voir autant d’auteures femmes sur ce sujet, où d’ordinaire, on lit beaucoup le point de vue d’hommes. Et c’est passionnant. Je ne vais pas faire une lecture critique du livre, mais plutôt rappeler que mon blog est un carnet de recherche ouvert, où je garde mes notes de lectures, entre autres ici certains passages du livre que j’ai surligné lors de ma lecture. Continue reading “Raw Data” is an Oxymoron # Somewhere else, part 167 Some interesting writings, worth reading, here and there # Multiple Tests, an Introduction Last week, a student asked me about multiple tests. More precisely, she ran an experience over – say – 20 weeks, with the same cohort of – say – 100 patients. An we observe some $X_{i,t}$ size=100 nb=20 set.seed(1) X=matrix(rnorm(size*nb),size,nb) (here, I just generate some fake data). I can visualize some trajectories, over the 20 weeks, library(RColorBrewer) cl1=brewer.pal(12,"Set3")[12] cl2=brewer.pal(8,"Set2")[2:7] cl=c(cl1,cl2) boxplot(X) for(i in 1:length(cl)){ lines(1:20,X[i,],type="b",col=cl[i]) } # Somewhere else, part 166 Some posts and articles worth reading, # Fonction de répartition empirique Ce matin, en cours, on avait utilisé une série d’observations pour décrire l’estimation nonparamétrique de la fonction de répartition > Davis=read.table( "http://socserv.socsci.mcmaster.ca/jfox/Books/Applied-Regression-2E/datasets/Davis.txt") Comme il y une faute de saisie dans la base, on corrige, à la main, > Davis[12,c(2,3)]=Davis[12,c(3,2)] Notre variable d’intérêt sera la taille d’un individu, > X=Davis$height
> X[1:10]
[1] 182 161 161 177 157 170 167 186 178 171

Pour tracer la fonction de répartition empirique,

$\widehat{F}_n(x)=\frac{1}{n}\sum_{i=1}^n\boldsymbol{1}(\{x_i\leq x\})$

on peut utiliser le code suivant

> n=length(X)
> x=seq(140,200)
> ggplot(data=data.frame(x=x), aes(x = x))+
+ stat_function(fun=Vectorize(function(x) sum(X<=x)/n),
+ geom="step", col = "red", size = 1) +
+ ylab("Fonction de Repartition")

# Somewhere else, part 164

Some interesting posts and articles, here and there

# Data Science, pour les Actuaires

Demain midi, je serais à nouveau sur Paris, pour présenter avec Romuald Elie et Jérémie Jakubozicz le programme de formation en Data Science que va proposer l’Institut des Actuaires, à partir du printemps 2015.

Les transparents seront en ligne bientôt, sur le site de l’Institut des Actuaires. On présentera le fonctionnement de la formation, ainsi que l’articulation des différents cours

# Somewhere else, part 163

A lot of interesting posts, here and there

# Permuter, sans créer de variable temporaire

Je n’aime pas me faire coller par un (ancien) étudiant !… mais j’ai trouvé la solution très jolie, alors je vais en garder la trace dans mon “cahier de recherche” qu’est mon blog. La question était simple :

Comment permuter les valeurs de deux variables, sans créer de variable temporaire ?

On a ainsi deux variables, $A$ et $B$, on veut les permuter : $A$ doit prendre la valeur de $B$, et inversement….

> a=1
> b=2
> a
[1] 1
> b
[1] 2

# Quiz de probabilité

Ce matin, en fin de cours, j’ai fait passé un petit quiz. Compte tenu de la configuration de la salle, j’avais distribué deux questionnaires, avec chacun 10 questions. Les questions étaient identiques, à l’application numérique près (pour quelques exercices). La première série d’exercice est en ligne, ainsi que des éléments de correction; la seconde série est aussi en ligne, avec là encore des éléments de correction. J’ai rajouté après la correction les statistiques de réponses pour chaque formulaire, mais aussi au niveau agrégé (en incluant l’autre questionnaire). Il va de soi qu’il est possible de continuer à s’entraîner à faire des exercices pendant les semaines à venir, ça ne fera de mal à personne !