PP plot, QQ plot et estimation à noyau

Reprenons ici le code pour récupérer la base de la taille (et du poids) d’un ensemble de 200 personnes.

Davis=read.table(
"http://socserv.socsci.mcmaster.ca/jfox/Books/Applied-Regression-2E/datasets/Davis.txt")
Davis[12,c(2,3)]=Davis[12,c(3,2)]
X=Davis$height
n=length(X)

La première chose que l’on avait vu la semaine passée est le PP-plot,

https://latex.codecogs.com/gif.latex?\left\{\frac{i}{n},F_\star(X_{i:n})\right\}On va ici ‘tester’ une loi normale (de même moyenne et de même variance que notre échantillon… faisons simple)

PP=data.frame(empirique=(1:n)/n,
theorique=pnorm(sort(X),mean(X),sd(X)))

Continue reading PP plot, QQ plot et estimation à noyau

Generating Hurricanes with a Markov Spatial Process

The National Hurricane Center (NHC) collects datasets with all  storms in North Atlantic, the North Atlantic Hurricane Database (HURDAT). For all sorms, we have the location of the storm, every six jours (at midnight, six a.m., noon and six p.m.). Note that we have also the date, the maximal wind speed – on a 6 hour window – and the pressure in the eye of the storm.

It is possible to run the following function

library(XML)
extract.track=function(year=2012,p=TRUE){

Continue reading Generating Hurricanes with a Markov Spatial Process

R package for Computational Actuarial Science

A webpage for the book is now hosted on

http://cas.uqam.ca/

So far, it is a very basic page, but information regarding the package can be found there. For instance, to install the package, with all the datasets, the R code is

> install.packages("CASdatasets", repos = "http://cas.uqam.ca/pub/R/")

The reference manual provides a description of all datasets.

Somewhere else, part 168

tonight, in Hong Kong, #occupyhongkong#OccupyCentral, and #hongkongdemocracy. And some posts and articles worth reading,

The scene is total chaos: a woman and all her purse’s contents in middair as she trips over a child’s toy, a man hastily trying to gather his spilled laundry, a screaming child weaving through the crowd. Somewhere, in the midst of it all, is the person you’ve been looking for: wearing a red and white striped shirt, black rimmed glasses and a lopsided cap. There he is! There’s Waldo. Many of us have fond memories of Waldo. But while he looms large in our imagination, our childhood searches for Waldo typically stayed pretty small – Waldo is a tiny person in the middle of lots of other tiny things. And that’s what this post is about: wee things. Specifically, the wee things that we see as part of graphics, maps, visualizations (wee things in space) as well as the wee things we experience as part of interactions, navigation, and usability (wee things in time). This means everything from sequences of small graphics that help us make comparisons, to tiny locator maps that help orient us within a larger graphic, to navigation icons that give hints about how we should make our way around a page. Waldo, and the eternal search for him, can actually tell us quite a lot about design. In many ways, Waldo is a great example of what NOT to do when using wee things in your own work. So with Waldo as our anti-hero, let’s take a look at how people read and interpret small visual forms, why tiny details can be hugely useful, and what principles we can apply to make all these little images and moments work for us as designers. Probably the most immediate definition of wee things are things that are physically small: little things on a page. We see these all the time in news graphics, and we’re probably familiar with some of their forms: small multiples, sparklines, icons, etc. I’ll go into more details about all of these. These visual forms work because they serve as extensions of our mind – they are cognitive tools that complement our own mental abilities. They do this by recording information for us to make use of later, lending a hand to our (pretty terrible) working memories, helping us search and discover and recognize. We’ll take a look at one task in particular they are great at: letting us make comparisons. [to be continued….]

==>

“Raw Data” is an Oxymoron

Cette semaine, j’ai pris le temps pour parcourir un livre que j’avais reçu à la rentrée, “Raw Data”  is an Oxymoron, collection de textes édité par Lisa Gitelman en 2013, aux MIT Press. Une lecture critique avait été faite l’an passé sur les blogs impactofsocialsciences de la LSE et infofutures de la bibliothèque de NYU. J’avais alors eu envie de parcourir ce (petit) livre, et j’ai été ravi qu’on me l’envoie cet été. Je noterais aussi que j’ai été surpris de voir autant d’auteures femmes sur ce sujet, où d’ordinaire, on lit beaucoup le point de vue d’hommes. Et c’est passionnant. Je ne vais pas faire une lecture critique du livre, mais plutôt rappeler que mon blog est un carnet de recherche ouvert, où je garde mes notes de lectures, entre autres ici certains passages du livre que j’ai surligné lors de ma lecture. Continue reading “Raw Data” is an Oxymoron

Somewhere else, part 167

Some interesting writings, worth reading, here and there

Continue reading Somewhere else, part 167

Multiple Tests, an Introduction

Last week, a student asked me about multiple tests. More precisely, she ran an experience over – say – 20 weeks, with the same cohort of – say – 100 patients. An we observe some https://latex.codecogs.com/gif.latex?X_{i,t}

size=100
nb=20
set.seed(1)
X=matrix(rnorm(size*nb),size,nb)

(here, I just generate some fake data). I can visualize some trajectories, over the 20 weeks,

library(RColorBrewer)
cl1=brewer.pal(12,"Set3")[12]
cl2=brewer.pal(8,"Set2")[2:7]
cl=c(cl1,cl2)
boxplot(X)
for(i in 1:length(cl)){
lines(1:20,X[i,],type="b",col=cl[i])  }

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2014/09/Selection_585.png

Continue reading Multiple Tests, an Introduction

Somewhere else, part 166

Some posts and articles worth reading,

Continue reading Somewhere else, part 166

Somewhere else, part 165

Some articles worth reading

Continue reading Somewhere else, part 165

Fonction de répartition empirique

Ce matin, en cours, on avait utilisé une série d’observations pour décrire l’estimation nonparamétrique de la fonction de répartition

> Davis=read.table(
"http://socserv.socsci.mcmaster.ca/jfox/Books/Applied-Regression-2E/datasets/Davis.txt")

Comme il y une faute de saisie dans la base, on corrige, à la main,

> Davis[12,c(2,3)]=Davis[12,c(3,2)]

Notre variable d’intérêt sera la taille d’un individu,

> X=Davis$height
> X[1:10]
[1] 182 161 161 177 157 170 167 186 178 171

Pour tracer la fonction de répartition empirique,

https://latex.codecogs.com/gif.latex?\widehat{F}_n(x)=\frac{1}{n}\sum_{i=1}^n\boldsymbol{1}(\{x_i\leq%20x\})

on peut utiliser le code suivant

> n=length(X)
> x=seq(140,200)
> ggplot(data=data.frame(x=x), aes(x = x))+
+ stat_function(fun=Vectorize(function(x) sum(X<=x)/n),
+ geom="step", col = "red", size = 1) + 
+ ylab("Fonction de Repartition")

Somewhere else, part 164

Some interesting posts and articles, here and there

Continue reading Somewhere else, part 164

Somewhere else, part 163

A lot of interesting posts, here and there

Continue reading Somewhere else, part 163

Permuter, sans créer de variable temporaire

Je n’aime pas me faire coller par un (ancien) étudiant !… mais j’ai trouvé la solution très jolie, alors je vais en garder la trace dans mon “cahier de recherche” qu’est mon blog. La question était simple :

Comment permuter les valeurs de deux variables, sans créer de variable temporaire ?

On a ainsi deux variables, https://latex.codecogs.com/gif.latex?A et https://latex.codecogs.com/gif.latex?B, on veut les permuter : https://latex.codecogs.com/gif.latex?A doit prendre la valeur de https://latex.codecogs.com/gif.latex?B, et inversement….

> a=1
> b=2
> a
[1] 1
> b
[1] 2

Continue reading Permuter, sans créer de variable temporaire

Quiz de probabilité

Ce matin, en fin de cours, j’ai fait passé un petit quiz. Compte tenu de la configuration de la salle, j’avais distribué deux questionnaires, avec chacun 10 questions. Les questions étaient identiques, à l’application numérique près (pour quelques exercices). La première série d’exercice est en ligne, ainsi que des éléments de correction; la seconde série est aussi en ligne, avec là encore des éléments de correction. J’ai rajouté après la correction les statistiques de réponses pour chaque formulaire, mais aussi au niveau agrégé (en incluant l’autre questionnaire). Il va de soi qu’il est possible de continuer à s’entraîner à faire des exercices pendant les semaines à venir, ça ne fera de mal à personne !