Somewhere else, part 106

Some writings worth reading

I’m not arguing that students and junior academics should sacrifice themselves on the altar of freedom of speech, but rather that they should have confidence in the positive as well as the negative power of the internet. If what they say is worth saying, they will get support. LePort focuses on the negative consequences of Rollston’s blogging, but, as this post by Robert Cargill pointed out, he attracted huge support online and ended up in a better job, whereas Emmanuel Christian Seminary suffered massive reputational damage. LePort makes the important point that blogs are very different to more formal academic writing and often represent a point of view at a particular point in time, which may subsequently change. To my mind, this is one of the huge benefits of blogging – if you are lucky, your blog will attract comments that expose you to a wide range of reactions and help clarify and develop your thinking. This can be both fun and useful. LePort worries, though, that this may mean your incomplete and half-baked thoughts on an issue are used against you by those in positions of authority. As a senior academic, I hope I can offer some reassurance. In general, I see blogging as an indication that the author is a bit out of the ordinary – someone who cares enough about things to write about them, and who is willing to try and move discussion forward. If in addition they change their views on the basis of feedback, that’s fine. Obviously, it’s possible to reveal yourself on a blog as uninformed, irrational or bigoted, and that is definitely not good. But most of the blogs I read aren’t like that. Well, I can hear you saying, that’s all very well. You are someone who actually blogs and understands social media, but most academics aren’t like that. My reply is that social media is an unstoppable force and even the most traditional institutions are starting to focus on developing strategies for harnessing its power. So I’d say, yes, LePort is right in that we need to be aware that blogging is a public medium, and anything we say on a blog can be read by anyone. But it would be a shame if we allowed ourselves to become so worried about potential problems that we failed to see the advantages of blogging for fostering academic debate.That would be like staying at home with the door locked because you’re scared of what may happen if you go outside.” [to be continued…]

et un peu de lecture en français

Did I miss something?

Somewhere else, part 105

Some writings worth reading

Abstract: Using detailed publication and citation data for over 50,000 articles from 30 major economics and finance journals, we investigate whether network proximity to an editor influences research productivity.  During an editor’s tenure, his current university colleagues publish about 100% more papers in the editor’s journal, compared to years when he was not editor.  In contrast to editorial nepotism, such “inside” articles have significantly higher ex post citation counts, even when same-journal and self-cites are excluded.  Our results thus suggest that despite potential conflicts of interest faced by editors, personal associations are used to improve selection decisions.

> primegen=function(v) sapply(v,function(z){sum(z/1:z==z%/%1:z)})==2) 
> primelist=function(nmax) (1:nmax)[primegen(1:nmax)]
> plotprime=function(p) plot(p*cos(p), p*sin(p),pch=20)
> plotprime(primelist(5e3))

or (more efficient with the appropriate R function)

> library(numbers)
> plotprime(Primes(1e6)[1:5e4])

Governments and regulatory agencies in the United States and Europe have been gradually moving to restrict speculation by major banks. The Federal Reserve, concerned about the risks, is reviewing whether it should tighten regulations and limit the activities of banks in the commodities world. But interviews with dozens of academics and traders, and a review of hundreds of emails and other documents involving two highly visible professors in the commodities field — Mr. Pirrong and Professor Scott H. Irwin at the University of Illinois — show how major players on Wall Street and elsewhere have been aggressive in underwriting and promoting academic work. The efforts by the financial players, the interviews show, are part of a sweeping campaign to beat back regulation and shape policies that affect the prices that people around the world pay for essentials like food, fuel and cotton. Professors Pirrong and Irwin say that industry backing did not color their opinions. Mr. Pirrong’s research was cited extensively by the plaintiffs in a lawsuit filed by Wall Street interests in 2011 that for two years has blocked the limits on speculation that had been approved by Congress as part of the Dodd-Frank financial reform law. During that same time period, Mr. Pirrong has worked as a paid research consultant for one of the lead plaintiffs in the case, the International Swaps and Derivatives Association, according to his disclosure form.” [to be continued…]

There is a pervasive misconception concerning the much used slogan of Open Access: « Publicly funded research must be made public freely ». The claim is based on the logic that public funders should not pay twice: first for research, then for its publication. In fact, the cost of publication should be included in the cost of research, but in real cost-based pricing while access to reading should be free. But the misconception is elsewhere. It lies in the identity of the reader. It is true that, when a research ‘paper’ is available on the Internet, everybody who has computer access to it can read it. However, in almost all cases, access is required, specifically searched for and effectively used by scholars and professionals, not by any layperson. Hence, the debate is derailing when it comes to support Open Access on the controversial basis that the general public should have access to research results freely. The real cause to defend is that scholars whose research can benefit from the reading have free access as soon as a ‘paper’ is peer reviewed and accepted for publication. The rest is cherry on the cake.”

What did people do before they networked? Maybe they pulled strings, used connections, kept good company, took advantage of protectzia, or deployed guanxi. “Networking,” as in “making use of a network of people,” did not even appear in English until the late 1970s. “Network” itself usually meant a television broadcasting system such as NBC; the notion of a social network was essentially unknown. Today, most Americans understand a social network as a set of Internet contacts—and perhaps more subtly, per the movie of that name, as a comment on Facebook co-founder Mark Zuckerberg, who may not have gotten so far without his connections. The concept of a social network emerged from sociologists’ and anthropologists’ efforts in the 1960s and early 1970s to unpack conventional understandings of group and community and to understand how individuals operate through strategic personal connections. Nancy Howell Lee explained how, in an era when abortions were illegal, pregnant women nonetheless found abortionists: by asking someone who knew someone who knew someone else. Mark Granovetter showed how professionals in the Boston area got better jobs: very often through “weak ties” such as former classmates passing on tips during passing encounters. Charles Kadushin described how becoming a psychiatric patient in New York involved traveling in the circles of psychiatric aficionados. Elihu Katz and colleagues revealed how media affect most consumers’ decisions: not directly, but through the influence of friends and families who more closely follow the media.” [to be continued….]

But the spying debate has quickly turned narrow and unbearably technical; issues such as the soundness of US foreign policy, the ambivalent future of digital capitalism, the relocation of power from Washington and Brussels to Silicon Valley have not received due attention. But it is not just the NSA that is broken: the way we do – and pay for – our communicating today is broken as well. And it is broken for political and economic reasons, not just legal and technological ones: too many governments, strapped for cash and low on infrastructural imagination, have surrendered their communications networks to technology companies a tad too soon. Mr Snowden created an opening for a much-needed global debate that could have highlighted many of these issues. Alas, it has never arrived. The revelations of the US’s surveillance addiction were met with a rather lacklustre, one-dimensional response. Much of this overheated rhetoric – tinged with anti-Americanism and channelled into unproductive forms of reform – has been useless. Many foreign leaders still cling to the fantasy that, if only the US would promise them a no-spy agreement, or at least stop monitoring their gadgets, the perversions revealed by Mr Snowden would disappear. Here the politicians are making the same mistake as Mr Snowden himself, who, in his rare but thoughtful public remarks, attributes those misdeeds to the over-reach of the intelligence agencies. Ironically, even he might not be fully aware of what he has uncovered. These are not isolated instances of power abuse that can be corrected by updating laws, introducing tighter checks on spying, building more privacy tools, or making state demands to tech companies more transparent.” [to be continued…]

et un peu de lecture en français

Did I miss something?

Winter came

Generated with pictures from http://nohrsc.noaa.gov/nh_snowcover/

data can be downloaded from ftp://sidads.colorado.edu/DATASETS/NOAA/G02158

See also the Global Sea Ice Area time series,

> d=read.table("http://arctic.atmos.uiuc.edu/cryosphere/timeseries.global.anom.1979-2008")
> tail(d)
            V1        V2       V3       V4
12778 2013.984 0.7913005 18.42697 17.63567
12779 2013.986 0.8523080 18.39049 17.53818
12780 2013.989 0.8819072 18.30466 17.42275
12781 2013.992 1.0200537 18.33854 17.31848
12782 2013.995 1.0612829 18.27418 17.21289
12783 2013.997 1.0163171 18.14861 17.13230
> plot(d$V1,d$V3,type="l",ylab="Global Sea Ice Area, million km2")

Somewhere else, part 104

Some christmas related posts,

ia still, several writings worth reading,

vs. “Percentage of Mac OS X desktop computers by country, December 2013” via http://reddit.com/user/libmult  see

Why is free dissemination of scientific results so important? For several reasons. One. It is a moral obligation to grant members of the public free access to scientific results that were obtained through public funding, through taxpayers’ money. I get particularly irritated when I read in my newspaper that new scientific results have been published on, say, sea level rise, to find out that I have to buy the latest issue of Nature Magazine to be properly informed. Two. Scientific knowledge provides a competitive edge to modern ‘knowledge based’ societies and economies. Educational research, research on public health, on informatics, genetics, energy, on anything: results should flow freely into society and into the private sector to find their way into our daily life and into economic growth. Three. Science itself will benefit from a borderless information flow between scientific fields. In order to face the ‘grand challenges’ of today scientific disciplines have to cooperate and new disciplines will emerge. In the next decades the world population will grow to 9 billion. Energy, food, ageing – three issues that are an enormous challenge. Urbanization, logistics are two additional ones. Addressing them requires effective collaboration of researchers in all fields: social sciences, humanities, life sciences, natural sciences. An optimal communication between these researchers, through Open Access publishing, is essential for this effective collaboration to happen. Moreover, the availability of a comprehensive body of quality controlled (peer reviewed!) publications in big ‘findable and searchable’ databases will allow scientists, helped by intelligent, new ‘search engines’ to make new and unexpected interdisciplinary discoveries.” [to be continued…]

et un peu de lecture en français,

La liberté d’expression semble un acquis en France. Personne n’est plus embastillé pour ses opinions, et le temps au Voltaire écrivait que «sans l’agrément du roi, vous ne pouvez penser», semble bien révolu. L’avalanche de sottises postées chaque jour sur le Web conduit parfois à penser que, s’il y a un problème avec la liberté d’expression, il réside plutôt dans son abus. Mais prenez l’actualité des semaines passées : Bob Dylan mis en examen pour ses propos sur les Serbes ; Karl Lagerfeld objet d’une plainte pour «discrimination envers la communauté des femmes rondes» (sic) ; Manuel Valls poursuivi par le Mrap ; Christian Estrosi attaquant pour diffamation, au nom de la ville de Nice, tous ceux qui critiquent sa gestion budgétaire ; Jean-Marie Le Pen condamné pour avoir dit que «les Roms volent comme des petits oiseaux» ; sa fille promettant à son tour de traîner en justice tous ceux qui la qualifient d’extrême droite… En fait, jamais, depuis l’Ancien Régime, le débat public en France n’a été autant corseté par le droit. Depuis quarante ans, nos gouvernants se sont mis en tête d’éradiquer la bêtise. La loi Pleven de 1972 condamnant les propos discriminatoires peut être considérée comme le point de départ de cette évolution. Bien d’autres ont suivi, toutes rédigées avec les meilleures intentions du monde, mais aboutissant au cadre le plus liberticide de tous les pays développés. Si l’on peut sourire du délit d’«outrage à ambassadeur», d’«opinions contraires à la décence» ou de «diffamation à l’encontre des administrations publiques», comment tolérer qu’un véritable délit de blasphème ait été réintroduit par la Cour de cassation ? Que les lois mémorielles empêchent les historiens de faire leur travail (si elles avaient existé dans les années 60, jamais on aurait pu montrer que le massacre de Katyn avait été perpétré par les Russes et non par les nazis) ? Que chaque communauté se dote de son association spécialisée traquant toute critique ? Que l’on ne puisse pas montrer, dans un reportage, un vigneron qui prend plaisir à boire son vin ? Que l’usage trop aisé de la diffamation, où la charge de la preuve est inversée, soit devenu une arme politique ? Que toute injure à un fonctionnaire soit automatiquement punie ? Qu’un simple «retweet» puisse valoir une mise en examen ?” [à suivre….]

Les 9 et 10 décembre, Les Échos présentait (à sa façon) les résultats de deux études menées par un assureur privé (Sofaxis) sur les arrêts maladie, accidents de travail et maladies professionnelles dans la fonction publique territoriale et hospitalière [1]. L’occasion pour certains médias coutumiers du fait de s’acharner sur les fonctionnaires. Bref aperçu de la façon dont ils ont utilisé et instrumentalisé ces études pour les faire coïncider avec leur obsessions éditoriales et politiques.” [à suivre…]

En quinze ans, les classes dirigeantes ont compris qu’Internet a révolutionné la communication : la multiplication des tuyaux permet une diffusion rapide et mondiale de contenus plus ou moins fiables, d’idées mesurées ou radicales. Moyen d’expression et de manipulation, le Web entraîne de nouveaux risques d’atteinte à l’image. D’où, quel que soit l’endroit de la planète, l’apparition de « tweetomanies » (usage compulsif de Twitter) et autres « facebookeries » (création à la chaîne de pages Facebook à visées publicitaires) de certains leaders, partis politiques, entreprises voulant paraître de leur temps. Pourtant, cette communication en ligne, frénétique du haut au bas de l’échelle sociale, n’aide pas les élites à percevoir la partie immergée de l’iceberg numérique. « Une véritable culture nouvelle, initiée par les “digital natives”, c’est-à-dire la “génération Y”, se répand mondialement, explique Marie Ekeland, vice-présidente de France Digitale, association qui soutient le développement des start-up. Ceux qui cantonnent le numérique à une économie à part n’ont pas compris le phénomène. » Chez Wikipédia, 5e site le plus visité du monde et symbole de la culture collaborative en ligne, Adrienne Alix, directrice des programmes de Wikimédia, sa structure faîtière, remarque : « Un signe majeur de la déconnexion des élites est l’usage de l’expression “nouvelles technologies”. Ils parlent de “plan numérique” comme si on planifiait la récolte de blé en URSS, cherchant à contrôler des choses qui ne sont pas contrôlables. » (…) Massivement, et mondialement, l’outil Internet engendre de nouvelles pratiques économiques et sociétales. Les internautes tissent des liens horizontaux, achètent et vendent sur Leboncoin.fr, pratiquent le covoiturage grâce à BlaBlaCar, conduisent la voiture de leur voisin au moyen de Ouicar.fr, s’entraident sur Craigslist.org, se logent sur Airbnb.com… « On pourrait dire que ces usagers court-circuitent les intermédiaires, mais ce terme signifierait qu’ils y mettent une volonté politique. Or ces pratiques ne sont pas clivantes au sens droite-gauche. Issus de tous bords, les citoyens s’emparent d’Internet pour agir différemment et réinventent la société à leur échelle. Sans même le chercher, ils questionnent l’organisation pyramidale gouvernée par les “sachants” », explique Antonin Léonard,…” [à suivre…]

Time for a break

This year has been long, so I’ll try to have a short breack before the new session. Two graduate course, a forthcoming book, and several research articles to should be finalized… but I’ll still try to post frequently material on the blog! Enjoy your holidays… and happy New Year !

Paul et le Québec

En mai 2004, j’étais à Québec pour une grosse conférence. Je me souviens avoir flâné dans les librairies, à la recherche de productions locales, en musique, et en bande dessinées. Le premier EP d’Arcade Fire était sorti, et (l’incroyable) Funeral allait sortir quelques mois plus tard, mais il allait falloir attendre la naissance de ma fille pour que j’achète les deux albums (étrangement, j’ai beaucoup écouté Arcade Fire à la naissance de ma fille, et je ne peux m’empêcher d’associer les deux). J’avais en revanche ramené dans mes valises Yanqui U.X.O. de Godspeed You! Black Emperor (je ne pouvais me douter que ça serait un tel choc, et aussi un sujet de discussion presque sans fin avec celui qui a été plusieurs années mon voisin, à Montréal). Mais je m’égare…. En 2004, j’avais ramené pas mal de titres des 400 coups et de La Pastèque, dont Paul en appartement qui venait de sortir. J’ai dévoré le titre pendant la conférence (pas pendant les exposés, c’était une de ces conférences incroyables où j’étais absorbé du premier au dernier exposé, où j’en rencontré beaucoup de monde, dont plusieurs futurs collaborateurs), et j’ai acheté dans la foulée les deux premiers, Paul à la campagne (sorti en 1998) et Paul a un travail d’été (en 2002). Il m’aura fallu plusieurs séjours au Québec pour comprendre certaines subtilités (dont un certain nombre d’expressions), mais j’ai fini par devenir un inconditionnel. Et justement, pour les fêtes, et pour célébrer les 15 ans du titre, une version format géant, et colorié de Paul à la campagne est sorti (il semble qu’en France, seul l’édition en noir et blanc soit disponible). Et ma femme l’a eut pour Noël… Une fois qu’elle l’avais lu, je me suis permis de lui emprunter. Pour faire simple et rapide, j’adore cette version couleur. On a l’impression de livre une BD de style BD belge telle que je l’adore, genre Yves Challand. Mais du Challand très québécois ! Avec beaucoup de nostalgie en plus… Ce n’est pas du même ordre qu’Approximativement, qui reste un gros choc de lecture (pseudo) autobiographique. J’étais peut-être aussi content de trouver une forme de relève à Monsieur Jean, que j’avais beaucoup aimé. En y repensant, la lecture de Paul est indissociable (dans ma mémoire) de la lecture du pavé Blankets de Craig Thompson (que j’ai du découvrir à la même époque, en français tout d’abord, avant de le lire enfin en version originale quelques années plus tard). Ce n’est pas comme relire les vieux Astérix ou écouter Patchanka (où je repense immanquablement aux lectures de mon enfance, chez mes grands-parents pour les premiers, ou sur mon walkman dans la voiture pour aller chez mes grands-parents, justement, pour le dernier). Je revois ici des situations pour lesquelles je ne peux m’empêcher de faire des parallèles avec d’autres que j’ai vécues. Et c’est une forme de nostalgie très agréable… Bref, cette version en couleur m’a enchanté ! et les enfants ont aussi beaucoup aimé, pour mon plus grand plaisir… Et comme le titre ne semble pouvoir se trouver qu’au Canada, je ne peux qu’encourager tous les français (de France) à venir faire un tour au Québec pour l’acheter…

Le Père Noël et le pari de Pascal (spoiler alert)

Les enfants ont beau grandir, Noël reste un moment magique. Bien sûr, le plus grand nous dit depuis des années qu’il n’y croit plus, et sa sœur le suit. Mais quand même… on a toujours l’impression que juste au cas où, ça pourrait valoir le coup d’y croire. Comme le Dieu de Pascal. Ouais, c’est bien de faire le grand en disant qu’on n’y crois plus, mais s’il existait, même avec une très faible probabilité, ça ne vaudrait pas la peine d’y croire encore un peu ? Pour ceux qui ne connaîtra pas le pari de Pascal, il existe une version courte, et illustrée, avec Calvin et Hobbes,

Pour la version originale, signée Blaise Pascal, on pourra relire le paragraphe 233 des Pensées,

Dans ce jeu, la stratégie minimax pousserait à croire en Dieu, pour éviter d’aller en enfer (correspondant à une perte infinie, que rien ne peut compenser). Il y a plusieurs points commun entre les deux situations. Par exemple, je trouve que les parents reproduisent bien le comportement de l’église, en faisant planer le doute et en utilisant des rituels soi-disant millénaires. Bon, la grande différence, c’est qu’on n’a qu’une vie (ou qu’une mort), mais il me semble que Noël revient tous les ans. En plus, si Dieu n’existe pas, il n’y a rien à la place… alors que si le père Noël n’existe pas…

(pour d’autres réflexions sur Noël, http://buzzfeed.com/ariannarebolini/…)

Bayes, 250 years ago

Exactly 250 years ago, on December 23rd, while some people were still shopping to get presents for their kids, Mr Price took some time to write a letter to the Royal Society of London,

He sent an essay towards solving a problem in the doctrine of chances, writen by an old friend of his (who just died), Mr. Bayes,

A few days ago, Stephen Stigler came in Montréal to give a talk on Bayes, and I learnt that this title is actually not the one Price chose for the essay. The true title of the essay sent to the Royal Academy was

i.e.

The story of the true title of Bayes’s essay can be found on http://arxiv.org/, There are interesting connexions between Bayes theory and Christianism, actually. But I won’t spend time on December 23rd, talking about probabilities… I still have presents to find…

Somewhere else, part 103

Some writings worth reading,

Tyler Cowen says today that “The forthcoming Thomas Piketty book will be very important” That “will be” is sort of interesting. You see, the name of the book is Le capital au xxie siècle, and it was published three months ago. But no one is talking about it. Presumably, it will become very important—and very talked about—only next March, when Capital in the 21st Century hits the shelves. I don’t have any grand point to make. It’s just interesting that fluent French is now so rarely spoken among American academics that an important French book can’t even get the time of day until its English translation comes out. It makes sense that widespread conversation would have to wait, since you can’t very well have that until lots of people have read the book, but you’d think there would be at least a few reviews out there along with a bit of discussion. But if there has been, I’ve missed it.

One problem has been addressed neither by Europe nor by the US, the Christian-conservative daily Salzburger Nachrichten writes: “Many banks are still far too big. And no one can explain why they have to be so big that they have the potential to drag entire countries to the brink of ruin – or even plunge them into the abyss. Their representatives say that international customers want to be advised globally by one partner, hence size is essential. No one questions this, everyone just accepts it. That’s why even in the sixth year after the financial crisis the spectre of ‘too big to fail‘ is still haunting us. If we could put a stop to this, we would have learned one of the most important lessons from the financial crisis: no bank should be so big that it cannot fail. No financial regulator dares take up this challenge, however, so the newly avowed security is just a chimera.” (19/12/2013)” [via http://salzburg.com/nachrichten/…]

Obviously the web has changed a lot, although the process actually started even before the rise of blogs. Economics journals stopped being a way to communicate ideas at least 25 years ago, replaced by working papers; publication was more about certification for the purposes of tenure than anything else. Partly this was because of the long lags — by the time my most successful (though by no means best) academic paper was actually published, in 1991, there were around 150 derivative papers that I knew of, and the target zone literature was running into diminishing returns. Partly, also, it was because in some fields rigid ideologies blocked new ideas.”

avec un peu de lecture en français,

et la pensée de la semaine passée,

  •  par ‏@LANDEYvves “Beaucoup de nos hommes politiques devraient prendre exemple sur Nelson Mandela. En mourant.

Did I miss something?

Donner

Autant mettre les choses au clair assez rapidement. Dans ce billet, je ne pensais pas parler du sens mystique de Noël, mais plutôt revenir sur l’utilisation du participe passé féminin de ce verbe, souvent utilisé au pluriel: les données. Les données ont avant tout un sens ‘scientifique’, représentant des informations fournies qui vont permettre de donner une solution à un problème. Plus généralement, une donnée – que l’on pourrait assimiler a un fait – va servir de base, à un raisonnement. Mais ce qui va davantage attirer mon attention, c’est l’interprétation informatique de ce terme, où la donnée est une information élémentaire qui sera utilisée lors d’un traitement informatique – automatisé – des informations. En anglais, on parle de data, qui – si on en croit l’étymologie – parle aussi de don, comme forme plurielle du latin datum, donner. Euclide par exemple utilise Δεδομένα comme titre d’un de ses ouvrages. Bref, les données, dans leur sens mathématique, sont anciennes !

Il y a bientôt 3 ans, j’avais fait un rapide billet expliquant que l’ouverture des bases de données (notion d’open data) était souvent une fausse bonne nouvelle. Essentiellement car données reste un terme flou: beaucoup de services publiques se sentent une responsabilité (justifiée de mon point de vue) pour libérer, donner ces données. Mais les données sont trop souvent (trop) agrégées pour permettre une interprétation pertinente, à cause du fait que beaucoup pense qu’on leur vole quelque chose si on partage des données individuelles (même anonymisées). Et je voulais prendre un peu de temps aujourd’hui pour revenir sur cette idée de big data, dont tout le monde parle en se moment, et revenant sur quelques livres que j’ai lu récemment avec grand plaisir, dont le très bon Big Data, a revolution that will transform how we live, work and think !

  • Le changement de paradigme de la statistique

Les transformations informatiques des dernières années ont poussé – de mon point de vue – beaucoup de statisticiens à s’interroger sur le sens même de leur métier. Au point que pour un certain nombre, on ne devrait plus parler de statistician mais de data scientist. Je pense aussi que quelque chose de profond se trame. Lorsque j’étais encore étudiant, l’idée centrale de la formation en statistique reposait sur la notion d’échantillonnage : on disposait d’un jeu de données, https://latex.codecogs.com/gif.latex?\{x_1,x_2,\cdots,x_n\}, où chaque observation https://latex.codecogs.com/gif.latex?x_i peut être un ensemble d’observations,  disons https://latex.codecogs.com/gif.latex?x_i=(x_{1,i},\ldots,x_{k,i}). Pour chaque individu (noté https://latex.codecogs.com/gif.latex?i), on connaît sa taille, son poids (des informations quantitatives), son sexe (des informations qualitatives, ou catégorielles), son prénom (des informations textuelles), et d’autres choses plus complexes encore. Et à partir de ce jeu de données, le statisticien doit inférer quelque chose pour l’ensemble de la population. Car le jeu de données est obtenu sur un sous-ensemble (espéré représentatif) de la population. L’ironie – selon moi – a été que beaucoup de résultats obtenus reposaient sur des propriétés asymptotiques : si on a beaucoup de données (formellement si https://latex.codecogs.com/gif.latex?n\rightarrow\infty) alors on peut conclure des choses. A distance finie (si https://latex.codecogs.com/gif.latex?n n’est pas trop grand), on ne savait souvent pas trop quoi dire… Mais peut-être devrais-je prendre un exemple plus concret… Dans les modèles de régression, standard, on a une variable d’intérêt, que l’on note https://latex.codecogs.com/gif.latex?y pour la distinguer. Et on suppose que pour prédire https://latex.codecogs.com/gif.latex?y, on peut utiliser une variable dite explicative (que l’on continue par contre à noter https://latex.codecogs.com/gif.latex?x). On va alors supposer que

https://latex.codecogs.com/gif.latex?y=m(x)+\varepsilon

https://latex.codecogs.com/gif.latex?m(\cdot) est une fonction inconnue, et où https://latex.codecogs.com/gif.latex?\varepsilon est un bruit, un élément que l’on ne peut prévoir. On peut penser à n’importe quoi. Par exemple en physique, on lâche un objet à une certaine hauteur https://latex.codecogs.com/gif.latex?x, et on se demande combien de temps il mettra à tomber. Et on notera https://latex.codecogs.com/gif.latex?y ce temps. Si on ne connaît pas les travaux de Newton (et c’est l’idée de l’expérimentation scientifique), on fait plein d’expériences. C’est notre https://latex.codecogs.com/gif.latex?n. Et forcément, on fait des erreurs de mesures, c’est notre https://latex.codecogs.com/gif.latex?\varepsilon. Bref, on va pouvoir construire un modèle. Le premier point important ici est qu’en physique, les modèles (en tous les cas ceux que j’ai appris quand j’étais petit) sont assez simples, avec des fonctions https://latex.codecogs.com/gif.latex?m(\cdot) standards (on pourra argumenter sur le fait que ces fonctions sont devenues standards précisément parce qu’elles apparaissaient souvent en physique). Et les erreurs de mesures sont souvent faibles. En sciences humaines, c’est assez différent. Par exemple il peut exister une relation entre le poids d’une personne https://latex.codecogs.com/gif.latex?y et sa taille https://latex.codecogs.com/gif.latex?x. Mais à https://latex.codecogs.com/gif.latex?x donné, on peut observer beaucoup de variabilité parmi les https://latex.codecogs.com/gif.latex?y. Bref, il y a beaucoup de bruit (notre https://latex.codecogs.com/gif.latex?\varepsilon). On retrouve ici la distinction que fait Nate Silver entre le signal (la fonction https://latex.codecogs.com/gif.latex?m(\cdot)) et le bruit (la composante https://latex.codecogs.com/gif.latex?\varepsilon). Le second point sur lequel il convient d’insister est qu’en physique, il y a (souvent) une relation causale : je me donne un https://latex.codecogs.com/gif.latex?x (je peux d’ailleurs presque l’imposer dans une expérience), et il va induire un https://latex.codecogs.com/gif.latex?y. Quelque part, dans mon expérience, le https://latex.codecogs.com/gif.latex?y sera obtenu une fois le https://latex.codecogs.com/gif.latex?x fixé. En sciences humaines, c’est souvent différent : pour les tailles et les poids, je peux mesurer l’un avant l’autre, peut importe… Un point fondamental est que la corrélation importe plus que la causalité.

Bref, à partir d’un échantillon d’observations https://latex.codecogs.com/gif.latex?\{(x_1,y_1),\cdots,(x_n,y_n)\} (histoire de distinguer mes deux variables, et leur nature différente), on va construire un estimateur pour la fonction https://latex.codecogs.com/gif.latex?m(\cdot), que l’on note https://latex.codecogs.com/gif.latex?\widehat{m}(\cdot). Et classiquement, on peut faire des modèles pour un peu n’importe quoi. Les plus sceptiques pourront relire First crush the grapes, then crunch the numbers qui nous explique comme juger de la qualité d’un vin à l’aide de trois variables explicatives (objectives, liées au climat).

Classiquement, en statistique, on avait quelques variables explicatives, et des observations. Disons, classiquement plus d’observations que de variables pouvant intervenir dans le modèle. Mais pas non plus un nombre incroyablement élevé. L’explication classique dans les cours de statistique est que les enquêtes coûtent cher. Mais les choses ont changé. Et ce n’est pas qu’à ause d’internet (quand on pense big data on pense en premier à internet). En fait, en traitement d’images ou en génomique, on a commencé à voir des problèmes intéressants apparaître.

  • De la régression à la classification

Un autre type de modèle passionnant est celui où on dispose d’un ensemble d’observations  où cette fois la variable  est une variable binaire (pour simplifier), malade-infecté, vie-mort, rouge-bleu, positif-négatif, 0-1. Classiquement, la fonction précédant  sera remplacée par un score  que l’on pourra interpréter comme une probabilité. Plusieurs méthodes sont envisageables, allant d’une analyse discriminante, ou une régression logistique à une méthode par plus proches voisins.

On pourra aussi penser à une méthode par arbre de classifications, voire une forêt aléatoire remplie d’arbres,

Mais cet exemple est simple: on a deux variables explicatives, et une population de rouges et de bleus assez clairement séparée. On peut penser à des cas où la taille de  est énorme, et que la proportion de points rouges est faible. C’est le cas pour les tests pour détecter des cancers.

  • Gros mais vide

Classiquement, la grande dimension faisait peur. Tout le monde avait en mémoire la notion de malédiction de la dimension, “curve of dimensionsality” introduit par Richard Bellman en 1957,

all [problems due to high dimension] may be subsumed under the header the curse of dimensionality. Since it is a curse (…) there is no need to feel discouraged about the possibility of obtaining significant results despite it

En fait, comme le notait Charles Bouveyron, la grande dimension, ce n’est pas si simple, et les difficultés ne vont pas forcément croître avec la dimension. Considérons par exemple le volume d’une sphère de rayon 1, en dimension . On peut montrer que le volume est

Si on regarde cette fonction, effectivement, passer de la dimension 3 a la dimension 4 puis a la dimension 5 faire grossir la taille de notre boule. Mais passée la dimension 10, de manière surprenante, la dimension diminue… Amusant non ?

En plus (oui, depuis quelques semaines, j’aime jouer avec les sphères) on n’est pas n’importe où ! En fait, on a très peu de chances d’être au centre: on peu montrer assez simplement que si on tire des points au hasard dans la sphère unité, on a en fait de très très fortes chances d’être au bord de la sphère. Et le calcul est simple: la probabilité d’être a une distance supérieure a  (et donc d’être vraiment proche du bord) si  est

 lorsque 

(quelle que soit la valeur de ). Bref, les grands espaces, c’est grand, mais c’est rempli de vide !

Il y a plus de 5 ans, lors des journées UseR! à Rennes, Trevor Hastie avait fait un exposé brillant qui m’avait ouvert les yeux sur des problèmes que j’ignorais : les très grosses matrices sont souvent très vide, en évoquant l’exemple de la prévision pour Netflix ou Amazon (exemple repris dans  Big data, a revolution that will transform how we live, work and think dont je reparlerais dans deux minutes).

  •  Apprendre à partir des données, ou quand les données l’emportent sur le modèle

Le point important est d’oublier l’analyse causale, pour se focaliser sur les corrélations. C’est ce que font les économètres. Quand on fait un modèle pour calculer un score pour un crédit hypothécaire (je peux renvoyer à un billet évoquant un article écrit avec Stéphane Tufféry sur les aspects méthodologique), on ne cherche pas les variables qui peuvent causer un défaut de remboursement d’une dette, on cherche juste des variables corrélés à cette dernière. C’est un peu l’histoire de Google voilà quelques années, lors de leur étude sur la grippe. L’idée était d’utiliser les saisies de mots clés faisant penser à des symptômes grippaux pour détecter des épidémies, bien avant que les autorités sanitaires n’aient été informées !

David Patterson allait encore plus loin dans son article datant de décembre 2011, Computer Scientists May Have What It Takes to Help Cure Cancer, en ne parlant pas de diagnostique mais de méthode de guérison. En 2011, la Fair Isaac Coorporation (FICO), a proposé un score très intéressant, le Medication Adherence Score. Son but est de prédire si quelqu’un prendra les médicaments prescrits, ou pas. Il n’y a aucune analyse causale, avec des tests en laboratoires. Juste une analyse de corrélation, montrant par exemple que les personnes célibataires ont plus tendance à oublier de prendre leurs médicaments. Et le pouvoir prédictif semble incroyablement bon. On ne cherche plus de mécanisme causaux pouvant expliquer telle ou telle variable, juste utiliser des données à notre disposition pour inférer une réponse… En 2008, Chris Anderson disait que

the deluge deluge makes the scientific method obsolete (…) this is a world where massive amounts of data and applied mathematics replace every other tool that might be brought to bear (…) with enough data, the numbers speak for themselves“.

Pour ma part, je me contentait de voir un changement de paradigme dans la modélisation statistique, mais depuis longtemps, les économètres savent que la recherche de corrélations l’emporte sur une éventuelle analyse causale.

Pour comprendre l’importance des données, et de l’apprentissage à partir des données, Nate Silver prend l’exemple des échecs, et de Deep Blue. La force de l’ordinateur n’était pas son algorithme et sa stratégie de jeu. Mais surtout le fait qu’il avait en mémoire des milliers et des milliers de parties, et qu’il pouvait reconnaître des similitudes entre des situations. Pour reprendre l’explication donnée par Viktor Meyer-Schönberger et Kenneth Cukier,

(…) chess algorithms have changed only slightly in the past few decades, since the rules of chess are fully known and tightly constrained. The reason computer chess programs play far better today than in the past is in part that they are playing their endgame better. And they’re doing that simply because the systems have been fed more data. In fact, endgames when six or fewer pieces are left on the chessboard have been completely analyzed and all possible moves (N=all) have been represented in a massive table that when uncompressed fills more than a terabyte of data. This enables chess computers to play the endgame flawlessly. No human will ever be able to outplay the system.

Quelques paragraphes plus loin, Viktor Meyer-Schönberger et Kenneth Cukier parlent de la traduction automatique. Dans les années 50, le défi était de proposer un ‘correcteur de grammaire’, et avec le temps, l’idée d’un traducteur automatique se développa, essentiellement chez IBM. Une percée importante semble avoir été le projet Candide, où 10 ans de transcipts parlementaires canadiens, en français et en anglais, ont été utilisé. Soit environ 3 millions de phrases avec une traduction (de haute qualité, on parle ici de document juridique… il serait dommage qu’en jouant sur la langage on puisse passer de l’illégalité à la légalité). Google a poussé l’idée quelques années plus tard, on utilisant des bases plusieurs milliers de fois plus grosses que celles d’IBM. Comme le disent Viktor et Kenneth,

the reason Google’s translation system works well is not that it has a smarter algorithm. It works well because its creator (…) fed in more data – and not just high quality. Google was able to use dataset tens of thousands of times larger than IBM’s Candide because it accepted messiness. (…) Simple models and a lot of data trump more elaborate models on less data” (comme détaillé dans unreasonable effectiveness of data).

Ils évoquent aussi l’article d’Alberto Cavallo et Roberto Rigobon (voir l’article sur le site du MIT) qui, au lieu d’utiliser les indices de prix calculés par les instituts publics, ont proposé de collecter près d’un demi-million de prix de vente. Comme le soulignent Viktor et Kenneth,

the information is messy, and not all the data points collected are esily comparable. But by combining the big-data collection with clever analysis, the project was able to detect a deflationary swing in prices immediately after Lehman Brothers filed for bankruptcy in September 2008, while those who relied on the official CPI data had to wait until November to see it.”

Leur méthodologie est désormais implémentée dans le billion prices project. Un point intéressant et qui fait que le paradigme de la modélisation statistique a beaucoup changé, c’est qu’avoir plus de données (même très bruitées) semble plus intéressant que construire un bon modèle. C’est en tous les cas une des thèses défendues dans le joli livre de  Viktor Meyer-Schönberger et Kenneth Cukier. On pourra aussi relire deux articles qui ont fait du bruit data, data everywhere ou big data and the end of theory?.

Parmi les autres applications, on pourra aussi parler de l’utilisation de Google pour améliorer la prévision des marchés financier, avec plusieurs articles sur ce sujet en avril dernier, dont celui de Philip Ball Counting Google searches predicts market movementscelui de Bernhard Warner Big Data’ Researchers Turn to Google to Beat the Markets ou enfin celui de Richard Waters, Google search proves to be new word in stock market prediction.

Cela dit, comme le note Ian Ayres dans Super Crunchers, le principal intérêt des modèles de régression n’est plus sur la prévision, mais ils permettent toujours d’avoir des intervalles de confiance sur les prévisions. Ce qui peut être une information essentielle… Cela dit, j’avoue avoir moins aimé le livre, qui évoquait des choses que tout le monde connaît, et j’y ai beaucoup moins appris qu’à la lecture des deux autres livres (sauf peut-être le chapitre à la fin Are we having fun yet? mais qui m’a juste ouvert l’appétit). Et écrire un livre dont le message est (selon moi) qu’il faut que tout le monde ai un minimum de bon sens statistique ne fait que me caresser dans le sens du poil (et je préfère quand on me provoque un peu). Je pourrais aussi mentionner le livre de de Stephen Baker, The Numerati (et le blog associé,  http://thenumerati.net/) mais je n’ai pas fini de le lire, et je pensais lui consacrer une fiche de lecture exprès.

  • C’est quoi une donnée

Pour revenir à notre discussion, quand on pense donnée, on pense souvent à des chiffres. Mais comme le montre l’exemple de la traduction automatique, les textes sont aussi des données. J’ai fait à plusieurs reprises des analyses textuelles, et on peut faire mille fois mieux. Les localisations aussi sont des données (on pourra relire l’étude intéressante http://bbc.co.uk/news/… pour comprendre où les chats passent leurs journées). Les connexions sur Twitter aussi (en témoigne une analyse amorcée par Ewen il y a quelques mois)… etc. En ce sens, la notion de data analysis va probablement beaucoup plus loin que la modélisation statistique. Par exemple, mes faibles compétences en théorie des graphs ne me permettent pas de bien comprendre les relations et les inter-connexions dans les réseaux.

  • Des dangers de la granualarité trop faible, et l’open-data

Pour faire simple et provocateur, aller chercher les données qui nous intéresse permet de faire des choses fabuleux. Qui à faire tourner des robots pour aller les chercher, s’il le faut. Car les données qu’on nous donne sont rarement exploitables, malheureusement! Pire, elle donne souvent lieu à des interprétations fallacieuses. Parfois, les données comporte un biais de sélection. Le plus souvent, elles sont agrégées. Et de mon point de vue, rien de pire que les données agrégées. Les sociologues penseront à l’ecological fallacy. Pour ma part, je préfère le paradoxe de Simpson. Pensons à un journaliste de données qui voudrait faire une enquête sur les hôpitaux, pour publier un “classement des meilleurs hôpitaux“. Pour cela, il trouve des données mise en libre accès par un organisme publique. Par exemple

hôpital total survie décès taux de survie
hôpital A 1000 800 200 80%
hôpital B 1000 900 100 90%

L’hôpital B sera bien mieux noté, et bien mieux classé. Et ça semble normal… Maintenant, notre journaliste creuse un peu, appelle les deux hôpitaux, et obtient un peu plus d’information… Pour les gens qui arrivent à l’hôpital en voiture, ou en taxi, on a les statistiques suivantes

hôpital total survie décès taux de survie
hôpital A 600 590 10 98%
hôpital B 900 870 30 97%

alors que pour les personnes qui sont arrivées en ambulance, on a

hôpital total survie décès taux de survie
hôpital A 400 210 190 53%
hôpital B 100 30 70 30%

Bref, dans les deux cas, on a intérêt à choisir A. Étonnant non? Mais pas inexplicable mathématiquement, puisque l’on peut parfaitement avoir

et

(pour rappel, on s’intéresse à comparer des taux) tout en ayant

soit visuellement

Ceci peut aussi s’expliquer intuitivement, c’est qu’ici, l’hôpital B sélectionne ses patients (en demandant aux ambulances de ne pas apporter de cas graves chez eux pour ne pas faire chuter leur taux de survie). Comme le dit la loi de Goodhart, “quand une mesure devient un objectif, elle cesse d’être une mesure“. Et cet exemple est loin d’être le seul…

Bref, j’aime l’idée d’ouvrir les données, afin de permettre à tout à chacun de faire sa propre analyse. J’en avais parlé dans un article sur l’importance du do-it-yourself et pourquoi je suis pour l’open-source quand on code. Mais en amont, il faut des données. Et en ce sens, je pense que l’idée d’ouvrir les données est fabuleuse. Mais le résultat est – pour l’instant et le plus souvent – désastreux. J’ai toujours du mal à comprendre pourquoi je ne pourrais pas avoir accès à certaines données d’état-civil, qui sont supposées publiques, par exemple. Cela dit, en hackant un minimum, on peut aller trouver des données que l’on cherche. C’est ce que j’avais retenu de ma rapide étude sur le prix des billets d’avion, reprise quelques mois plus tard avec des données que je suis allé chercher en ligne. Bref, il y a moyen de s’amuser ! Et de réfléchir un peu à ce que j’enseigne dans mes cours de statistique, et ce que j’utilise comme compétences quand je veux faire un peu d’analyse de données, de freakonométrie pour reprendre le titre de mon blog…

  • Pour aller plus loin

Quelques livres passionnants pour commencer

mais surtout

qui va beaucoup plus loin que ce que j’ai pu évoquer, en particulier qui parle d’éthique, chose que je tiens à tout prix à éviter car je n’ai pas de pensée claire sur le sujet (penser à Minority Report de Philip K. Dick suffit à m’angoisser). Sinon parmi les événements,

  • La journée Big Data, organisée par l’Institut des Actuaires à Paris, début décembre (donc c’est passé)
  • Un débat sur le Big Data organisé en 2014 à Montréal, mais on en reparlera….

37% chance

I don’t know if you ever realized, before, but it is quite common to have 37% chance that something happened (or actually “not happened” if we want to be more rigorous). For instance, consider a  grid, and draw  points randomly (and uniformely). Then, around 37% cells are empty. Or if you consider a cell, on that grid, there is 37% chance, that the cell is empty. You can look, on the animation below,

Actually, it is quite simple to prove this result. This come from the fact that

And  is a common probability. To be more specific, we can write it

which is  when  is a Poisson distribution with parameter  (or with mean ). In our case,  is the number of points in a given cell, and since there are   points for   cells (it is a  grid), then . And the Poisson distribution arise here as a limit of a binomial distribution. More precisely, here . We have here the law of small number. Nice isn’t it?

Actuariat IARD, correction

Mercredi dernier avait lieu l’examen final d’ACT2040. La sortie informatique utilisée (avec quelques valeurs manquantes qu’il fallait retrouver, et qui comprenait des indications numérotées pour des questions spécifiques) et le questionnaire sont en ligne, ainsi que des éléments de réponse. Comme évoqué dans la page de garde de la ‘correction’, le barème sera proche de celui annoncé, mais un coefficient multiplicatif devrait être appliqué car je me suis rendu compte, en tapant la correction que le devoir était long. Je vais profiter des jours à venir pour corriger l’examen, avant d’attaquer la correction des devoirs, pendant les vacances. Toutes les remarques sur la ‘correction’ sont les bienvenues. Sinon, bonnes vacances…

Random points on some hemisphere

In my previous post, I tried to answer the following question Consider https://latex.codecogs.com/gif.latex?n points uniformly distributed on a sphere. What is the probability that the https://latex.codecogs.com/gif.latex?n points lie on a same hemisphere, for some hemisphere (there is no south or north here) ?

If I have been able to use Monte Carlo simulations in dimension 2 (on a circle, not on a sphere), I could not get it in dimension 3. Hopefully, my colleague Simon gave me a nice solution (much more efficient than my previous code). Unfortunately, it was in Maple,

clear all
taillesim=5000;
for N=3:10
nb=0; 
for k=1:taillesim
X=randn(N,1);
Y=randn(N,1);
Z=randn(N,1);
pts=[X Y Z];
for i=1:N  
  pts(i,:)=pts(i,:)/norm(pts(i,:),2);
end
tol=1e-07;
A=-pts;
f=[0;0;0];
b=zeros(N,1)-tol;
%options=optimset('Display','off');
[x,val,exitflag]=linprog(f,A,b);
if(exitflag==1)
  nb=nb+1;    
end
end
probapprox(N-2)=nb/taillesim;
end
ns=[3:10];
for i=3:10
probhs(i-2)=probh(3,i);
end
scatter(ns,probhs)
hold on
plot(ns,probapprox);

The idea is very clever (I did not know how to code it, but as we will see, it is actually simple – or say not too difficult – to code actually). The idea is based on the idea that all the points lie on the same hemisphere if there is some  such that  for all .

 

That is not a big improvement, compared with the previous post, because we have to find such a vector. The idea suggested by Simon is to use some constraint optimization algorithm. We can try to optimize (maximize, or minimize, actually, we do not care) something like

If the set of constraint is empty, then there is no solution, while we can find one (maybe more, but we do not care) if there is such a vector . I wanted to add some constraint on , like  (for the Euclidean norm), but that would be a non-linear constraint. So here, I chose to assume that  was such that . With R, the optimization routine would be like

library(lpSolve)
A=rbind(pts,c(1,1,1))
C=c(1,2,3)
B=c(rep(1e-10,N),1)
slp=lp("min",C,A,c(rep(">=",N),"="),B)

So that I can solve here

and then, we simply have to check for the value of

slp$status

0 means that we found a vector  . But when you run the code, it does not work. Because actually, what is solved here is not exactly the program above, but the one below,

(yes, it is mentioned in the help of the optimization function that only positive values are considered). So, a simple strategy, since we focus on an orthant here, is to consider all possible orthants. For instance, using

test=FALSE
x1=0:(2^3-1)%/%(2^(3-1))
x2=((0:(2^3-1))-(2^2)*x1)%/%(2^(3-2))
x3=((0:(2^3-1))-(2^2)*x1-2*x2)
for(u in 1:(2^3)){
pts2=cbind(pts[,1]*(-1)^x1[u],
           pts[,2]*(-1)^x2[u],
           pts[,3]*(-1)^x3[u])
A=rbind(pts2,c(1,1,1))
C=c(1,2,3)
B=c(rep(1e-10,N),1)
slp=lp("min",C,A,c(rep(">=",N),"="),B)
if(slp$status==0) test=TRUE}
if(test==TRUE) nb0=nb0+1

So here, the code would be something like

taillesim=5000
probaap=rep(NA,10)
probath=rep(NA,10)
p=function(d,n) .5^(n-1) * sum(choose(n-1,0:(d-1)))
for(N in 3:10){
nb0=0
for(k in 1:taillesim){
MZ=matrix(rnorm(n*3),n,3)
d=apply(MZ,1,function(z) sqrt(sum(z^2)))
X=MZ[,1]/d; Y=MZ[,2]/d; Z=MZ[,3]/d; 
pts=cbind(X,Y,Z)
test=FALSE
x1=0:(2^3-1)%/%(2^(3-1))
x2=((0:(2^3-1))-(2^2)*x1)%/%(2^(3-2))
x3=((0:(2^3-1))-(2^2)*x1-2*x2)
for(u in 1:(2^3)){
pts2=cbind(pts[,1]*(-1)^x1[u],
           pts[,2]*(-1)^x2[u],
           pts[,3]*(-1)^x3[u])
A=rbind(pts2,c(1,1,1))
C=c(1,2,3)
B=c(rep(1e-10,N),1)
slp=lp("min",C,A,c(rep(">=",N),"="),B)
if(slp$status==0) test=TRUE
}
if(test==TRUE) nb0=nb0+1  
}
probaap[N]=nb0/taillesim
probath[N]=p(3,N)
}

and this time, the probability obtained using Monte Carlo simulation is extremely close to the theoretical value.

And the algorithm is extremely fast! So using optimization routines to see if sets defined by linear constraints are empty – or not – is truly a great idea!

Somewhere else, part 102

Some writings worth reading,  here and there


Here’s a simple recipe for doing science. Find a plausible theory for how some bits of the world behave, make predictions, test them experimentally. If the results fit the predictions, then the theory might describe what’s really going on. If not, you need to think again. Scientific work is vastly diverse and full of fascinating complexities. Still, the recipe captures crucial features of how most of it has been done for the past few hundred years. Now, however, there is a new ingredient. Computer simulation, only a few decades old, is transforming scientific projects as mind-bending as plotting the evolution of the cosmos, and as mundane as predicting traffic snarl-ups. What should we make of this scientific nouvelle cuisine? While it is related to experiment, all the action is in silico — not in the world, or even the lab. It might involve theory, transformed into equations, then computer code. Or it might just incorporate some rough approximations, which are good enough to get by with. Made digestible, the results affect us all. As computer modelling has become essential to more and more areas of science, it has also become at least a partial guide to headline-grabbing policy issues, from flood control and the conserving of fish stocks, to climate change and — heaven help us — the economy. But do politicians and officials understand the limits of what these models can do? Are they all as good, or as bad, as each other? If not, how can we tell which is which?” [to be continued…]

et un peu de lecture en français

Did I miss something?

(some interesting thoughts for christmas holidays)

Conditional dependence measures

This week, I spend some time at the Workshop on Nonparametric Curve Smoothing conference at Concordia. Yesterday afternoon, Noël Veraverbeke show an interesting graph, to illustrate conditional copulas (and the derivation of conditional dependence measures, such as Kendall’s tau, or Spearman’s rho). A long time ago, in my PhD thesis (mainly on conditional copulas) I did try to derive conditional dependence measures (in a dedicated chapter). In my PhD, I was interested to describe the dependence of a pair https://latex.codecogs.com/gif.latex?(Y_1,Y_2) given https://latex.codecogs.com/gif.latex?(Y_1,Y_2)\in\mathcal{V}, where https://latex.codecogs.com/gif.latex?\mathcal%20V is a region of interest, such has tails. So I wanted to study the behavior of https://latex.codecogs.com/gif.latex?(Y_1,Y_2) given https://latex.codecogs.com/gif.latex?\{Y_1%3Et,Y_2%3Et\}. This has interpretation when studying large risks, but also in joint life mortality.

In the paper Noël mentioned, they want to describe the dependence of a pair https://latex.codecogs.com/gif.latex?(Y_1,Y_2) given a covariate https://latex.codecogs.com/gif.latex?X=x. And he came up with this very nice example: consider expected lifetimes, for male and female, in various countries. You can get zipped files with data for male, female and we can use the GPD per capita as our covariate. Here is the code to visualize life expectancies,

b1=read.table("sp.dyn.le00.fe.in_Indicator_en_csv_v2.csv",header=TRUE,sep=",",skip=2)
b2=read.table("sp.dyn.le00.ma.in_Indicator_en_csv_v2.csv",header=TRUE,sep=",",skip=2)
b3=read.table("ny.gdp.pcap.cd_Indicator_en_csv_v2.csv",header=TRUE,sep=",",skip=2)
b1b=b1[,c(1,2,55)]
b2b=b2[,c(1,2,55)]
b3b=b3[,c(1,2,55)]
names(b1b)[3]="LEF"
names(b2b)[3]="LEM"
names(b3b)[3]="GPD"
b=merge(b1b,b2b)
b=merge(b,b3b)
plot(b$LEM,b$LEF,xlab="Life Expectancy (male vs. female)")

With this graph, we cannot visualize the link with the covariate,

b$cgpd=cut(b$GPD,quantile(b$GPD,seq(0,1,by=1/6),na.rm=TRUE))
levels(b$cgpd)=as.character(1:6)
library(RColorBrewer)
CL=brewer.pal(6, "RdBu")	
plot(b$LEM,b$LEF,xlab="Life Expectancy (male vs. female)",pch=19,col=CL[as.numeric(b$cgpd)])

Here, poor countries are in red, and rich countries in blue,

Clearly, life expectancy is connected to the wealth of the country,

plot(b$GPD,b$LEF,xlab="(Female) Life Expectancy vs. GPD (log scale)",pch=19,col=CL[as.numeric(b$cgpd)],log="x")
plot(b$GPD,b$LEM,xlab="(Male) Life Expectancy vs. GPD (log scale)",pch=19,col=CL[as.numeric(b$cgpd)],log="x")

The idea here is to consider the conditional dependence structure, given the wealth. If we want something smooth (this is actually the goal of the workshop, but I’d like to make that quickly) consider some weighted version of Kendall’s tau, based on the idea mentioned in a post on http://stackoverflow.com/

The idea is to use concordance and discordance counts, with replications of the data, based on the weights

P = function(t) {   
  r_ndx = row(t)
  c_ndx = col(t)
  sum(t * mapply(function(r, c){sum(t[(r_ndx > r) & (c_ndx > c)])},
    r = r_ndx, c = c_ndx))}
Q = function(t) {
  r_ndx = row(t)
  c_ndx = col(t)
  sum(t * mapply( function(r, c){
      sum(t[(r_ndx > r) & (c_ndx < c)])
  },
    r = r_ndx, c = c_ndx) )
}
kendall_tau_c = function(t){
    t = as.matrix(t) 
    m = min(dim(t))
    n = sum(t)
    ks_tauc = (m*2*(P(t)-Q(t)))/((n*n)*(m-1))
}
I=is.na(b$GPD)
bw=density(log(b$GPD[!I]))$bw
kendall.weight=function(x){
df=data.frame(Y1=b$LEF, Y2=b$LEM, freq=trunc(dnorm(log(b$GPD)-log(x),sd=bw)*100))
df=df[!is.na(df$freq),]
dfrep=data.frame( lapply(df, function(x){rep(x, df$freq)}))
t=xtabs(~ Y1+Y2, dfrep)
return(kendall_tau_c(t))}

Here, I use weights using some Gaussian kernel on the logarithm of the GPD per capita (my standard deviation for the Gaussian weight being equal to the bandwidth of the Gaussian kernel of the density of the log of the GPD per capita), then, we can compute various conditional Kendall’s tau,

T=exp(seq(6,11.5,length=50))
K=Vectorize(kendall.weight)(T)

and plot them,

plot(T,K,type="l",xlab="Conditional Kendall's tau vs. GPD (log scale)")

There is more “correlation” between lifetimes of men and women in poor countries than rich country (which is also what Noël observed). Now, we can also play with time, because we have those statistics for several years.