Tag Archives: big data

“Raw Data” is an Oxymoron

Cette semaine, j’ai pris le temps pour parcourir un livre que j’avais reçu à la rentrée, “Raw Data”  is an Oxymoron, collection de textes édité par Lisa Gitelman en 2013, aux MIT Press. Une lecture critique avait été faite l’an passé sur les blogs impactofsocialsciences de la LSE et infofutures de la bibliothèque de NYU. J’avais alors eu envie de parcourir ce (petit) livre, et j’ai été ravi qu’on me l’envoie cet été. Je noterais aussi que j’ai été surpris de voir autant d’auteures femmes sur ce sujet, où d’ordinaire, on lit beaucoup le point de vue d’hommes. Et c’est passionnant. Je ne vais pas faire une lecture critique du livre, mais plutôt rappeler que mon blog est un carnet de recherche ouvert, où je garde mes notes de lectures, entre autres ici certains passages du livre que j’ai surligné lors de ma lecture. Continue reading “Raw Data” is an Oxymoron

Data science pour actuaire

Je vais relayer ici un peu d’information. A Paris, l’Institut du Risk Management va proposer une formation Data science pour actuaire qui débutera durant le 1er semestre 2015. Il s’agit d’une formation de 170 heures (à raison de 2 jours et demi par mois), pour 20-25 actuaires, qui sera sanctionnée par un examen, et qui donnera accès au diplôme data scientist de l’Institut du Risk Management. Au programme, l’environnement Big Data (30 h), méthodologie statistique (50 h), mise en oeuvre informatique (50 h) et études de cas (40 h). Pour plus d’info, il faut envoyer un message à datascience@institutdesactuaires.com. J’essayerais de poster des informations au fur et à mesure ! A suivre donc…

Big Data, à Paris

Mercredi maitin, après une dernière réunion à Bruxelles, je prends le train pour être à Paris à l’heure du repas du midi pour faire une (rapide) intervention sur le big data, pour le groupe de travail big data de l’Institut des Actuaires. Je crois que l’intervention est prévue à 12:30, chez Optimind, rue de la Boëtie. J’ai essayé de mettre quelques éléments de réflexion dans des transparents, histoire de lancer des débats !

Je passerais la soirée à Paris (après quelques réunions l’après-midi), avant de redécoller jeudi matin.

Ἀγεωμέτρητος μηδεὶς εἰσίτω

comme disait Platon (si on en croit la légende). J’aurais pu aussi mettre comme titre “retour sur un malentendu“. Le débat de jeudi soir, sur le Big Data, était quelque peu déstabilisant. Pour revenir un peu sur l’histoire complète (j’avais promis de faire un billet sur tout ce que j’aurais pu apprendre pendant la soirée), j’avais été contacté pour participer à un débat sur le Big Data il y a quelques semaines. J’avais alors accepté, et suggéré d’inviter aussi Yves-Alexandre, que je n’avais jamais rencontré, mais dont j’avais vu passer des études, et que je suivais sur Twitter. Après discussion avec Sophie, on s’était dit qu’il serait pertinent d’avoir des intervenants complémentaires, connaissant en particulier les réseaux, le droit des réseaux, ou pour parler de data visualization, ou de data journalism. Bref, Sophie a contacté Vincent Gautrais et Jean-Hugues Roy, ce qui permettais d’élargir le panel, et ne pas avoir uniquement le point de vue de statisticiens. J’ai découvert le titre en voyant l’affiche, et je me disais que d’un point de vue communication, associer Big Data et Big Brother était une stratégie qui devait pouvoir se justifier. Et effectivement, en quelques heures toutes les places avaient été réservées. Depuis, j’avoue avoir beaucoup travaillé, car j’étais anxieux à l’idée de débattre sur un sujet aussi technique, dans un pavillon du campus des sciences. Je voulais éviter des imprécisions sur les données utilisées en climatologie et en météorologie. Je voulais éviter d’embrouiller si on parlait d’aspects techniques de parallélisation des algorithmes. Je voulais éviter d’être confus si on parlait inférence causale (même si sur ce point, Yves-Alexandre aurait pu éclairer le débat). Mais je n’avais pas imaginer que le débat tourne autour de Big Brother, du sentiment de violation de la vie privée, et des angoisses que cela causait. Après coup, je me rends compte que j’étais probablement un usurpateur (je n’ai pas été le seul à m’en rendre compte, compte tenu de quelques réactions que nous avons eu par la suite) dans le “débat” car il aurait mieux valu avoir un psychologue, ou un sociologue, pour parler de psychose collective face aux technologies, ou du sentiment de viol (de sa vie privée). Je pense aussi qu’un spécialiste en bureautique, pour expliquer comment désactiver les options de publicité ciblée sous Google, aurait été utile puisque plusieurs remarques portait sur ce point. Cela dit, je mettais de guillemets à “débat” car beaucoup d’interventions de la salle étaient plus des commentaires que des questions destinées aux quatre “experts” sollicités (mais peut-être est-ce une manière classique de débattre dans certains lieux). J’avoue avoir été surpris par le fait que, dans un débat tenu dans un cadre universitaire, le public applaudisse un discours partisan, une forme de témoignage. Comme je l’avais dit, je n’ai pas l’habitude de participer à ce genre de débat public, et j’ai trouvé cela déconcertant à plusieurs reprises. Pour l’anecdote, j’avais l’impression en discutant avec Sophie, qui animait le débat, qu’une opposition serait faite entre “sciences dures” et “sciences molles” (mathématiciens opposés au journaliste et au juriste), mais finalement, on a surtout ressenti une animosité de la part de certaines personnes dans la salle (dont plusieurs ont pris la parole). Afin d’illustrer la malentendu évoqué au début, je me contenterais de m’auto-troller, afin d’offrir un témoignage d’un des intervenants, justement, en mettant en commentaire un message qu’il s’est permis de nous envoyer à tous les quatre vendredi après-midi.

Maintenant, il y a eu quelques commentaires (voire quelques questions pertinentes) sur lesquelles je voulais revenir. Et mentionner des points qui ont été évoqué lorsque la discussion s’est poursuivie à quatre (avec les autres intervenants, dans un vrai bar cette fois, pas “des Sciences”). Histoire d’introduire le débat, j’avais voulu évoquer un exemple qui a beaucoup fait parler ces derniers jours (je pense à Who owns real-time sports data?), et qui me semblait parfaitement introduire le débat. Un match de basket, c’est ça, par exemple, avec plusieurs joueurs qui bougent vite, des joueurs qui attaquent, d’autre qui défendent, et un ballon.

Maintenant, il faut savoir que toute l’action se retrouve sous forme de data, via des caméras qui permettent de tout numériser. Bref, on passe d’observations en direct, en trois dimensions, qui évoluent dans le temps, à des “données”. Ce que j’appellerais des données complexes. Avec en plus, une reconnaissance des joueurs, qui peuvent être suivis, même s’ils bougent (très) vite.

Si on fait un petit dessin, on peut faire une analyse spatio-temporelle de l’action de jeux (et analyser les prises de décision).

Si on en croit wikipedia, le Big Data, c’est les 3V: volume (avec des gros volumes de données – ici on part d’images vidéos, analysées, dont on extrait des informations, au dixième de seconde près), vélocité (le but est de faire des analyses en temps réel, de comprendre les décisions des joueurs, comme tirer, ou passer la balle à un coéquipier) et variété (on a toute sorte de données, effectivement, avec des localisations, des noms de joueurs, des propriétés sur les joueurs, car on a accès aux statistiques des joueurs, on sait qui est bon pour marquer à trois points, qui défend bien). Bref, j’avais envie d’illustrer le Big Data avec cet exemple qui me semble représentatif (même si un peu idyllique, car peu de monde a accès à des données aussi incroyables). Cela dit, ces données sont les observations d’individus consentants, qui semblent éloignées des préoccupations de certaines personnes qui souhaitaient que le débat porte sur la vie privée.

Parmi les points que j’ai noté, Vincent a évoqué une intervention de Michel Serres qui permet de réfléchir, effectivement,

Par la suite, on a pu parler longuement de ce qu’est l’anonymat des données (qui a été peu abordé pendant le débat proprement dit, malheureusement) en revenant sur Unique in the Crowd: The privacy bounds of human mobility, étude à laquelle a participé Yves-Alexandre, sur les métadonnées, et le fait que “human mobility traces are highly unique. In fact, in a dataset where the location of an individual is specified hourly, and with a spatial resolution equal to that given by the carrier’s antennas, four spatio-temporal points are enough to uniquely identify 95% of the individuals” (on pourra aussi relire MIT News à ce sujet)

La discussion sur les métadonnées était passionnante: les métadonnées sont suffisantes pour faire des études simples (comme l’étude sur la grippe de Google, évoquée dans un précédant billet, que j’avais écrit en vue de préparer le débat, mais on peut penser aux cartes en temps réel indiquant l’état du trafic sur les routes). Mais cette étude remet beaucoup de chose en cause, sur l’anonymat des métadonnées. Sujet passionnant, s’il en est !

Je n’ai pas noté grand chose, malheureusement, donc si des personnes ont pris des notes, avec des exemples ou des commentaires intéressants, je serais ravi de les relayer.

Bar des Sciences: Débat sur le Big Data

Le Cœur des Sciences, à Université du Québec à Montréal, organise le 13 février prochain, à 18h, un débat grand public sur le Big Data, dans le cadre d’un bar des sciences, auquel je devrais participer, avec Vincent Gautrais (a.k.a. @gautrais), Yves-Alexandre de Montjoye (a.k.a. @yvesalexandre) et Jean-Hughes Roy (a.k.a. @jeanhuguesroy). Les mauvaises langues diront que je n’aurais pas pu refuser d’intervenir dans un bar (et elles n’auront probablement pas tort). Cela dit, le public ne semble plus autorisé : dans les heures qui ont suivi l’annonce, l’événement a été complet !

Je vais en profiter, aujourd’hui, pour livrer quelques éléments de réflexion… les commentaires sont ouverts, mais la suite du débat se fera au Cœur des Sciences (j’essayerais de faire un résumé sur le blog). Car c’est la première fois que je fais une intervention sur le sujet (de manière aussi explicite). Je ne peux m’empêcher d’avoir une pensée pour les mots de Dan Ariely, sur le Big Data,

Pour avoir discuté avec de nombreux professionnels, dans l’industrie, qui manipulent des données quotidiennement, je les ai vu passer par les cinq grandes étapes décrites par Zubin Dowalty,

  1. le déni, “There’s nothing in that big data that we don’t already know.
  2. la colère, “There’s nothing in that big data that we don’t already know!” (avec un point d’exclamation cette fois)
  3. la négociation, “If we could just get the budget to expand the project…
  4. la dépression, “These data sets are just overwhelming. There’s no way we can do this.”
  5. l’acceptation, “This isn’t going to happen overnight. We need to be strategic about how and when to undertake big data analysis.

C’est devenu un cliché que l’utilisation de l’informatique exploser, de manière exponentielle. Aussi bien au niveau du nombre d’utilisateurs, de la vitesse de calcul, des capacités de stockage que du volume de données récoltées via internet

Si on admet qu’il y a matière à réflexion, il va falloir dire davantage de quoi parle, car si on fonctionne par association d’idées, le terme Big Data peut évoquer beaucoup de choses. En tant que statisticien, il me fait penser à des problèmes assez profonds de modélisation, de high frequency-data (sans parler de HFT), de différence entre causalité et corrélation, ainsi que des aspects importants de statistique computationnelle (difficulté de faire tourner des algorithmes sur des très très grosses matrices, sans parler des mathématiques plus complexes qui vont avec). En tant que spécialiste de l’analyse de données, ce terme m’évoque deux autres termes connexes, que sont l’open data et le hacking de données. En tant qu’économiste, je pense également au business associé aux logiciels d’analyse de données, aux espaces publicitaires de Google, aux suggestions que me fait Amazon dès que je commande un livre, à l’utilisation des informations en ligne (par exemple les amis sur Facebook) dans les scores de crédit, etc. Mais l’accent qui a été mis ici (de part la seconde partie du titre), c’est l’aspect Big Brother. Donc un aspect important sera probablement autour des applications mobiles, du marketing, d’internet, et des algorithmes qui semblent nous contrôler.

Bref, on va parler de data science. Sean Owen notait (toujours avec ironie)

On pourrait donc croire qu’il n’y a rien de nouveau sous le soleil…?

  • le Big Data avec les yeux d’un statisticien

Pour reprendre les mots d’Alan Mitchell, dans big data, big dead end,

Big data is all about statistics: divining patterns and trends from large data sets. Statistics are incredibly powerful and useful for the way they challenge the assumptions and inferences naturally made by human minds – many of them faulty. As I said, that’s great.

Avant de rentrer dans le vif du sujet, deux petites réflexions pour débuter. Autour du mot Big pour commencer. En mathématiques financières, beaucoup de modèles de valorisation ont été développés en temps continu, avec des processus de prix . Délicat de réconcilier avec l’économétrie financière, où les prix sont observés à des dates . En statistique mathématique et en économétrie, la majorité des théorèmes sont asymptotiques, i.e. valides lors que la taille de l’échantillon  tend vers l’infini. Aussi, traditionnellement, avoir des Small Data était un soucis, car il semble que les modèles ont été pensé, précisément, sous l’hypothèse qu’un grand nombre d’observations serait disponible. Narinder Singh, écrivait en décembre dernier

Big Data is misnamed in our (academic) world, because data sets have always been big. What is different is that we now have the technology to simply run every scenario.

Mais ça n’est pas si simple que ça, loin de là. Le terme Data tout d’abord s’est élargie. Les données étaient auparavant des niveaux de production industrielle, ou des prix de matière première.

Classiquement, ces jeux de données était présenté sous forme matricielle, un rectangle de https://latex.codecogs.com/gif.latex?n lignes (les observations) et https://latex.codecogs.com/gif.latex?k colonnes (les variables). Historiquement, on avait un nombre important (par forcément Big) de lignes, un peu moins de variables pour les expliquer. Un certain nombre de problèmes se sont posé en génétique, quand https://latex.codecogs.com/gif.latex?k s’est mis à croitre plus rapidement que https://latex.codecogs.com/gif.latex?n. Et les données on commencé à devenir plus compliquées. On pourra penser aux données de l’assurance maladie, avec des consultations médicales, des consommations de médicaments (consécutives à une visite chez le médecin), puis la visite d’un spécialiste, etc. Des transcriptions d’appels téléphonique à un centre d’appels, ou des collections de livres dans différentes langues éventuellement. Des images, ou des vidéos. Voire de l’imagerie médicale en trois dimensions (en plus du temps). Des achats de consommateurs sur un site de vente en ligne (des grosses matrices creuses, car non informées). Bref, le mot Data, il est devenu plus complexe qu’il ne l’était auparavant (nous reviendrons un peu sur les outils mathématiques pour les appréhender).

1. Le Big Data, renoncer à chercher des cause et identifier des corrélations 

(dont j’avais déjà parlé rapidement dans un billet suite à ma lecture des livres de Nate Silver, et de  Kenneth Cukier et Viktor Mayer-Schönberger). Pour résumer rapidement, Kenneth Cukier et Viktor Mayer-Schönberger notaient dans mise en données du monde, le déluge numérique,

Pareil usage suppose trois changements majeurs dans notre approche. Le premier consiste à recueillir et à utiliser le plus grand nombre possible d’informations plutôt que d’opérer un tri sélectif comme le font les statisticiens depuis plus d’un siècle. Le deuxième implique une certaine tolérance à l’égard du désordre : mouliner des données innombrables, mais de qualité inégale, s’avère souvent plus efficace qu’exploiter un petit échantillon impeccablement pertinent. Enfin, le troisième changement implique que, dans de nombreux cas, il faudra renoncer à identifier les causes et se contenter de corrélations. Au lieu de chercher à comprendre précisément pourquoi une machine ne fonctionne plus, les chercheurs peuvent collecter et analyser des quantités massives d’informations relatives à cet événement et à tout ce qui lui est associé afin de repérer des régularités et d’établir dans quelles circonstances la machine risque de retomber en panne. Ils peuvent trouver une réponse au « comment », non au « pourquoi » ; et, bien souvent, cela suffit. […] Ce changement d’approche à l’égard des données numériques — exhaustives et non plus échantillonnées, désordonnées et non plus méthodiques — explique le glissement de la causalité vers la corrélation. On s’intéresse moins aux raisons profondes qui président à la marche du monde qu’aux associations susceptibles de relier entre eux des phénomènes disparates. L’objectif n’est plus de comprendre les choses, mais d’obtenir une efficacité maximale.

On y retrouve ici les propos de Chris Anderson, tenu en 2008 dans The End of Theory: The Data Deluge Makes the Scientific Method Obsolete,

In short, the more we learn about biology, the further we find ourselves from a model that can explain it. There is now a better way. Petabytes allow us to say: “Correlation is enough.” We can stop looking for models. We can analyze the data without hypotheses about what it might show. We can throw the numbers into the biggest computing clusters the world has ever seen and let statistical algorithms find patterns where science cannot.

C’est un changement profond de mentalité. En 1963, Karl Popper (bien que traditionnellement vu comme un philosophe critique de l’inductivisme) affirmait qu’il était inutile de recueillir des données en espérant faire ressortir des similitudes, permettant ensuite de faire émerger une nouvelle théorie :

the belief that we can start with pure observations alone, without anything in the nature of a theory, is absurd; as may be illustrated by the story of the man who dedicated his life to natural science, wrote down everything he could observe, and bequeathed his priceless collection of observations to the Royal Society to be used as inductive evidence. This story should show us that though beetles may profitably be collected, observations may not.

Malgré tout, le big data propose un changement de paradigme sur la méthode scientifique, peut être plus que sur la modélisation statistique.

2. Petit problème épistémologique

Au delà du débat corrélation-causalité, la statistique pose des problèmes fondamentaux d’épistémologie, pour les philosophes des sciences. Pour reprendre l’idée de Karl Popper, dans The Logic of Scientific Discovery, reprise dans Gilles (1971)

for although probability statements play such a vitally important role in empirical science, they turn out to be impervious to strict falcification

Un exemple est donné par Katja de Vries: le postulat “tous les cygnes sont blancs” a été invalidé dès lors qu’un cygne noir a été observé pour la première fois. C’est ainsi que fonctionne la science. Mais si on reprend l’exemple suivant (pris chez un autre grand philosophe)

on note qu’il est difficile (“impossible” dirait Karl Popper) d’invalider une hypothèse statistique. Pour pouvoir affirmer avec certitude que la probabilité qu’un pièce tombe sur “face” est 50%, il faut une infinité de tirages de cette pièce:

only an infinite sequence of events (…) could contracit a probability estimate

C’est d’ailleurs l’argumentaire que l’on retrouve abordé avec maints exemples dans Merchants of Doubt, de Naomi Oreskes et Erik Conway (je reviendrais sur ce livre dans les semaines qui viennent). C’est probablement à cause de cela que beaucoup de prévisionnistes (je préfère le terme “prédicateurs“) sont vus comme des charlatans. Si j’affirme qu’il y a 3 chances sur 10000 pour qu’un incendie se déclare au pavillon du Coeur des Science le 13 février, il sera difficile de valider ou d’invalider mon estimation. Quoi qu’il se passe, je pourrais toujours dire “je vous l’avais dit” (soit qu’un incendie était possible, soit qu’il était extrêment improbable). On va alors quiter le monde où un évènement serait “impossible” à celui où il serait “hautement improbable“. Ce qu’un scientifique appelerait “peu vraisemblable” correspondrait à ce que Karl Popper appelerait “practical falsified“,

It is fairly clear that this ‘practical falsification’ can be obtained only through a methodological decision to regard highly improbable events as ruled out – as prohibited. But with what right can they be so regarded? Where are we to draw the line? Where does this ‘high improbability’ begin?

En pratique, la réponse a été apportée par l’utilisation d’une p-value, une sorte de ‘statistical significant falsification‘, pour reprendre les termes de Karl Popper. Nous allons revenir sur ce point dans quelques paragraphes.

3. Du modèle paramétrique à la statistique non-paramétrique

Dans the end of theory: the data deluge makes the scientific method obsolete, Chris Anderson prétendait que

Data without a model is just noise. But faced with massive data, this approach to science — hypothesize, model, test — is becoming obsolete.

C’est là encore probablement un peu plus complexe qu’il n’y parait. La commission Cowles, qui a posé les bases de la théorie économétrique (tout en fondant l’Econometric Society, et la prestigieuse revue Econometrica) partait du postulat qu’un modèle économétrique devait être le reflet d’un modèle économique. C’est ce qu’on retrouve dans les SEM (Structural Equation Model) comme le modèle de Klein, proposé en 1950,

Techniquement, on parlera de modèle paramétrique, puisqu’à partir de jeux de données, les seuls inconnues sont les paramètres  et . La transition vers les modèles non-paramétriques, dans lesquels les données l’emportent sur un éventuel modèle, ne s’est pas fait sans douleur. Leo Breiman l’analyse dans statistical modeling: the two cultures, paru en 2001.

Pour comprendre la distinction, on peut reprendre l’exemple classique du modèle linéaire. Considérons les 50 observations suivantes, avec des couples de variables . Dans le modèle linéaire, on suppose que

mais on peut aussi considérer un modèle quadratique

(ou toute autre relation fonctionnelle ayant une forme paramétrique). Si on suppose que  est un bruit, imprévisible, on peut espérer que ce bruit soit centré, au sens où – en moyenne – ce bruit doit être nul. Pour ajuster notre modèle, on va alors chercher à minimiser la somme des carrés de ces erreurs, on on cherche

On peut alors montrer que cette méthode permet d’obtenir la valeur moyenne de https://latex.codecogs.com/gif.latex?Y, à https://latex.codecogs.com/gif.latex?X donné,

Mais si on veut connaître la moyenne de https://latex.codecogs.com/gif.latex?Y sachant https://latex.codecogs.com/gif.latex?X=x, pourquoi par juste prendre une moyenne, calculée sur les https://latex.codecogs.com/gif.latex?X_i proches de la valeur x qui nous intéresse ? C’est ce qu’on va appeler un estimateur non-paramétrique de la “droite” de régression

https://latex.codecogs.com/gif.latex?\widetilde{Y}(x)=\frac{\displaystyle{\sum_{i=1}^n%20Y_i\cdot%20\boldsymbol{1}(\vert%20X_i-x\vert\leq%20h)}}{\displaystyle{\sum_{i=1}^n%20\boldsymbol{1}(\vert%20X_i-x\vert\leq%20h)}}

On ne fait pas ici de modèle, et la prévision sera imposée par nos données.

Pour aller plus loin sur les outils statistiques, on pourra relire Hal Varian.

4. La p-value à l’ère du Big Data

Dans too big to fail: large samples and the p-value problem, Mingfeng Lin, Henry Lucas, Jr. et Galit Shmueli notent le point suivant

A key issue with applying small-sample statistical inference to large samples is that even minuscule effects can become statistically significant. The increased power leads to a dangerous pitfall as well as to a huge opportunity. The issue is one that statisticians have long been aware of: “the p-value problem.” Chatfield (1995, p. 70) comments, ‘The question is not whether differences are ‘significant’ (they nearly always are in large samples), but whether they are interesting. Forget statistical significance, what is the practical significance of the results?’

Sur l’utilisation de la p-value, ainsi que son histoire, je renvois à quelques billets. Le problème de la taille de l’échantillon est plus technique. Je remets ça à un billet dans les mois qui viennent…

5. Le Big-Data pour remplacer des algorithmes qui ne peuvent être améliorés

Une des difficulté est de modéliser les prises de décisions d’êtres humains. Dans des comportements d’achat (nous allons y revenir un peu plus tard), mais aussi dans le cadre de jeux de stratégie. Les jeux sont plus simples que la vraie vie, car les règles y sont claires et non modifiables. En particulier le jeu d’échec. Comme le notent Viktor Meyer-Schönberger et Kenneth Cukier dans Big data, a revolution that will transform how we live, work and think

For example, chess algorithms have changed only slightly in the past few decades, since the rules of chess are fully known and tightly constrained. The reason computer chess programs play far better today than in the past is in part that they are playing their endgame better. And they’re doing that simply because the systems have been fed more data. In fact, endgames when six or fewer pieces are left on the chessboard have been completely analyzed and all possible moves (N=all) have been represented in a massive table that when uncompressed fills more than a terabyte of data. This enables chess computers to play the endgame flawlessly. No human will ever be able to outplay the system.

Cet exemple est également repris par Nate Silver dans the Signal and the Noise,

Chess might be thought of as analogous to prediction. The players must process information—the position of the thirty-two pieces on the board and their possible moves. They use this information to devise strategies to place their opponent in checkmate. These strategies in essence represent different hypotheses about how to win the game. Whoever succeeds in that task had the better hypothesis. Chess is deterministic—there is no real element of luck involved. But the same is theoretically true of the weather (…).Our knowledge of both systems is subject to considerable imperfections. In weather, much of the problem is that our knowledge of the initial conditions is incomplete. Even though we have a very good idea of the rules by which the weather system behaves, we have incomplete information about the position of all the molecules that form clouds and rainstorms and hurricanes. Hence, the best we can do is to make probabilistic forecasts. In chess, we have both complete knowledge of the governing rules and perfect information—there are a finite number of chess pieces, and they’re right there in plain sight. But the game is still very difficult for us. Chess speaks to the constraints on our information-processing capabilities—and it might tell us something about the best strategies for making decisions despite them. The need for prediction arises not necessarily because the world itself is uncertain, but because understanding it fully is beyond our capacity. Both computer programs and human chess masters therefore rely on making simplifications to forecast the outcome of the game. We can think of these simplifications as “models,” but heuristics is the preferred term in the study of computer programming and human decision making. It comes from the same Greek root word from which we derive eureka.10 A heuristic approach to problem solving consists of employing rules of thumb when a deterministic solution to a problem is beyond our practical capacities

Et cet exemple du jeu d’échec se retrouve sur la traduction automatique, entre autres.

The degree to which more data trumps better algorithms has been powerfully demonstrated in the area of natural language processing: the way computers learn how to parse words as we use them in everyday speech. Around 2000, Microsoft researchers Michele Banko and Eric Brill were looking for a method to improve the grammar checker that is part of the company’s Word program. They weren’t sure whether it would be more useful to put their effort into improving existing algorithms, finding new techniques, or adding more sophisticated features. Before going down any of these paths, they decided to see what happened when they fed a lot more data into the existing methods. Most machine-learning algorithms relied on corpuses of text that totaled a million words or less. Banko and Brill took four common algorithms and fed in up to three orders of magnitude more data: 10 million words, then 100 million, and finally a billion words. The results were astounding. As more data went in, the performance of all four types of algorithms improved dramatically. In fact, a simple algorithm that was the worst performer with half a million words performed better than the others when it crunched a billion words. Its accuracy rate went from 75 percent to above 95 percent. Inversely, the algorithm that worked best with a little data performed the least well with larger amounts, though like the others it improved a lot, going from around 86 percent to about 94 percent accuracy. “These results suggest that we may want to reconsider the tradeoff between spending time and money on algorithm development versus spending it on corpus development,” Banko and Brill wrote in one of their research papers on the topic.

Aussi, sur http://translate.google.com/, on peut avoir une traduction du portugais vers le français, sans que l’ordinateur ne “connaisse” aucune des deux langues. Il pourrait tout aussi bien traduire vers de l’elfique ou du Klingon, comme le sugérait Chris Anderson dans the end of theory: the data deluge makes the scientific method obsolete.

6. Les outils mathématiques du Big-Data

Un problème classique, vu comme un problème trop complexe car aboutissant à des calculs impossibles à mener en un temps raisonnable (disons avant la fin du système solaire dans quelques milliards d’années) est le problème du voyageur de commerce. En 1962, Procter & Gamble ont offert un prix de 10,000$ à celui qui trouverait le chemin le plus court pour que Toody et Muldoom, les conducteurs de la voiture 54 dans une série populaire à l’époque, passent par 33 villes, aux États-Unis.

Comme le calcule William Cook, dans In Pursuit of the Traveling Salesman, avec 33 villes, il y aurait

131,565,418,466,846,765,083,609,006,080,000,000

chemins possibles, dont il faudrait calculer la longueur. Et qu’avec l’ordinateur le plus puissant en 2009 (effectuant 1.5 million de milliards d’opérations à la seconde) il faudrait 28,000 milliards d’année pour mener à bien les calculs. Une des ébauches de solution est celle proposée par Euler, dans son problème des sept ponts de Königsberg, dans solutio problematis ad geometriam situs pertinentis.

Cette approche à l’aide de graphs a donné naissance à la notion de Topological Data Analysis (trois tomes sur le sujet ont été publiés récemment chez Springer).

Topological data analysis is a way of getting structured data out of unstructured data so that machine-learning algorithms can act more directly on it

Parmi les techniques utilisées, on va retrouver les méthodes d’échantillonnage. En 2007, Jim Gray (lauréat du prix Turing) affirmait (cette idée a été reprise dans The Fourth Paradigm, paru en 2009)

The world of science has changed, and there is no question about this. The new model is for the data to be captured by instruments or generated by simulations before being processed by software and for the resulting information or knowledge to be stored in computers. Scientists only get to look at their data fairly late in this pipeline. The techniques and technologies for such data-intensive science are so different that it is worth distinguishing data-intensive science from computational science as a new, fourth paradigm for scientific exploration

Sur la visualisation des réseaux, on pourra relire à ce sujet cartographier les réseaux de Martin Grandjean, qui montre un cas pratique sur des réseaux entre parlementaires et activités de lobbying, en Suisse

avec en prime une visualisation élégante

Les ordinateurs ont transformé les mathématiques, plus personnes ne remettra ce point en doute. Les mathématiciens ont longtemps cherché des solutions analytiques aux équations obtenues; et si l’on sait qu’il sera impossible d’avoir une forme analytique élégante, on sait se contenter, depuis plusieurs décennies, de solutions numériques (on pourra relire science in the age of computer simuulations d’Eric Winsberg). Dans computational complexity: a modern approach, Sanjeev Arora et Boaz Barak présentent de manière presque compréhensible le concept de preuves interactives (dans le chapitre 8), introduites en 1985 par Goldwasser, Micali et Rackoff d’une part, Babai d’autre part.

As an example for a probabilistic interactive proof system, consider the following scenario: Marla claims to Arthur that she can distinguish between the taste of Coke (Coca-Cola) and Pepsi. To verify this statement, Marla and Arthur repeat the following experiment 50 times: Marla turns her back to Arthur, as he places Coke in one unmarked cup and Pepsi in another, choosing randomly whether Coke will be in the cup on the left or on the right. Then Marla tastes both cups and states which one contained which drinks. While, regardless of her tasting abilities, Marla can answer correctly with probability 1/2 by a random guess, if she manages to answer correctly for all the 50 repetitions, Arthur can indeed be convinced that she can tell apart Pepsi and Coke.

On retrouve en quelque sorte qu’avec suffisamment de données, on peut tirer des conclusions robustes.

Dans un article passionnant (datant de 2000), intitulé the curses and blessings of dimensionality, David Donoho nous rappelle que la grande dimension n’est pas qu’un fléau (“curve of dimensionsality”) comme l’évoquait Richard Bellman en 1957,

all [problems due to high dimension] may be subsumed under the header the curse of dimensionality. Since it is a curse (…) there is no need to feel discouraged about the possibility of obtaining significant results despite it

En fait, la grande dimension, ce n’est pas si simple, et les difficultés ne vont pas forcément croître avec la dimension. Considérons par exemple le volume d’une sphère de rayon 1, en dimension . On peut montrer que le volume est

Si on regarde cette fonction, effectivement, passer de la dimension 3 a la dimension 4 puis a la dimension 5 faire grossir la taille de notre boule. Mais passée la dimension 10, de manière surprenante, la dimension diminue… Amusant non ?

En plus on n’est pas n’importe où ! En fait, on a très peu de chances d’être au centre: on peu montrer assez simplement que si on tire des points au hasard dans la sphère unité, on a en fait de très très fortes chances d’être au bord de la sphère. Et le calcul est simple: la probabilité d’être a une distance supérieure a  (et donc d’être vraiment proche du bord) si  est

lorsque  (quelle que soit la valeur de ). Bref, les grands espaces, c’est grand, mais c’est rempli de vide !

Il y a plus de 5 ans, lors des journées UseR! à Rennes, Trevor Hastie avait fait un exposé brillant qui m’avait ouvert les yeux sur des problèmes que j’ignorais : les très grosses matrices sont souvent très vide, en évoquant l’exemple de la prévision pour Netflix ou Amazon (ce dernier exemple est repris dans big data, a revolution that will transform how we live, work and think)

Dans les années 60, John Tukey s’est battu pour que l’analyse de données (Data Analysis) devienne une discipline reconnue, distincte de la statistique mathématique. En 1962, il prononçait un discours au congrés annuel de l’IMS (Institute of Mathematical Statistics) intitulé the future of data analysis, qui servira de base à son ouvrage paru 15 ans plus tard, Explanatory Data Analysis. Dans ce discours, il quitte le monde des preuves mathématiques pour explorer les données. Comme le notera Howard Wainer,

he legitimized that, because he wasn’t doing it because he wasn’t good at math; he was doing it because it was the right thing to do

Comme le notait très justement John Tukey dans the technical tools of statistics (via http://cm.bell-labs.com/…)

Today, software and hardware together provide far more powerful factories than most statisticians realize, factories that many of today’s most able young people find exciting and worth learning about on their own. Their interest can help us greatly, if statistics starts to make much more nearly adequate use of the computer. However, if we fail to expand our uses, their interest in computers can cost us many of our best recruits, and set us back many years.

http://f.hypotheses.org/wp-content/blogs.dir/253/files/2013/02/102646212-05-04.jpeg

Car le Big Data, c’est résolument autre chose (par rapport à ce qui se faisait traditionnellement en statistique). Tout d’abord, les simulations se font autour d’un modèle mathématique: on est face à un espace immense, mais il y a un modèle. Alors que le Big Data repose davantage sur un problème d’exploration face à une forêt vierge. Dans le premier cas, on continue à progresser de manière déductive, alors que le Big Data force à avancer par induction. Pour reprendre les termes de Cosma Shalizi dans data mining

Data mining, more stuffily ‘knowledge discovery in databases’, is the art of finding and extracting useful patterns in very large collections of data. It’s not quite the same as machine learning, because, while it certainly uses ML techniques, the aim is to directly guide action (praxis!), rather than to develop a technology and theory of induction. In some ways, in fact, it’s closer to what statistics calls ‘exploratory data analysis’, though with certain advantages and limitations that come from having really big data to explore.

7. “With great power comes great responsibility

Tout le monde le dit, le Big Data redonne le pouvoir aux statisticiens. Pour reprendre l’analyse de Mike Loukides dans what is data science,

According to Mike Driscoll (@medriscoll), statistics is the ‘grammar of data science.’ It is crucial to ‘making data speak coherently.’. But it takes statistics to know whether this difference is significant, or just a random fluctuation.

C’est ce que Nate Silver appelle the Signal and the Noise (pour reprendre le titre de son livre).

Data science isn’t just about the existence of data, or making guesses about what that data might mean; it’s about testing hypotheses and making sure that the conclusions you’re drawing from the data are valid.

Cela dit raconter une histoire (et donc extraire les informations importantes) à partir d’observations en (très) grande dimension est toujours un exercice délicat. Et souvent subjectif.

8. Les applications importantes du Big-Data

Il existe des milliers d’applications concrètes, dans la vie de tous les jours (ou presque). Un exemple important peut être l’imagerie. Il s’agit d’un problème de Big-Data au même sens que les jeux d’échecs. Par exemple, pour reprendre un graphique tiré de Cireşan et al. (2013), sur la détection de mitoses dans des cancers du sein (par des réseaux de neurones), on cherche des tâches sombres atypiques. Avec une fréquence, et une distribution que l’on retrouve chez des personnes malades, et pas chez des personnes saines,

En tant que statisticien, le big data, c’est un porte-ouverte fabuleuse. Pour reprendre le diagramme de Venn proposé par Vincent Granville,

C’est plus ni moins ce qu’affirmait Mike Loukides dans what is data science,

What differentiates data science from statistics is that data science is a holistic approach. We’re increasingly finding data in the wild, and data scientists are involved with gathering data, massaging it into a tractable form, making it tell its story, and presenting that story to others.

Et je ne peux que confirmer ! Lorsqu’auparavant, dans une soirée, je disais que j’étais mathématicien, ou statisticien, j’étais constamment vu comme un nerd (et ce n’était probablement pas infondé). Maintenant que je suis data scientist, expert en big data, je me fais inviter par des jolies filles dans des bars en tant que VIP (des bars des sciences, certes, mais c’est un début !).

  • le Big Data avec les yeux d’un économiste

Quand on pense Big Data, on pense aussi au commerce en ligne, et aux applications interactives (en tous les cas qui doivent fournir des réponses beaucoup plus vite qu’une analyse statistique poussée, menée sur plusieurs semaines, voir plusieurs mois).Pour reprendre l’analyse de Dave Rich et Jeanne Harris dans why predictive analytics is a game-changer, how companies use real-time data to plan for the future,

In simple terms analytics means using quantitative methods to derive insights from data, and then drawing on those insights to shape business decisions and, ultimately, improve business performance. Thus predictive analytics is emerging as a game-changer. Instead of looking backward to analyze ‘what happened?’ predictive analytics help executives answer ‘What’s next?’ and ‘What should we do about it?’

1. Enjeux financiers du Big Data

En février 2010, The Economist, dans l’article data, data everywhere, évaluait que la vente de logiciels spécialisés dans les notions de “data management” et autres “analytics” représentait un enjeux financier colossal, avec des montants de l’ordre de 100 milliards de dollars, avec un taux de croissance de l’ordre de 10% par an,

The business of information management—helping organisations to make sense of their proliferating data—is growing by leaps and bounds. In recent years Oracle, IBM, Microsoft and SAP between them have spent more than $15 billion on buying software firms specialising in data management and analytics. This industry is estimated to be worth more than $100 billion and growing at almost 10% a year, roughly twice as fast as the software business as a whole.

Et le travail des data engineers va au delà (en quelque sorte) du travail traditionnel du statisticien. Le titre complet de l’article what is data science? de Mike Loukides (publié en juin 2010) était the future belongs to the companies and people that turn data into products. Pour une analyse plus poussées de liens entre l’économie et le Big Data, on pourra relire the data revolution and economic analysis par Liran Einav et Jonathan Levin, ou seven big data trends for 2014 pour des aspects plus business.

2. Marketing et publicité

Quand on pense Big Data, on pense aussi aux publicités en ligne, ciblées en fonction de mon profil (des mots clés que j’ai pu taper, et des sites que j’ai pu visiter auparavant). Dans pêcher le client dans une baignoire, Ariane Krol et Jacques Nantel écrivent

Bienvenue dans le nouveau monde du marketing personnalisé. Un monde qui veut votre bien… et qui fera tout pour l’obtenir. Au début des années 1980, décliner, à coups de sondages auprès des consommateurs, ses stratégies en fonction des « segments » visés — ménagères de plus de 50 ans, professions libérales de moins de 35 ans ayant des revenus supérieurs à 210 000 francs et jouant au tennis au moins deux fois par mois, etc. — était le fin du fin. Les spécialistes du secteur pêchaient en quelque sorte au filet dérivant, après que leur sonar avait signalé un banc de poissons de la bonne espèce. Aujourd’hui, ce ne sont plus les jeunes de moins de 35 ans ou tout autre segment qui les intéressent : c’est vous. Plus de filet, plus de sonar : la pêche se fait dans une baignoire.

En 1998, le moteur de recherche Google se contentait de suggérer des sites (comme tout moteur de recherche)

Aujourd’hui, Google va beaucoup plus loin. En 2013, sur 14 Mds$ de chiffre d’affaire de la compagnie (au premier trimestre), 85% provenait de la vente d’espace publicitaire (8.640 Mds$ pour Google AdWords, et 3.262 Mds$ pour Google AdSense). En tant qu’économiste (théorique), ce marché pose des problèmes fascinants, de recherche d’équilibre dans un jeu non coopératif, répété, en temps continu (on pourra relire à ce sujet computer scientists optimize innovative ad auction, de Sara Robinson, ou toward an integrated framework for automateddevelopment and optimization of online advertising campaigns, de Stamatina Thomaidou, Michaelis Vazirgiannis et Kyriakos Liakopoulos). Mais cela pose aussi des difficultés aux entreprises qui souhaitent acheter de la publicité lorsqu’un mot clé est tapé. Comme le rappelle Stephen Baker dans une petite anecdote dans l’introduction de the Numerati, on peut trouver des corrélations intéressantes en regardant les données, en particulier pour essayer de comprendre quand les gens louent de voitures de location (afin de lisser une bannière publicitaire): il évoque ainsi une corrélation avec les billets d’avion, les couronnes funéraires, et les films romantiques.

‘What is it about romantic-movie lovers?’ Morgan asks, as we sit in his New York office on a darkening summer afternoon. The advertising entrepreneur is flush with details about our ramblings online. He can trace the patterns of our migrations, as if we were swallows or humpback whales, while we move from site to site. Recently he’s become intrigued by the people who click most often on an ad for car rentals. Among them, the largest group had paid a visit to online obituary listings. That makes sense, he says, over the patter of rain against the windows. ‘Someone dies, so you fly to the funeral and rent a car.’ But it’s the second-largest group that has Morgan scratching his head. Romantic-movie lovers. For some reason Morgan can’t fathom, loads of them seem drawn to a banner ad for Alamo Rent A Car. (…) I ask him about the correlation he told me about earlier, the one between romantic-movie fans and Alamo Rent A Car. It takes a moment for him to recall it. ‘Oh yeah. They were off the charts.’ Did his researchers, I ask, ever come up with an explanation for it. He nods. “It had to do with weekends. It was Alamo ads promoting ‘escapes’ that attracted the attention of these web surfers, he says. The romantic-movie fans booked leisure rentals, largely for weekend getaways. Perhaps they wanted to act out the kind of scenes that drew them to the cinema. Banners for weekday rentals apparently left them cold.

Il est important d’avoir accès à des gros volumes de données afin d’acheter des espaces publicitaires, sur les bons mots clés. Mais en plus, il faut intégrer la composante dynamique : acheter un espace publicitaire, c’est un premier pas. Mais il peut être intéressant de réapparaitre régulièrement, après, en tenant compte de la courbe d’oubli (dans l’idée des travaux d’Hermann Ebbinghaus, par exemple)

Il ne faut pas s’étonner des voir réapparaître régulièrement des espaces publicitaires sur les crèmes solaires sur plusieurs sites visités, si on a demandé le prix du billet Montréal-Miami chez un vendeur en ligne..

  • la perte de contrôle, Big Data et Big Brother

Revenons maintenant au second terme du titre de la soirée, Big Brother.

1. Statistique et collecte de données

Avant de commencer, juste une petite réflexion en passant. Comme le note Alain Desrosières, pour définir le mot statistiqueon remonte traditionnellement à Abriß der neuen Staatswissenschaft der vornehmen Europäischen Reiche und Republiken, publié en 1749 par Gottfried Achenwall: dans cet ouvrage, le mot Statistik (ou Staatwissenschaft ou Kameralwissenschaft) est souvent associé à des données démographiques, de taux de fécondité, ou de nombre de conscrits. On notera que ces deux quantités sont associées à la puissance et la richesse d’un état, au XVIIIème siècle en tous cas. En ce sens, je rejoindrais Daniel Solove notait que la bonne comparaison n’était peut-être pas 1984 d’Orwell, mais davantage le Procès de Kafka (le film d’Orson Welles est d’ailleurs en visionnage libre sur http://openculture.com/). Dans le Procès, il n’y a pas explicitement de surveillance, mais juste une bureaucratie qui stocke des données, toutes sortes de données. Le héros se sent dépossédé quand on l’accuse, et impuissant. Comme quand on se fait refuser un retrait dans une machine ATM au Mexique, parce qu’un algorithme a jugé qu’il était improbable qu’un jeudi, à 14:17, vous soyez sur une plage de la Riviera Maya.

Comme on l’a rappelé au tout début, cette statistique purement descriptive (on se contentait de collecter des données) a évolué vers une statistique inférentielle par la suite. Comme le rappellent Maurice Kendall en 1942 et Victor Hilts en 1978, la Royal Statistical Society, fondée en 1834 avait pour devise Aliis Exterendum, expliquant clairement qu’il n’était dans dans les attributions d’un statisticien d’interpréter les données (on comprend qu’en 1857, les membres de cette éminente société savante l’aient changé). Cette transition vers l’inférence statistique (ce qui est aujourd’hui appelé analytics par certains) a révolutionné la science, comme le notent Ronald Nelson, Mats Pettersson et Örjan Carlborg dans a century after Fisher: time for a new paradigm in quantitative geneticsOn pourra aussi relire Maurice Kendall, parlant de l’expansion de la statistique,

They have already overrun every branch of science with a rapidity of conquest rivalled only by Attila, Mohammed, and the Colorado beetle

Mais mon point ici est que collecter des données n’est pas récent, et pas uniquement lié au développement des ordinateurs, et de l’internet, loin de là. Sur le sectre de Big Brother, on pourra relire à ce sujet l’article paru dans Newsweek en juillet 1970,

2. De la granularité des statistiques

La Statistik pose un problème profond de granularité: à quel niveau de détail peut-on avoir accès à des données?

i) il est possible d’avoir accès à des données très fines, mais par des techniques d’enquêtes (consommation de riz par mois, temps passé devant la télévision, etc), et donc non-exhaustives

ii) de l’autre, quand des données exhaustives sont connues, il est délicat de les communiquer (on pensera au patrimoine financier, et tout autre information connues par les centres des impôts et des taxes). La réponse classique est alors d’agréger les données par région géographique ou par classe d’âge.

Un contre-exemple (suffisamment rare pour être repris) est peut-être le cas des données du Census américain (repris par Bill Rankin) qui a permis d’obtenir des informations sur le revenu et des informations raciales à des degrés de granularité très très fin

iii) entre les deux, reposant sur le mouvement de libération de données (open-data), ces organismes sont désormais tenu de divulguer des informations, mais souvent, les données sont agrégées, afin d’éviter tout soucis de confidentialité (les textes légaux sont plus anciens, comme le Freedom of Information Act, datant de 1966). Mais l’agrégation pose des soucis d’interprétation, comme le rappellent toutes les études sur la notion d’ecological fallacy.

3. Les données individuelles

On peut raconter beaucoup de choses à partir de données individuelles. En octobre dernier, dans I challenged hackers to investigate me and what they found out is chilling, Adam Penenberg tente ainsi de reproduire la filature de Sophie Calle mais uniquement à l’aide des traces numériques. Dans un autre style, en mars 2012, Stephen Wolfram s’est amusé à retracer 10 ans de sa vie à partir du détail de ses communications téléphoniques, des courriels envoyés et reçus, etc. Dans the personal analytics of my life il revient sur le rythme de ses journées,

A quoi cette information peut-elle servir? Je me souviens en mai dernier, je passais une visite médicale pour l’immigration, et le médecin m’a demandé “et à part ça, vous dormez bien?”. Il ne s’agit pas d’une vraie question piège, juste d’une question de routine. Je suppose. Et pourtant, ça m’a déstabilisé. Car ça dépend. Je dors moins que mes enfants. Moins que je devrais, probablement. J’ai des périodes d’insomnies, souvent quand les enfants font des cauchemars. Mais comment un médecin peut-il travaillé avec des données aussi pourries? C’est un peu comme quand mon fils m’explique qu’il a mal au ventre. Ça fait pas très mal, mais un peu. Et par moments. Pour savoir si je dors bien, il pourrait me mettre des électrodes, et me suivre pendant 2 mois. Si j’avais un téléphone ‘intelligent‘, je pourrais aussi avoir un traqueur qui enregistre des informations pendant mon sommeil

Cela dit, je peux aussi regarder mes logs de connexion, via mes envois de courriels, ou via Twitter (j’avais réellement fait cette étude il y a quelques mois).

4. Le terrorisme, la NSA et les données individuelles

A en lire certains médias, un moment clé dans l’histoire du Big Data aura été les révélations d’Edward Snowden, qui a rendu public, pendant l’été 2013 (via le Guardian et le Washington Post), un certain nombre d’information considérées comme secrètes de la NSA, concernant par exemple la captation des métadonnées d’appels téléphoniques aux États-Unis, ainsi que les systèmes d’écoute sur internet (le programme de surveillance PRISM, mais aussi le programme de surveillance Tempora du gouvernement britannique). Cela dit, ces révélations ont surtout permis de confirmer, par des documents officiels, certaines informations connues de beaucoup de monde. En 2008, dans the Numerati, Stephen Baker s’étonnait déjà du fait qu’à la NSA, la statistique avait remplacé la cryptographie. Depuis 2001, il ne s’agit plus de décrypter les messages coder, mais d’identifier des comportements atypiques, qui pourraient être associées à des activités terroristes.

What sorts of data would fuel the hunt for terrorists? Practically anything the government could get its hands on. In the years following 9/11/1 , the government spent more than $1 billion to merge its enormous databases, including those of the FBI and the CIA. This would give data miners a single unified resource. But that wasn’t all. They would also trawl, oceans of consumer and demographic details, airline records and hotel receipts, along with videos, photos, and millions of hours of international phone and Internet traffic harvested by the NSA. This trove matched anything that the Web giants Yahoo and Google were grappling with. In May 2006, news surfaced that the NSA was secretly extending its nets even fur­ther. USA Today reported that major phone companies had delivered hundreds of billions of phone records to the govern­ment. These provided details on who was calling whom, from where, for how long, and whether the call was forwarded. Were the NSA staff also listening in on the calls and reading the e-mails? There was no telling.

On essaye ici de quitter l’homme moyen d’Adolphe Quetelet pour détecter les déviations par rapport à une norme.

For the re­searchers to pick out these oudiers, they must first figure out what’s ‘normal’. Picture our society on a big piece of poster­ board. At first glance it looks entirely blue, monochromatic. But step closer, and you’ll see tiny dots and strings of red. That background of blue represents boring, law-abiding (for the most part) us. Our only function on this display is to bring into relief the bits of red. Those are the suspected terrorists. (…) Are there times, I ask, when you just have too much data? When it gets in the way and confuses things? He seems taken aback by this line of questioning. ‘More data is always better,’ he says.

5. Big Data est mon ami…

Dans l’histoire de la NSA, le Big Data fait peur car on ne sait pas trop qui a accès à toutes ces informations. Et en l’occurrence, le problème visé (détecter un terroriste) est un problème plus complexe que détecter des tendances de consommation. Si j’achète un disque sur amazon, j’ai moins tendance à essayer d’effacer les traces que doivent probablement le faire des terroristes s’ils commandent en ligne des grosses quantités de nitrate d’ammonium (mais je suppose que ça doit dépendre de quel disque j’achète en ligne, on a tous nos petites faiblesses et nos petites lâchetés…). La NSA (et tous les hommes en noirs, de manière générale) font peur. Mais il existe des cas où les utilisateurs de Big Data sont (relativement) bien identifiés, et le but est lui aussi clair.

Par exemple, Google avait montré (dans une étude sur la grippe) que l’analyse des mots clés tapés dans le moteur de recherche permettait de détecter des épidémies avant que les médecins ne lancent l’alerte.

A titre individuel, je n’aimerais pas que l’on rende public toutes les recherches que je peux faire en ligne. Mais collectivement, on imagine très bien, sur cet exemple que l’agrégation d’autant d’information permet de détecter d’éventuelles tendance, malgré tout le bruit. Un autre exemple connu est celui de l’utilisation des données de Twitter pour détecter une épidémie de choléra suite au tremblement de terre en Haiti, deux semaines avant sa reconnaissance officielle. Plus proche de nous, dans how New York’s Fire Department uses data mining, Elizabeth Dwoskin. nous explique comment le NYFD utilise le Big Data pour détecter des débuts d’incendies.

Le crowdsourcing est un des gros intérêt associé au Big Data. Pour reprendre un exemple emprunté à Dick Kasperowski (et évoqué au début de ce billet) si le crowdsourcing avait existé au XVIème siècle (l’expression black swan, du poète Decimus Iunius Iuvenalis, dit Juvenal, “rara avis in terris nigroque simillima cygno” était utilisée à Londres pour décrire un évènement impossible), le débat sur les blacks swans n’aurait pas existé, car on peut espérer que quelqu’un se soit manifester pour dire que les cygnes noirs existent (avant que Willem de Vlamingh ne les découvre, en 1697) . De manière générale le crowdsourcing permet d’éviter les biais cognitifs.

On pourrait continuer à l’infini je pense… et je veux en garder un peu pour la semaine prochaine. Et si ça ne suffit pas (je pense aux aspects de visualisation des données), je reviendrais une nouvelle fois au Cœur des Sciences !

Donner

Autant mettre les choses au clair assez rapidement. Dans ce billet, je ne pensais pas parler du sens mystique de Noël, mais plutôt revenir sur l’utilisation du participe passé féminin de ce verbe, souvent utilisé au pluriel: les données. Les données ont avant tout un sens ‘scientifique’, représentant des informations fournies qui vont permettre de donner une solution à un problème. Plus généralement, une donnée – que l’on pourrait assimiler a un fait – va servir de base, à un raisonnement. Mais ce qui va davantage attirer mon attention, c’est l’interprétation informatique de ce terme, où la donnée est une information élémentaire qui sera utilisée lors d’un traitement informatique – automatisé – des informations. En anglais, on parle de data, qui – si on en croit l’étymologie – parle aussi de don, comme forme plurielle du latin datum, donner. Euclide par exemple utilise Δεδομένα comme titre d’un de ses ouvrages. Bref, les données, dans leur sens mathématique, sont anciennes !

Il y a bientôt 3 ans, j’avais fait un rapide billet expliquant que l’ouverture des bases de données (notion d’open data) était souvent une fausse bonne nouvelle. Essentiellement car données reste un terme flou: beaucoup de services publiques se sentent une responsabilité (justifiée de mon point de vue) pour libérer, donner ces données. Mais les données sont trop souvent (trop) agrégées pour permettre une interprétation pertinente, à cause du fait que beaucoup pense qu’on leur vole quelque chose si on partage des données individuelles (même anonymisées). Et je voulais prendre un peu de temps aujourd’hui pour revenir sur cette idée de big data, dont tout le monde parle en se moment, et revenant sur quelques livres que j’ai lu récemment avec grand plaisir, dont le très bon Big Data, a revolution that will transform how we live, work and think !

  • Le changement de paradigme de la statistique

Les transformations informatiques des dernières années ont poussé – de mon point de vue – beaucoup de statisticiens à s’interroger sur le sens même de leur métier. Au point que pour un certain nombre, on ne devrait plus parler de statistician mais de data scientist. Je pense aussi que quelque chose de profond se trame. Lorsque j’étais encore étudiant, l’idée centrale de la formation en statistique reposait sur la notion d’échantillonnage : on disposait d’un jeu de données, https://latex.codecogs.com/gif.latex?\{x_1,x_2,\cdots,x_n\}, où chaque observation https://latex.codecogs.com/gif.latex?x_i peut être un ensemble d’observations,  disons https://latex.codecogs.com/gif.latex?x_i=(x_{1,i},\ldots,x_{k,i}). Pour chaque individu (noté https://latex.codecogs.com/gif.latex?i), on connaît sa taille, son poids (des informations quantitatives), son sexe (des informations qualitatives, ou catégorielles), son prénom (des informations textuelles), et d’autres choses plus complexes encore. Et à partir de ce jeu de données, le statisticien doit inférer quelque chose pour l’ensemble de la population. Car le jeu de données est obtenu sur un sous-ensemble (espéré représentatif) de la population. L’ironie – selon moi – a été que beaucoup de résultats obtenus reposaient sur des propriétés asymptotiques : si on a beaucoup de données (formellement si https://latex.codecogs.com/gif.latex?n\rightarrow\infty) alors on peut conclure des choses. A distance finie (si https://latex.codecogs.com/gif.latex?n n’est pas trop grand), on ne savait souvent pas trop quoi dire… Mais peut-être devrais-je prendre un exemple plus concret… Dans les modèles de régression, standard, on a une variable d’intérêt, que l’on note https://latex.codecogs.com/gif.latex?y pour la distinguer. Et on suppose que pour prédire https://latex.codecogs.com/gif.latex?y, on peut utiliser une variable dite explicative (que l’on continue par contre à noter https://latex.codecogs.com/gif.latex?x). On va alors supposer que

https://latex.codecogs.com/gif.latex?y=m(x)+\varepsilon

https://latex.codecogs.com/gif.latex?m(\cdot) est une fonction inconnue, et où https://latex.codecogs.com/gif.latex?\varepsilon est un bruit, un élément que l’on ne peut prévoir. On peut penser à n’importe quoi. Par exemple en physique, on lâche un objet à une certaine hauteur https://latex.codecogs.com/gif.latex?x, et on se demande combien de temps il mettra à tomber. Et on notera https://latex.codecogs.com/gif.latex?y ce temps. Si on ne connaît pas les travaux de Newton (et c’est l’idée de l’expérimentation scientifique), on fait plein d’expériences. C’est notre https://latex.codecogs.com/gif.latex?n. Et forcément, on fait des erreurs de mesures, c’est notre https://latex.codecogs.com/gif.latex?\varepsilon. Bref, on va pouvoir construire un modèle. Le premier point important ici est qu’en physique, les modèles (en tous les cas ceux que j’ai appris quand j’étais petit) sont assez simples, avec des fonctions https://latex.codecogs.com/gif.latex?m(\cdot) standards (on pourra argumenter sur le fait que ces fonctions sont devenues standards précisément parce qu’elles apparaissaient souvent en physique). Et les erreurs de mesures sont souvent faibles. En sciences humaines, c’est assez différent. Par exemple il peut exister une relation entre le poids d’une personne https://latex.codecogs.com/gif.latex?y et sa taille https://latex.codecogs.com/gif.latex?x. Mais à https://latex.codecogs.com/gif.latex?x donné, on peut observer beaucoup de variabilité parmi les https://latex.codecogs.com/gif.latex?y. Bref, il y a beaucoup de bruit (notre https://latex.codecogs.com/gif.latex?\varepsilon). On retrouve ici la distinction que fait Nate Silver entre le signal (la fonction https://latex.codecogs.com/gif.latex?m(\cdot)) et le bruit (la composante https://latex.codecogs.com/gif.latex?\varepsilon). Le second point sur lequel il convient d’insister est qu’en physique, il y a (souvent) une relation causale : je me donne un https://latex.codecogs.com/gif.latex?x (je peux d’ailleurs presque l’imposer dans une expérience), et il va induire un https://latex.codecogs.com/gif.latex?y. Quelque part, dans mon expérience, le https://latex.codecogs.com/gif.latex?y sera obtenu une fois le https://latex.codecogs.com/gif.latex?x fixé. En sciences humaines, c’est souvent différent : pour les tailles et les poids, je peux mesurer l’un avant l’autre, peut importe… Un point fondamental est que la corrélation importe plus que la causalité.

Bref, à partir d’un échantillon d’observations https://latex.codecogs.com/gif.latex?\{(x_1,y_1),\cdots,(x_n,y_n)\} (histoire de distinguer mes deux variables, et leur nature différente), on va construire un estimateur pour la fonction https://latex.codecogs.com/gif.latex?m(\cdot), que l’on note https://latex.codecogs.com/gif.latex?\widehat{m}(\cdot). Et classiquement, on peut faire des modèles pour un peu n’importe quoi. Les plus sceptiques pourront relire First crush the grapes, then crunch the numbers qui nous explique comme juger de la qualité d’un vin à l’aide de trois variables explicatives (objectives, liées au climat).

Classiquement, en statistique, on avait quelques variables explicatives, et des observations. Disons, classiquement plus d’observations que de variables pouvant intervenir dans le modèle. Mais pas non plus un nombre incroyablement élevé. L’explication classique dans les cours de statistique est que les enquêtes coûtent cher. Mais les choses ont changé. Et ce n’est pas qu’à ause d’internet (quand on pense big data on pense en premier à internet). En fait, en traitement d’images ou en génomique, on a commencé à voir des problèmes intéressants apparaître.

  • De la régression à la classification

Un autre type de modèle passionnant est celui où on dispose d’un ensemble d’observations  où cette fois la variable  est une variable binaire (pour simplifier), malade-infecté, vie-mort, rouge-bleu, positif-négatif, 0-1. Classiquement, la fonction précédant  sera remplacée par un score  que l’on pourra interpréter comme une probabilité. Plusieurs méthodes sont envisageables, allant d’une analyse discriminante, ou une régression logistique à une méthode par plus proches voisins.

On pourra aussi penser à une méthode par arbre de classifications, voire une forêt aléatoire remplie d’arbres,

Mais cet exemple est simple: on a deux variables explicatives, et une population de rouges et de bleus assez clairement séparée. On peut penser à des cas où la taille de  est énorme, et que la proportion de points rouges est faible. C’est le cas pour les tests pour détecter des cancers.

  • Gros mais vide

Classiquement, la grande dimension faisait peur. Tout le monde avait en mémoire la notion de malédiction de la dimension, “curve of dimensionsality” introduit par Richard Bellman en 1957,

all [problems due to high dimension] may be subsumed under the header the curse of dimensionality. Since it is a curse (…) there is no need to feel discouraged about the possibility of obtaining significant results despite it

En fait, comme le notait Charles Bouveyron, la grande dimension, ce n’est pas si simple, et les difficultés ne vont pas forcément croître avec la dimension. Considérons par exemple le volume d’une sphère de rayon 1, en dimension . On peut montrer que le volume est

Si on regarde cette fonction, effectivement, passer de la dimension 3 a la dimension 4 puis a la dimension 5 faire grossir la taille de notre boule. Mais passée la dimension 10, de manière surprenante, la dimension diminue… Amusant non ?

En plus (oui, depuis quelques semaines, j’aime jouer avec les sphères) on n’est pas n’importe où ! En fait, on a très peu de chances d’être au centre: on peu montrer assez simplement que si on tire des points au hasard dans la sphère unité, on a en fait de très très fortes chances d’être au bord de la sphère. Et le calcul est simple: la probabilité d’être a une distance supérieure a  (et donc d’être vraiment proche du bord) si  est

 lorsque 

(quelle que soit la valeur de ). Bref, les grands espaces, c’est grand, mais c’est rempli de vide !

Il y a plus de 5 ans, lors des journées UseR! à Rennes, Trevor Hastie avait fait un exposé brillant qui m’avait ouvert les yeux sur des problèmes que j’ignorais : les très grosses matrices sont souvent très vide, en évoquant l’exemple de la prévision pour Netflix ou Amazon (exemple repris dans  Big data, a revolution that will transform how we live, work and think dont je reparlerais dans deux minutes).

  •  Apprendre à partir des données, ou quand les données l’emportent sur le modèle

Le point important est d’oublier l’analyse causale, pour se focaliser sur les corrélations. C’est ce que font les économètres. Quand on fait un modèle pour calculer un score pour un crédit hypothécaire (je peux renvoyer à un billet évoquant un article écrit avec Stéphane Tufféry sur les aspects méthodologique), on ne cherche pas les variables qui peuvent causer un défaut de remboursement d’une dette, on cherche juste des variables corrélés à cette dernière. C’est un peu l’histoire de Google voilà quelques années, lors de leur étude sur la grippe. L’idée était d’utiliser les saisies de mots clés faisant penser à des symptômes grippaux pour détecter des épidémies, bien avant que les autorités sanitaires n’aient été informées !

David Patterson allait encore plus loin dans son article datant de décembre 2011, Computer Scientists May Have What It Takes to Help Cure Cancer, en ne parlant pas de diagnostique mais de méthode de guérison. En 2011, la Fair Isaac Coorporation (FICO), a proposé un score très intéressant, le Medication Adherence Score. Son but est de prédire si quelqu’un prendra les médicaments prescrits, ou pas. Il n’y a aucune analyse causale, avec des tests en laboratoires. Juste une analyse de corrélation, montrant par exemple que les personnes célibataires ont plus tendance à oublier de prendre leurs médicaments. Et le pouvoir prédictif semble incroyablement bon. On ne cherche plus de mécanisme causaux pouvant expliquer telle ou telle variable, juste utiliser des données à notre disposition pour inférer une réponse… En 2008, Chris Anderson disait que

the deluge deluge makes the scientific method obsolete (…) this is a world where massive amounts of data and applied mathematics replace every other tool that might be brought to bear (…) with enough data, the numbers speak for themselves“.

Pour ma part, je me contentait de voir un changement de paradigme dans la modélisation statistique, mais depuis longtemps, les économètres savent que la recherche de corrélations l’emporte sur une éventuelle analyse causale.

Pour comprendre l’importance des données, et de l’apprentissage à partir des données, Nate Silver prend l’exemple des échecs, et de Deep Blue. La force de l’ordinateur n’était pas son algorithme et sa stratégie de jeu. Mais surtout le fait qu’il avait en mémoire des milliers et des milliers de parties, et qu’il pouvait reconnaître des similitudes entre des situations. Pour reprendre l’explication donnée par Viktor Meyer-Schönberger et Kenneth Cukier,

(…) chess algorithms have changed only slightly in the past few decades, since the rules of chess are fully known and tightly constrained. The reason computer chess programs play far better today than in the past is in part that they are playing their endgame better. And they’re doing that simply because the systems have been fed more data. In fact, endgames when six or fewer pieces are left on the chessboard have been completely analyzed and all possible moves (N=all) have been represented in a massive table that when uncompressed fills more than a terabyte of data. This enables chess computers to play the endgame flawlessly. No human will ever be able to outplay the system.

Quelques paragraphes plus loin, Viktor Meyer-Schönberger et Kenneth Cukier parlent de la traduction automatique. Dans les années 50, le défi était de proposer un ‘correcteur de grammaire’, et avec le temps, l’idée d’un traducteur automatique se développa, essentiellement chez IBM. Une percée importante semble avoir été le projet Candide, où 10 ans de transcipts parlementaires canadiens, en français et en anglais, ont été utilisé. Soit environ 3 millions de phrases avec une traduction (de haute qualité, on parle ici de document juridique… il serait dommage qu’en jouant sur la langage on puisse passer de l’illégalité à la légalité). Google a poussé l’idée quelques années plus tard, on utilisant des bases plusieurs milliers de fois plus grosses que celles d’IBM. Comme le disent Viktor et Kenneth,

the reason Google’s translation system works well is not that it has a smarter algorithm. It works well because its creator (…) fed in more data – and not just high quality. Google was able to use dataset tens of thousands of times larger than IBM’s Candide because it accepted messiness. (…) Simple models and a lot of data trump more elaborate models on less data” (comme détaillé dans unreasonable effectiveness of data).

Ils évoquent aussi l’article d’Alberto Cavallo et Roberto Rigobon (voir l’article sur le site du MIT) qui, au lieu d’utiliser les indices de prix calculés par les instituts publics, ont proposé de collecter près d’un demi-million de prix de vente. Comme le soulignent Viktor et Kenneth,

the information is messy, and not all the data points collected are esily comparable. But by combining the big-data collection with clever analysis, the project was able to detect a deflationary swing in prices immediately after Lehman Brothers filed for bankruptcy in September 2008, while those who relied on the official CPI data had to wait until November to see it.”

Leur méthodologie est désormais implémentée dans le billion prices project. Un point intéressant et qui fait que le paradigme de la modélisation statistique a beaucoup changé, c’est qu’avoir plus de données (même très bruitées) semble plus intéressant que construire un bon modèle. C’est en tous les cas une des thèses défendues dans le joli livre de  Viktor Meyer-Schönberger et Kenneth Cukier. On pourra aussi relire deux articles qui ont fait du bruit data, data everywhere ou big data and the end of theory?.

Parmi les autres applications, on pourra aussi parler de l’utilisation de Google pour améliorer la prévision des marchés financier, avec plusieurs articles sur ce sujet en avril dernier, dont celui de Philip Ball Counting Google searches predicts market movementscelui de Bernhard Warner Big Data’ Researchers Turn to Google to Beat the Markets ou enfin celui de Richard Waters, Google search proves to be new word in stock market prediction.

Cela dit, comme le note Ian Ayres dans Super Crunchers, le principal intérêt des modèles de régression n’est plus sur la prévision, mais ils permettent toujours d’avoir des intervalles de confiance sur les prévisions. Ce qui peut être une information essentielle… Cela dit, j’avoue avoir moins aimé le livre, qui évoquait des choses que tout le monde connaît, et j’y ai beaucoup moins appris qu’à la lecture des deux autres livres (sauf peut-être le chapitre à la fin Are we having fun yet? mais qui m’a juste ouvert l’appétit). Et écrire un livre dont le message est (selon moi) qu’il faut que tout le monde ai un minimum de bon sens statistique ne fait que me caresser dans le sens du poil (et je préfère quand on me provoque un peu). Je pourrais aussi mentionner le livre de de Stephen Baker, The Numerati (et le blog associé,  http://thenumerati.net/) mais je n’ai pas fini de le lire, et je pensais lui consacrer une fiche de lecture exprès.

  • C’est quoi une donnée

Pour revenir à notre discussion, quand on pense donnée, on pense souvent à des chiffres. Mais comme le montre l’exemple de la traduction automatique, les textes sont aussi des données. J’ai fait à plusieurs reprises des analyses textuelles, et on peut faire mille fois mieux. Les localisations aussi sont des données (on pourra relire l’étude intéressante http://bbc.co.uk/news/… pour comprendre où les chats passent leurs journées). Les connexions sur Twitter aussi (en témoigne une analyse amorcée par Ewen il y a quelques mois)… etc. En ce sens, la notion de data analysis va probablement beaucoup plus loin que la modélisation statistique. Par exemple, mes faibles compétences en théorie des graphs ne me permettent pas de bien comprendre les relations et les inter-connexions dans les réseaux.

  • Des dangers de la granualarité trop faible, et l’open-data

Pour faire simple et provocateur, aller chercher les données qui nous intéresse permet de faire des choses fabuleux. Qui à faire tourner des robots pour aller les chercher, s’il le faut. Car les données qu’on nous donne sont rarement exploitables, malheureusement! Pire, elle donne souvent lieu à des interprétations fallacieuses. Parfois, les données comporte un biais de sélection. Le plus souvent, elles sont agrégées. Et de mon point de vue, rien de pire que les données agrégées. Les sociologues penseront à l’ecological fallacy. Pour ma part, je préfère le paradoxe de Simpson. Pensons à un journaliste de données qui voudrait faire une enquête sur les hôpitaux, pour publier un “classement des meilleurs hôpitaux“. Pour cela, il trouve des données mise en libre accès par un organisme publique. Par exemple

hôpital total survie décès taux de survie
hôpital A 1000 800 200 80%
hôpital B 1000 900 100 90%

L’hôpital B sera bien mieux noté, et bien mieux classé. Et ça semble normal… Maintenant, notre journaliste creuse un peu, appelle les deux hôpitaux, et obtient un peu plus d’information… Pour les gens qui arrivent à l’hôpital en voiture, ou en taxi, on a les statistiques suivantes

hôpital total survie décès taux de survie
hôpital A 600 590 10 98%
hôpital B 900 870 30 97%

alors que pour les personnes qui sont arrivées en ambulance, on a

hôpital total survie décès taux de survie
hôpital A 400 210 190 53%
hôpital B 100 30 70 30%

Bref, dans les deux cas, on a intérêt à choisir A. Étonnant non? Mais pas inexplicable mathématiquement, puisque l’on peut parfaitement avoir

et

(pour rappel, on s’intéresse à comparer des taux) tout en ayant

soit visuellement

Ceci peut aussi s’expliquer intuitivement, c’est qu’ici, l’hôpital B sélectionne ses patients (en demandant aux ambulances de ne pas apporter de cas graves chez eux pour ne pas faire chuter leur taux de survie). Comme le dit la loi de Goodhart, “quand une mesure devient un objectif, elle cesse d’être une mesure“. Et cet exemple est loin d’être le seul…

Bref, j’aime l’idée d’ouvrir les données, afin de permettre à tout à chacun de faire sa propre analyse. J’en avais parlé dans un article sur l’importance du do-it-yourself et pourquoi je suis pour l’open-source quand on code. Mais en amont, il faut des données. Et en ce sens, je pense que l’idée d’ouvrir les données est fabuleuse. Mais le résultat est – pour l’instant et le plus souvent – désastreux. J’ai toujours du mal à comprendre pourquoi je ne pourrais pas avoir accès à certaines données d’état-civil, qui sont supposées publiques, par exemple. Cela dit, en hackant un minimum, on peut aller trouver des données que l’on cherche. C’est ce que j’avais retenu de ma rapide étude sur le prix des billets d’avion, reprise quelques mois plus tard avec des données que je suis allé chercher en ligne. Bref, il y a moyen de s’amuser ! Et de réfléchir un peu à ce que j’enseigne dans mes cours de statistique, et ce que j’utilise comme compétences quand je veux faire un peu d’analyse de données, de freakonométrie pour reprendre le titre de mon blog…

  • Pour aller plus loin

Quelques livres passionnants pour commencer

mais surtout

qui va beaucoup plus loin que ce que j’ai pu évoquer, en particulier qui parle d’éthique, chose que je tiens à tout prix à éviter car je n’ai pas de pensée claire sur le sujet (penser à Minority Report de Philip K. Dick suffit à m’angoisser). Sinon parmi les événements,

  • La journée Big Data, organisée par l’Institut des Actuaires à Paris, début décembre (donc c’est passé)
  • Un débat sur le Big Data organisé en 2014 à Montréal, mais on en reparlera….