Cet après midi, je participerais à la journée 100% Data Science de l’Institut des Actuaires, pour une restitution du pricing game.
Les slides sont en ligne. La suite…. mardi après midi !
Category Archives: Big Data
Monétisation et marchandisation des données personnelles
Pour le dernier billet de la série autour du big data sur variances.eu, Fabrice Rochelandet revient sur la monétisation et la marchandisation des données personnelles,
L’exploitation marchande des données personnelles (DP) a donné lieu à une importante littérature en économie et en marketing (Hui & Png [2006] ; Anderson & Moore [2006] ; Rochelandet [2010], Tucker [2012], Acquisti et al. [2016]). La collecte et la transformation de ces ressources informationnelles par les entreprises y sont présentées comme une source de bien-être pour les consommateurs, d’innovations et d’opportunités commerciales inédites, mais également de menaces sur la vie privée et d’externalités négatives pécuniaires. Dans ce dernier cas, les exploitants de DP peuvent par exemple opérer des stratégies de discrimination par les prix sur les marchés de biens de consommation courants, de l’assurance, des prêts bancaires, du travail… en fonction du profilage des individus : les individus les plus riches, les moins solvables ou présentant des risques de santé paieront un prix supérieur.
Les entreprises collectent des données sur leurs clients pour les exploiter selon des modalités très différentes : les identifier, communiquer ou interagir avec eux de façon plus ou moins ciblée, différencier leurs prix ou la qualité de leurs offres en fonction de leurs profils (marché du crédit bancaire par exemple), animer une communauté en ligne, faciliter l’appariement entre les utilisateurs de leurs services (services de réseautage social ou de rencontre en ligne par exemple), vendre ces données. Les moyens de collecte et de production de ces informations sont eux-mêmes très diversifiés. Les individus peuvent ainsi divulguer volontairement leurs données par déclaration (formulaires d’abonnement et d’inscription, données de transaction, etc.) ou en acceptant que leurs données soient enregistrées (traces de navigation, localisation géographique, mots clés extraits de leurs commentaires et discussions en ligne, etc.). L’exposition de soi ex post (Rallet & Rochelandet [2011]) s’avère également une source majeure d’informations sur l’internet via la collecte massive de données enregistrées par des traceurs et leur traitement par des algorithmes permettant de déduire des informations à valeur ajoutée à partir de données brutes très disparates.
Dans certains cas, la collecte des données d’usage bénéficie essentiellement à leurs exploitants. Par exemple, les sites de vente en ligne analysent l’audience web et son impact sur les ventes. La connaissance des pages consultées antérieurement par les internautes leur révèle des informations précieuses pour optimiser leur campagne promotionnelle. De même, les avis postés en ligne permettent d’alimenter au moindre coût les systèmes de recommandation de plateformes comme Amazon et Netflix qui orientent les choix de leurs clients, les fidélisent et différencient leurs services.
Acquisti, A., C.R. Taylor, L. Wagman (2016) “The economics of privacy”, Journal of Economic Literature, vol. 54, n°2, pp.442-492.
Anderson R., T. Moore (2006) “The economics of security”, Science, vol.314, n°5799, pp.610–613.
Brandimarte, L., A. Acquisti, G. Loewenstein (2011) “Misplaced confidences: Privacy and the control paradox”, Social Psychological and Personality Science,
Cecere, G. F. Le Guel, F. Rochelandet (2015) “Les modèles d’affaires numériques sont-ils trop indiscrets ? Une analyse empirique”, Réseaux, vol.33, n°189, pp.77-101.
Hui, K.L., I.P.L. Png (2006) “The economics of privacy”, in Economics and Information Systems, Handbooks in Information Systems, vol.1, chapitre 9, ed. Terrence Hendershott, Elsevier.
Pucheral, P., A. Rallet, F. Rochelandet, C. Zolinski (2016) “La Privacy by design : une fausse bonne solution aux problèmes de protection des données personnelles soulevés par l’Open data et les objets connectés ?”, Légicom, 2016/1, n°56, pp.89-99.
Rallet, A., F. Rochelandet (2011) “La régulation des données personnelles face au web relationnel : une voie sans issue ?”, Réseaux, vol.29, n°167, pp.19-47.
Rochelandet, F. (2010) Economie des données personnelles et de la vie privée, La Découverte.
Goldfarb, A., C. Tucker (2011) “Online display advertising: Targeting and obtrusiveness”, Marketing Science, vol.30, pp.389-404.
Tucker, C. E. (2012) “The economics of advertising and privacy”, International journal of Industrial organization, vol.30, n°3, pp.326–329.
White, T., D. Zahay, H. Thorbjornsen, S. Shavitt (2008) “Getting too personal: Reactance to highly personalized email solicitations”, Marketing Letters, vol.19, n°1, pp.39–50.
Regard personnel sur le Big Data
Sur variances.eu, la thématique Big Data du mois d’octobre se poursuit avec aujourd’hui le regard (personnel) de Xavier Dupré,
Je pianote ce soir sur le clavier de mon ordinateur. Il est 23h et je suis au hackathon organisé par Data Science Game – une association créée par d’anciens ENSAE. Les participants se débattent avec des données actuarielles pour prédire le taux d’achats de police d’assurance. Les 500 Mo de données auraient été considérées comme “big” il y a cinq ans. Elles tiennent maintenant aisément sur un ordinateur portable et il ne faut que quelques secondes pour calculer une moyenne. Tous ont déjà participé à des compétitions Kaggle, utilisé plusieurs librairies de machines learning. Certains obtiennent des résultats une heure après le début malgré des variables de types très variés. On se doute que ce n’est pas la première compétition à laquelle ils participent. Je circule d’une équipe à l’autre, les écrans montrent du python, un peu de R, une ligne de commande ouverte dans un coin, un notebook dans un autre, des machines distantes qui tournent quelque part. Ca discute beaucoup au sein des équipes. Elles sont pour la plupart composées de personnes qui se complètent, le data manager, le programmeur, le machine learner. Au dîner, j’échange avec quelques équipes. L’un d’eux me parle d’un de ses amis qui apprend des réseaux profonds pour entraîner une machine à jouer au jeu vidéo Doom. Il utilise des techniques de deep reinforcement learning. Nous abordons les domaines dans lesquels ces technologies s’appliqueront. La médecine sort en premier. Les transports en second. Les participants, vingt équipes de quatre, ont été sélectionnées sur une première compétition. Même si je joue le rôle de mentor, peu me posent des questions techniques. Il y a peu de choses qu’ils ne sachent déjà. Tous connaissent la programmation et les statistiques. Après 24h, certains assemblages deviennent plutôt complexes, la prédiction est issue d’un patchwork de modèles. On apprécie le coup de crayon des peintres, certains participants ont un bon coup de clavier. Les équipes prennent tour à tour la place de numéro 1.
La nécessaire transformation des métiers analytiques
Sur variances.eu, on continue la thèmatique Big Data du mois d’octobre, avec le point de vue de Baptiste Beaume, de Covéa, sur les aspects métiers.
L’arrivée puis la pérennisation du Big Data dans le monde professionnel impacte pleinement le marché de l’emploi : 130 000 créations de postes prévues en France d’ici 2020 (cf Plan Big Data) ou encore une pénurie annoncée, d’ici 2 ans, de 190 000 Data Scientist aux Etats Unis selon cf McKinsey. Ces profils à mi-chemin entre les statistiques et l’informatique devront être armés pour maîtriser les nouveaux types de données, les derniers outils ou langages mais aussi les méthodes pour exploiter toutes ces informations.
Ainsi de plus en plus de formations s’adaptent, voire se créent, pour proposer sur le marché ces CVs encore trop rares : ENSAE, Telecom Paris Tech, ENSAI, ENSIMAG, Polytechnique, Paris Dauphine, Telecom Nancy etc… Les étudiants d’aujourd’hui peuvent décider de prendre cette voie et ainsi s’assurer un bel avenir en termes d’employabilité – attention quand même à vivre une réelle histoire d’amour avec la donnée sans quoi le temps passé derrière un écran pourra sembler très long, la tension de ces profils sur le marché n’incitera pas les entreprises à les faire bifurquer vers d’autres domaines.
Les entreprises font actuellement toutes face à d’immenses enjeux de compétitivité liés à la maîtrise des données, la pénurie de Data Scientist n’en est que plus préoccupante dans une optique de recrutement. Cette problématique-là a toutefois tendance à en cacher une autre : quid des centaines de milliers de personnes qui ont déjà un métier analytique ? Des changements sont-ils à opérer ? Alors si oui lesquels ?
Big Data (3) – Comment garantir au mieux la confidentialité ?
Dernier billet de la série publiée par Philippe Tassi, en ligne sur variance.eu, avec aujourd’hui une réflexion sur la confidentialité.
Les données ou statistiques, détenues ou élaborées par des administrations ou des entreprises, sont en général construites à partir d’informations individuelles, ce qui pose la question de la protection des sources, c’est-à-dire de la vie privée, compte tenu des progrès constants de la science et des process de traitement. Comment établir et maintenir la confiance du grand public, partie prenante numéro 1, tout en respectant l’équilibre entre promesse de confidentialité et utilisation des données recueillies ?
Pour y répondre, deux approches sont complémentaires : l’une est réglementaire, et montre que les Etats ont pris conscience depuis longtemps de la nécessité d’établir des garde-fous juridiques ; l’autre vise à s’appuyer sur la technologie en mettant en place des obstacles techniques empêchant la diffusion de données contre le gré de leur auteur.
Big Data (2) – phénomène éphémère ou de fond ?
Suite de la réflexion de Philippe Tassi sur variance.eu, avec aujourd’hui une réflexion sur phénomène ephémère ou de fond ?
Il est légitime de se poser cette question, tant certains sujets ont parfois été montés en épingle, avant de reperdre leur intérêt. Cependant, il ne semble pas que les données massives soient une mode passagère. Les vraies questions pourraient porter sur sa durée et sur ses conséquences sociétales. Combien d’années va vivre ce nouveau paradigme de juxtaposition de sources ? Comment se définir dans une société d’algorithmes traitant en temps réel des images numériques avec le minimum d’interventions humaines ?
Il est probable que nous soyons entrés pour au moins une décennie dans un monde à dominante scientifique. Non seulement les investissements sont réalisés dans la durée par les entreprises, et ne sont pas éphémères, mais s’y rajoute une réelle orientation politique.
En introduction, nous considérions que le numérique a donné encore plus de poids aux méthodologies, aux modélisations et aux technologies. Cela ne semble pas prêt de cesser. Non seulement parce que de nombreux secteurs d’activité développent ce type de sources – en 2014, par minute, le monde a créé 1,7 million de milliards d’octets de données, c’est-à-dire l’équivalent du contenu de 360 000 DVD –, mais aussi parce que c’est un espoir de croissance économique et d’emplois.
Big Data (1) – la fin des échantillons ou nouveau paradigme ?
Toujours dans la série de billets autour du big data sur le site variances.eu, le premier article d’une série de trois, par Philippe Tassi, sur le thème la fin des échantillons ou nouveau paradigme.
Depuis les premières tablettes cunéiformes du pays de Sumer jusqu’à la fin du XIXème siècle, on peut considérer que le monde a vécu sous le règne quasi-exclusif de « l’exhaustivité ».
Il y eut bien, au milieu du XVIIème siècle, de premières approches d’échantillonnage avec l’école dite de l’arithmétique politique de John Graunt et William Petty en Angleterre, et les avancées de Sébastien Le Prestre de Vauban et Jean-Baptiste Colbert en France : Vauban publie en 1686 un livre intitulé « Méthode généralle et facille pour faire le dénombrement des peuples ».
Cependant, ces tentatives innovantes ne se sont pas généralisées. La norme reste la vision exhaustive ; les pays les plus développés sur le plan statistique – n’oublions pas que statistique vient du latin status, mot dont l’un des sens est « attitude, posture, position, état » mais aussi qui possède un acception plus large en tant que « gouvernement, Etat » – qui gèrent des recensements, qu’ils soient de population, d’entreprises ou d’établissements industriels, ou de terres agricoles.
Le XXème siècle est marqué par le lent recul de l’exhaustif et la montée de plus en plus affirmée du paradigme de l’échantillonnage. On peut considérer que l’acte fondateur en est la communication d’Anders N. Kiaer, directeur du Bureau Central de Statistique du Royaume de Norvège, lors du Congrès de Berne de l’Institut International de Statistique d’août 1895 (IIS, maintenant dénommée ISI dans sa version anglaise International Statistical Institute). Intitulée Observations et expériences concernant des dénombrements représentatifs, elle ouvre un premier et long débat sur l’échantillonnage, la « pars pro toto ».
Au niveau le plus général, il faut apprécier tout particulièrement les quatre premières lignes qui composent le préambule de l’exposé de A. N. Kiaer, pertinentes et visionnaires.
[Métadonnées et vie privée, l’équation insoluble?
Dans le cadre de la série d’articles (sur le thème des données) que j’édite sur variances.eu (le blog d’ENSAE Alumni), Yves-Alexandre de Montjoye – @yvesalexandre – revient sur le thème métadonnées et vie privée, l’équation insoluble?
À l’image du texto, les comptes-rendus d’appels ou CRA, autrefois uniquement destinés à des fins de facturation, ont de loin dépassé leur but premier. Il est devenu clair au cours des derniers cinq ans, que ces métadonnées, littéralement “données à propos des données”, étaient utiles pour bien plus que juste la facturation. Connaître, même de manière anonyme, qui téléphone ou qui envoie un texto, à quel moment, et de quel endroit est une source d’information exceptionnelle sur nous-même et la société dans laquelle nous vivons.
Les comptes-rendus d’appels (CRA ou CDR en anglais) ont déjà été utilisés par des chercheurs pour étudier les vecteurs de propagation d’épidémies comme la malaria [1] ou de réaliser des recensements de population en temps réel [2]. Au-delà du monde de la recherche, l’utilisation commerciale de ces données est déjà en plein essor aux États-Unis et ailleurs, comme en témoigne le programme “precision insight” de Verizon ou FluxVision d’Orange.
Le potentiel de ces données ne doit cependant pas nous faire oublier que chacune d’entre elles est produite par une personne passant un appel, recevant un texto d’un ami ou effectuant un déplacement. Les CRA contiennent des informations détaillées et potentiellement sensibles sur le comportement, les habitudes de déplacement, ou encore le style de vie d’une personne.
Permettre la collecte et l’utilisation des données en respectant la vie privée des utilisateurs passe souvent, d’un point de vue pratique mais aussi légal, par leur “anonymisation”. L’idée est en effet que si les données ne sont pas associées à un individu, les informations qu’elles contiennent ne peuvent pas lui nuire.
Retour sur 20 ans de numérique et d’Internet
Ce mois-ci, je vais être éditeur d’une série d’articles sur le thème des données, qui seront publiés sur variances.eu, le blog d’ENSAE Alumni. Pour le premier article, Philippe Tassi propose un retour sur 20 ans de numérique et d’Internet.
Depuis le bouleversement apporté, à la fin du XIXème siècle et varile début du XXème, par l’accès du grand public à l’électricité, aucune autre révolution de même nature n’a eu lieu jusqu’à la mise à disposition commerciale d’Internet, au milieu des années 90, et donc l’entrée de nos civilisations dans le monde numérique.
D’abord, des faits : même si certaines données chiffrées actuelles seront rapidement caduques, elles décrivent aisément la vitesse de diffusion d’internet à la fois en termes d’accession et d’usage. A l’automne 1997, moins de 1 % des foyers vivant sur le territoire français sont connectés à Internet. Cette proportion passe à 4,7 % en 1999, 27,4 % en 2003, 35,5 % en 2005. Dix ans plus tard, en septembre-octobre 2015, 85 % des ménages y ont accès. Et au-delà de l’accès au réseau, sa pratique est devenue massive : 45 millions de français se connectent à Internet au moins une fois par mois, tout écran.
Internet ne s’est pas construit en un jour
La conception d’Internet n’est pas récente. Il a fallu du temps entre l’apparition du socle technologique – Ray Tomlinson, décédé en mars 2016, a inventé l’e-mail en 1971 – et la mise en œuvre de services adaptés au public. Par comparaison, on a su transporter du son via les ondes hertziennes dès les années 1890, alors que la radio, en tant que média, n’existera qu’à partir de 1922-1923. Le transfert d’une image mobile par ces mêmes ondes date des années 30, le média télévision étant officiellement créé en France en 1949.
Internet n’échappe pas à cette règle. Son point de départ est la crise des missiles de Cuba, en octobre 1962, en pleine guerre froide entre Etats-Unis et URSS. Elle révèle au président Kennedy la faiblesse d’un système centralisé. En 1964 apparaît l’idée de réseau décentralisé, moins vulnérable. Une première ébauche est conçue en 1969, dénommé Arpanet (Advanced Research Projects Agency) ; elle relie les universités de Stanford, UCLA, Santa Barbara et Utah. Le courrier électronique existe dès 1971. Les bases techniques des protocoles TCP et TCP/IP datent des années 70. Dans cette même décennie naissent Microsoft (1975) et Apple (1976). En 1983, Arpanet est scindé en Milnet, intégré au réseau militaire américain, et un nouvel Arpanet universitaire, renommé Internet en 1986. 1990 voit l’émergence du protocole http et du langage html, du concept de www. Les créations des futurs acteurs majeurs se multiplient : Yahoo! et Amazon en 1994, Google en 1998, FaceBook en 2004, Twitter en 2006. Fin des années 2000, les voies menant au monde digital se sont diversifiées : à l’historique micro-ordinateur se sont ajoutés les nouveaux écrans : smartphone depuis 2007, tablette depuis 2010, favorisant la mobilité. L’individu devient ATAWAD : Any Time, Any Where, Any Device. En 2015, le ménage français moyen dispose de 6,4 écrans.
Pricing Game, c’est reparti
Pour la seconde année consécutive, on organise un pricing game dans le cadre de la formation Data Science pour l’Actuariat. Les instructions sont en ligne. Pour information, il y a trois bases en ligne
- train_contrats: 87 228 observations, 22 variables. Base contenant les informations relatives aux polices d’assurance
- train_sinistres: 4 568 observations, 9 variables. Base contenant les informations relatives aux sinistres observés
- test_contrats: 32 772 observations, 21 variables. Base contenant les informations relatives aux polices d’assurance pour lesquelles il conviendra de proposer une prime
La première étape du jeu va durer 2 mois (entre le 15 juillet et le 15 septembre). Il s’agira de proposer 32 772 primes d’assurance. Il est impératif de proposer une prime pour tous les contrats. Autre information supplémentaire, pour tous les joueurs, la somme des primes sera égalisée à 2,5 millions d’euros.
Petite nouveauté, il y aura une seconde étape ensuite. Chaque participant recevra la prime de deux de ses concurrents, et aura la possibilité de mettre à jour ses primes, et de renvoyer des primes mises à jour d’ici le 20 septembre.
Les commentaires sont ouverts pour tout complément d’information ! J’essayerais de poster des informations complémentaires, en particulier sur la description des variables, au cours des vacances. L’analyse du jeu sera proposée lors de la journée 100% Data Science de l’Institut des Actuaires (qui aura lieu le 8 novembre 2016). Bon courage en attendant !
Data Science Game 2016 (11 days to go)
For the second year, the Data Science Game will see Data Science students from around the world compete in this prestigious competition. This year, 143 teams, representing more than 50 universities from 28 different countries will face a real-life demanding and innovative business challenge . Online selection started a few days ago, see kaggle leaderboard
sounds promissing…
L’état civil, les données publiques, la psychose de la confidentialité, et tant d’autres choses
Suite à des discussions avec Simon et Marin, les semaines passées, je me suis dit que j’allais prendre le temps de narrer quelques (més)aventures qui me sont arrivées, en partant à la pêche des données. Et oui, ça va parler de données, de données ouvertes (ou fermées), d’administrations, et un peu de recherche publique (en vrac).
Le point de départ est assez simple. Je cherche en France une base proche de celle qui existe aux Etats-Unis, à savoir le Social Security Death Master File, qui donne – pour toutes les personnes disposant d’un numéro de sécurité sociale – la date de naissance et date de décès. Cette base est pratique pour faire de la démographie (quoi qu’incomplète puisqu’on n’a que les personnes décédées). Je cherche aussi une autre information, permettant de faire le lien (pour faire simple) entre l’espérance de vie d’un individu, et de l’information relative à ses parents. Autrement dit, je cherche un fichier liant un individu à ses parents (par numéro de sécurité sociale pour faire simple, mais on peut anonymiser en hashant le numéro). Je veux ainsi une base indiquant l’identifiant d’un individu, celui de son père, et celui de sa mère.
Talk on Predictive Modeling in Actuarial Science at UCL
This Friday, I will be (again) at UCL for a talk on Predictive Modeling in Insurance, in the context of (possibly) Big Data. Slides are now online (since animated graphs do not appear on slideshare).
Intervention au Prix Scor
Jeudi, je serais à la conférence Actuariat & Data Science, organisée par la SCOR et l’Institut des Actuaires, et qui se déroulera toute la journée, avant la traditionnelle remise du prix en fin d’après midi. Juste après mon exposé en fait.
Je reviendrais rapidement sur les résultats du pricing game, déjà évoqué sur le blog, il y a quelques semaines.
Variable Importance with Correlated Features
Variable importance graphs are great tool to see, in a model, which variables are interesting. Since we usually use it with random forests, it looks like it is works well with (very) large datasets. The problem with large datasets is that a lot of features are ‘correlated’, and in that case, interpretation of the values of variable importance plots can hardly be compared. Consider for instance a very simple linear model (the ‘true’ model, used to generate data)
Here, we use a random forest to model the relationship between the features, but actually, we consider another feature – not used to generate the data – , that is correlated to
. And we consider a random forest on those three features,
.
In order to get some more robust results, I geneate 100 datasets, of size 1,000.
library(mnormt)
impact_correl=function(r=.9){
nsim=10
IMP=matrix(NA,3,nsim)
n=1000
R=matrix(c(1,r,r,1),2,2)
for(s in 1:nsim){
X1=rmnorm(n,varcov=R)
X3=rnorm(n)
Y=1+2*X1[,1]-2*X3+rnorm(n)
db=data.frame(Y=Y,X1=X1[,1],X2=X1[,2],X3=X3)
library(randomForest)
RF=randomForest(Y~.,data=db)
IMP[,s]=importance(RF)}
apply(IMP,1,mean)}
C=c(seq(0,.6,by=.1),seq(.65,.9,by=.05),.99,.999)
VI=matrix(NA,3,length(C))
for(i in 1:length(C)){VI[,i]=impact_correl(C[i])}
plot(C,VI[1,],type="l",col="red")
lines(C,VI[2,],col="blue")
lines(C,VI[3,],col="purple")
The purple line on top is the variable importance value of , which is rather stable (almost constant, as a first order approximation). The red line is the variable importance function of
while the blue line is the variable importance function of
. For instance, the importance function with two very correlated variable is
It looks like is much more important than the other two, which is – somehow – not the case. It is just that the model cannot choose between
and
: sometimes,
is slected, and sometimes it is
. I think I find that graph confusing because I would probably expect the importance of
to be constant. It looks like we have a plot of the importance of each variable, given the existence of all the other variables.
Actually, what I have in mind is what we get when we consider the stepwise procedure, and when we remove each variable from the set of features,
library(mnormt)
impact_correl=function(r=.9){
nsim=100
IMP=matrix(NA,4,nsim)
n=1000
R=matrix(c(1,r,r,1),2,2)
for(s in 1:nsim){
X1=rmnorm(n,varcov=R)
X3=rnorm(n)
Y=1+2*X1[,1]-2*X3+rnorm(n)
db=data.frame(Y=Y,X1=X1[,1],X2=X1[,2],X3=X3)
IMP[1,s]=AIC(lm(Y~X1+X2+X3,data=db))
IMP[2,s]=AIC(lm(Y~X2+X3,data=db))
IMP[3,s]=AIC(lm(Y~X1+X3,data=db))
IMP[4,s]=AIC(lm(Y~X1+X2,data=db))
}
apply(IMP,1,mean)}
Here, if we uses the same code as previously,
C=c(seq(0,.6,by=.1),seq(.65,.9,by=.05),.99,.999)
VI=matrix(NA,3,length(C))
for(i in 1:length(C)){VI[,i]=impact_correl(C[i])}
we get the following graph
plot(C,VI[2,],type="l",col="red") lines(C,VI2[3,],col="blue") lines(C,VI2[4,],col="purple")
The purple line is obtained when we remove : it is the worst model. When we keep
and
, we get the blue line. And this line is constant: the quality of the does not depend on
(this is what puzzled me in the previous graph, that having
does have an impact on the importance of
). The red line is what we get when we remove
. With 0 correlation, it is the same as the purple line, we get a poor model. With a correlation close to 1, it is same as having
, and we get the same as the blue line.
Nevertheless, discussing the importance of features, when we have a lot of correlation features is not that intuitive…