Tag Archives: big data

Regard personnel sur le Big Data

Sur variances.eu, la thématique Big Data du mois d’octobre se poursuit avec aujourd’hui le regard (personnel) de Xavier Dupré,

Je pianote ce soir sur le clavier de mon ordinateur. Il est 23h et je suis au hackathon organisé par Data Science Game – une association créée par d’anciens ENSAE. Les participants se débattent avec des données actuarielles pour prédire le taux d’achats de police d’assurance. Les 500 Mo de données auraient été considérées comme “big” il y a cinq ans. Elles tiennent maintenant aisément sur un ordinateur portable et il ne faut que quelques secondes pour calculer une moyenne. Tous ont déjà participé à des compétitions Kaggle, utilisé plusieurs librairies de machines learning. Certains obtiennent des résultats une heure après le début malgré des variables de types très variés. On se doute que ce n’est pas la première compétition à laquelle ils participent. Je circule d’une équipe à l’autre, les écrans montrent du python, un peu de R, une ligne de commande ouverte dans un coin, un notebook dans un autre, des machines distantes qui tournent quelque part. Ca discute beaucoup au sein des équipes. Elles sont pour la plupart composées de personnes qui se complètent, le data manager, le programmeur, le machine learner. Au dîner, j’échange avec quelques équipes. L’un d’eux me parle d’un de ses amis qui apprend des réseaux profonds pour entraîner une machine à jouer au jeu vidéo Doom. Il utilise des techniques de deep reinforcement learning. Nous abordons les domaines dans lesquels ces technologies s’appliqueront. La médecine sort en premier. Les transports en second. Les participants, vingt équipes de quatre, ont été sélectionnées sur une première compétition. Même si je joue le rôle de mentor, peu me posent des questions techniques. Il y a peu de choses qu’ils ne sachent déjà. Tous connaissent la programmation et les statistiques. Après 24h, certains assemblages deviennent plutôt complexes, la prédiction est issue d’un patchwork de modèles. On apprécie le coup de crayon des peintres, certains participants ont un bon coup de clavier. Les équipes prennent tour à tour la place de numéro 1.

[à suivre…]

Big Data (3) – Comment garantir au mieux la confidentialité ?

Dernier billet de la série publiée par Philippe Tassi, en ligne sur variance.eu, avec aujourd’hui une réflexion sur la confidentialité.

Les données ou statistiques, détenues ou élaborées par des administrations ou des entreprises, sont en général construites à partir d’informations individuelles, ce qui pose la question de la protection des sources, c’est-à-dire de la vie privée, compte tenu des progrès constants de la science et des process de traitement. Comment établir et maintenir la confiance du grand public, partie prenante numéro 1, tout en respectant l’équilibre entre promesse de confidentialité et utilisation des données recueillies ?

Pour y répondre, deux approches sont complémentaires : l’une est réglementaire, et montre que les Etats ont pris conscience depuis longtemps de la nécessité d’établir des garde-fous juridiques ; l’autre vise à s’appuyer sur la technologie en mettant en place des obstacles techniques empêchant la diffusion de données contre le gré de leur auteur.

[à suivre…]

Big Data (2) – phénomène éphémère ou de fond ?

Suite de la réflexion de Philippe Tassi sur variance.eu, avec aujourd’hui une réflexion sur phénomène ephémère ou de fond ?

Il est légitime de se poser cette question, tant certains sujets ont parfois été montés en épingle, avant de reperdre leur intérêt. Cependant, il ne semble pas que les données massives soient une mode passagère. Les vraies questions pourraient porter sur sa durée et sur ses conséquences sociétales. Combien d’années va vivre ce nouveau paradigme de juxtaposition de sources ? Comment se définir dans une société d’algorithmes traitant en temps réel des images numériques avec le minimum d’interventions humaines ?

Il est probable que nous soyons entrés pour au moins une décennie dans un monde à dominante scientifique. Non seulement les investissements sont réalisés dans la durée par les entreprises, et ne sont pas éphémères, mais s’y rajoute une réelle orientation politique.

En introduction, nous considérions que le numérique a donné encore plus de poids aux méthodologies, aux modélisations et aux technologies. Cela ne semble pas prêt de cesser. Non seulement parce que de nombreux secteurs d’activité développent ce type de sources – en 2014, par minute, le monde a créé 1,7 million de milliards d’octets de données, c’est-à-dire l’équivalent du contenu de 360 000 DVD –, mais aussi parce que c’est un espoir de croissance économique et d’emplois.

[à suivre…]

Big Data (1) – la fin des échantillons ou nouveau paradigme ?

Toujours dans la série de billets autour du big data sur le site variances.eu, le premier article d’une série de trois, par Philippe Tassi, sur le thème la fin des échantillons ou nouveau paradigme.

Depuis les premières tablettes cunéiformes du pays de Sumer jusqu’à la fin du XIXème siècle, on peut considérer que le monde a vécu sous le règne quasi-exclusif de « l’exhaustivité ».

Il y eut bien, au milieu du XVIIème siècle, de premières approches d’échantillonnage avec l’école dite de l’arithmétique politique de John Graunt et William Petty en Angleterre, et les avancées de Sébastien Le Prestre de Vauban et Jean-Baptiste Colbert en France : Vauban publie en 1686 un livre intitulé « Méthode généralle et facille pour faire le dénombrement des peuples ».

Cependant, ces tentatives innovantes ne se sont pas généralisées. La norme reste la vision exhaustive ; les pays les plus développés sur le plan statistique – n’oublions pas que statistique vient du latin status, mot dont l’un des sens est « attitude, posture, position, état » mais aussi qui possède un acception plus large en tant que « gouvernement, Etat » – qui gèrent des recensements, qu’ils soient de population, d’entreprises ou d’établissements industriels, ou de terres agricoles.

Le XXème siècle est marqué par le lent recul de l’exhaustif et la montée de plus en plus affirmée du paradigme de l’échantillonnage. On peut considérer que l’acte fondateur en est la communication d’Anders N. Kiaer, directeur du Bureau Central de Statistique du Royaume de Norvège, lors du Congrès de Berne de l’Institut International de Statistique d’août 1895 (IIS, maintenant dénommée ISI dans sa version anglaise International Statistical Institute). Intitulée Observations et expériences concernant des dénombrements représentatifs, elle ouvre un premier et long débat sur l’échantillonnage, la « pars pro toto ».

Au niveau le plus général, il faut apprécier tout particulièrement les quatre premières lignes qui composent le préambule de l’exposé de A. N. Kiaer, pertinentes et visionnaires.

[à suivre…]

Métadonnées et vie privée, l’équation insoluble?

Dans le cadre de la série d’articles (sur le thème des données) que j’édite sur variances.eu (le blog d’ENSAE Alumni), Yves-Alexandre de Montjoye –  @yvesalexandre – revient sur le thème métadonnées et vie privée, l’équation insoluble?

À l’image du texto, les comptes-rendus d’appels ou CRA, autrefois uniquement destinés à des fins de facturation, ont de loin dépassé leur but premier. Il est devenu clair au cours des derniers cinq ans, que ces métadonnées, littéralement “données à propos des données”, étaient utiles pour bien plus que juste la facturation. Connaître, même de manière anonyme, qui téléphone ou qui envoie un texto, à quel moment, et de quel endroit est une source d’information exceptionnelle sur nous-même et la société dans laquelle nous vivons.

Les comptes-rendus d’appels (CRA ou CDR en anglais) ont déjà été utilisés par des chercheurs pour étudier les vecteurs de propagation d’épidémies comme la malaria [1] ou de réaliser des recensements de population en temps réel [2]. Au-delà du monde de la recherche, l’utilisation commerciale de ces données est déjà en plein essor aux États-Unis et ailleurs, comme en témoigne le programme “precision insight” de Verizon ou FluxVision d’Orange.

Le potentiel de ces données ne doit cependant pas nous faire oublier que chacune d’entre elles est produite par une personne passant un appel, recevant un texto d’un ami ou effectuant un déplacement. Les CRA contiennent des informations détaillées et potentiellement sensibles sur le comportement, les habitudes de déplacement, ou encore le style de vie d’une personne.

Permettre la collecte et l’utilisation des données en respectant la vie privée des utilisateurs passe souvent, d’un point de vue pratique mais aussi légal, par leur “anonymisation”. L’idée est en effet que si les données ne sont pas associées à un individu, les informations qu’elles contiennent ne peuvent pas lui nuire.

[à suivre…]

La prévention est probablement le seul levier sur lequel les assureurs peuvent utiliser les données personnelles

Interview sur le site de l’Institut Louis Bachelier.

Generali France – filiale française de l’assureur italien – lance le programme Vitality à partir du 1er janvier 2017. Ce contrat d’assurance santé prend en compte pour la première fois des informations personnelles (alimentation, poids, mode de vie…) renseignées directement en ligne par l’assuré.

Cette offre d’assurance santé sera proposée aux entreprises qui souhaitent y adhérer, tandis que leurs salariés pourront y souscrire sur la base du volontariat.

À partir des données collectées, le programme Vitality propose des recommandations aux assurés pour améliorer leur bien-être. Les bons comportements seront ensuite récompensés par des cadeaux et des bons d’achat chez les partenaires commerciaux de Generali. Cette démarche permet ainsi de contourner l’interdiction légale de baisser les tarifs des assureurs les plus vertueux.

Alors que ce contrat d’assurance suscite des critiques de la part de consommateurs, Arthur Charpentier, responsable scientifique de l’initiative de recherche « Valorisation et nouveaux usages actuariels de l’information » a répondu à nos questions. Interview.

Generali s’attaque au marché de l’assurance santé collective en se basant pour la première fois sur le comportement, quel est votre sentiment sur ce nouveau produit d’assurance ?

Le lancement d’un produit d’assurance santé, qui analyse les données personnelles, ne constitue pas une surprise en tant que telle. Beaucoup d’observateurs s’y attendaient, car depuis deux ans la plupart des acteurs du secteur sont en réflexion sur ce sujet. Par ailleurs, il faut noter que des produits d’assurance automobile – qui relèvent les données liées à la conduite via un boitier télématique – existent déjà.

Oui, mais l’assurance santé est une problématique assez sensible en France.

Certes, mais il est légitime pour Generali de mettre un pied dans l’assurance santé collective, à travers la collecte de données. C’est un marché très important qui complète le régime de base de la sécurité sociale.

Ce produit d’assurance relativement segmenté remet-il en cause le principe de mutualisation caractérisant le secteur de l’assurance ?

L’assurance est un mécanisme solidaire de transfert des risques entre des assurés et des assureurs, où les conditions dont la prime sont fixées en début de période. Dans ce contexte, la tarification des contrats d’assurance est basée sur une prévision, faite ex-ante, qui ne peut pas être remise en cause durant la durée de vie du contrat (souvent un an).

Toutefois, sur les plans économiques et actuariels, le principe de mutualisation n’est pas « juste », ce qui explique l’apparition d’un début de segmentation sur certains produits d’assurance, en particulier automobile pour les particuliers.

En outre, les assureurs se sont déjà engouffrés dans des brèches en faisant payer davantage les assurances santé des personnes qui portent des lunettes par exemple.

Generali évoque la prévention dans sa communication autour de son nouveau produit. Cet argument est-il pertinent ?

La prévention est probablement le seul levier sur lequel les assureurs peuvent utiliser les données personnelles. C’est sur ce créneau qu’ils ont un coup à jouer, car la prévention confère des gains à l’ensemble de la collectivité (assureurs, assurés, pouvoirs publics). D’autant plus que sur le plan actuariel, le système de prévention est sain et juste.

Néanmoins, certains aspects peuvent être discutables comme encourager la pratique d’un sport : si la pratique sportive réduit les risques cardiovasculaires ou l’obésité, elle augmente les risques de fractures.

D’une manière générale, les assureurs donnent tout de même l’impression de vouloir être intrusif. Qu’en pensez-vous ?

Classiquement, les assureurs utilisent des proxy de variables non observables pour deviner le comportement des assurés, comme l’âge du conducteur principal ou la couleur du véhicule en assurance automobile. Dans le futur, les assureurs voudront certainement utiliser des variables directement liées aux modes de vie (alcool, fatigue…), ce qui est plutôt logique économiquement.

Que se passerait-t-il pour les personnes qui ne souhaiteraient pas divulguer des informations aussi personnelles ?

Les assurés qui communiqueront leurs données personnelles auront des incitations à le faire. Dans le cas de Generali, les assurés, qui prendront des engagements quant à leurs habitudes de vie, obtiendront des cadeaux et des bons d’achat chez des partenaires de l’assureur. Néanmoins, les personnes qui ne voudront pas donner accès à des informations personnelles pourraient être pénalisées, ce qui serait contraire à l’éthique.

Plus globalement, les assurés peuvent-ils craindre pour leur vie privée ?

Il ne faut pas faire preuve de naïveté, les assureurs disposent de beaucoup moins de données personnelles que les banques ou les opérateurs de téléphonie. Sans parler des géants du web comme Facebook. Il n’y aura donc pas davantage de flicage. Par exemple, dans le cas de Generali, les données qu’ils collecteront ont déjà été certainement divulguées par les assurés à d’autres.

En revanche, il reste encore beaucoup d’incertitudes au niveau de la CNIL (Commission nationale de l’informatique et des libertés) qui n’a pas encore clarifié sa politique sur ce sujet. La législation peut ainsi évoluer très rapidement, car c’est un chantier énorme avec beaucoup de parties prenantes. Par conséquent, les assureurs continuent de s’interroger sur la manière d’exploiter le Big Data.

Big Data : la recherche s’expose

Vendredi matin, j’interviendrai à la journée “Big Data : la recherche s’expose” organisée par l’Institut Louis Bachelier au petit auditorium du palais Brongniart. Au programme

  • 9h00 : Accueil par Bertrand Villeneuve, Université Paris-Dauphine
  • 9h15-9h45 : René Aïd, IdR « Laboratoire Finance des Marchés de l’Energie », Fondation Institut Europlace de Finance.
  • 9h45 – 10h15 : Florence Jusot, Chaire « Santé », Fondation du Risque.
  • 10h15 – 10h45 : Pause-café
  • 10h45 – 11h15 : Emmanuel Bacry, Chaire « Marchés en Mutation », Fondation Institut Europlace de Finance.
  • 11h15 – 11h45 : Arthur Charpentier, IdR « Valorisation et Nouveaux Usages Actuariels de l’Information », Fondation du Risque.
  • 11h45 – 12h15 : Serge Darolles, IdR « Private Equity et Venture Capital », Fondation Institut Europlace de Finance.
  • 12h15 : Conclusion par Nizar Touzi, Ecole Polytechnique.
  • 12h30 : Buffet déjeuner
  • 14h00 : Fin de la Journée des Chaires 2016.

Je présenterais les résultats obtenus lors du pricing game obtenu cet automne (qui sera relancé, sous une forme actualisé, cet été.. à suivre donc).

Breizh Camp, Economics with Computers

I have been invited, as keynote speaker, at the 6th BreizhCamp, organized in Rennes, from March 23rd till March 25th, “la conférence des développeurs du grand ouest” as they call it. I am deeply honored, since it is a huge conference… The organizing committee asked me to give a (brief) talk on data, and big data. But data is just the visible tip of the iceberg, and I cannot talk about data without mentioning algorithms. So I will try to talk about algorithmics, econometrics, machine learning, and data (and big data, of course).

Slides are now online… More to come in the next days…

Le principe de mutualisation est remis en cause par les données

Interview sur le site de l’Institut Louis Bachelier.

En quoi la massification des données bouleverse les principes de l’assurance ?

La base de l’assurance est de regrouper des personnes afin de constituer une mutualité. Le prix des primes est calculé de sorte à couvrir le coût moyen des sinistres de cette mutualité.

L’arrivée de nouvelles données commence à remettre en cause ce principe de mutualisation, au profit d’assurances à la carte. La segmentation en fonction du profil de l’assuré est de plus en plus fine.

Différencier les produits et tarifs en fonction des caractéristiques du client, comme son âge ou son lieu d’habitation, n’est pas nouveau…

La segmentation a toujours existé. Un jeune conducteur, par exemple, paie davantage qu’un conducteur plus expérimenté. Mais elle peut s’effectuer aujourd’hui à un niveau beaucoup plus fin grâce aux données GPS ou celles des objets connectés notamment. La question est donc de savoir jusqu’où il est souhaitable d’aller ? Quel est le bon équilibre entre segmentation et mutualisation ?

Si on exclut l’idée de faire du bénéfice (ce qui n’est pas la vocation des mutuelles), l’assurance est « un «jeu à somme nulle ». Autrement dit, si les tarifs de certains clients baissent, d’autres augmenteront nécessairement, au risque d’exclure certaines personnes du marché, comme cela a pu être le cas pour les jeunes conducteurs en Irlande, avec des tarifs proposés très élevés.

Il s’agit donc d’une vraie question de société sur laquelle la recherche peut apporter des éléments de réponse.

Les assureurs ne seront-ils pas tentés de choisir uniquement les profils les moins risqués ?

Certains assureurs peuvent être tentés de chercher des niches, des segments peu risqués, et plus profitables. Mais la recherche de niche est un jeu dangereux. Il devient de plus en plus dur de distinguer le signal du bruit, et de s’assurer que la niche perdurera dans le temps. Il faut aussi tenir compte de biais de sélection dans la base.

Quels sont les autres risques d’une sur segmentation ?

En s’appuyant sur une plus large base d’informations, des compagnies vont mener des stratégies tarifaires assez agressives. Cela risque de générer une forte volatilité des primes d’assurance et d’entrainer d’importants mouvements chez les assurés.

Encourager la concurrence entre les compagnies d’assurance n’est-il pas souhaitable?

D’importants mouvements des assurés peuvent en tous cas soulever certaines problématiques. Aujourd’hui, les assureurs gardent souvent leurs clients plusieurs années et peuvent donc mutualiser les risques et les coûts associés dans le temps. Les jeunes conducteurs ont toujours plus d’accidents que la moyenne, mais avec les années d’expérience, leurs risques diminuent. Une compagnie peut donc accepter d’assurer un nouveau conducteur, à un tarif raisonnable, en misant sur le fait qu’elle le conservera comme client les années suivantes. Cette mutualisation dans le temps ne sera plus possible si les assurés deviennent plus volatiles.

Leurs comportement sont encore mal connus et compris. Au-delà de la tarification et de la création de produits, l’arrivée de nouvelles données peut aider à mieux les comprendre: pourquoi choisit-on un contrat plutôt qu’un autre ? Dans le cas des couvertures non-obligatoires, pourquoi décidons-nous de nous assurer ou pas ? Les données permettent de s’intéresser à l’assurance en tant qu’activité économique.

Les assureurs s’appuient sur des modèles mathématiques afin de prédire la sinistralité de leur portefeuille. L’ajout de nouvelles données peut-il permettre d’améliorer ces prédictions ?

Les algorithmes permettent déjà de prédire de façon très fine la probabilité qu’un sinistre survienne dans l’année. Les nouvelles données ne vont rien changer sur ce point tant que le cycle de production ne sera pas inversé. Par contre, elles seront certainement utiles sur le plan de la prévention. Grâce aux objets connectés, ou encore aux voitures intelligentes, il est désormais possible de détecter les comportements à risque. Des actions de prévention adéquates pourraient alors être mise en place.

“Raw Data” is an Oxymoron

Cette semaine, j’ai pris le temps pour parcourir un livre que j’avais reçu à la rentrée, “Raw Data”  is an Oxymoron, collection de textes édité par Lisa Gitelman en 2013, aux MIT Press. Une lecture critique avait été faite l’an passé sur les blogs impactofsocialsciences de la LSE et infofutures de la bibliothèque de NYU. J’avais alors eu envie de parcourir ce (petit) livre, et j’ai été ravi qu’on me l’envoie cet été. Je noterais aussi que j’ai été surpris de voir autant d’auteures femmes sur ce sujet, où d’ordinaire, on lit beaucoup le point de vue d’hommes. Et c’est passionnant. Je ne vais pas faire une lecture critique du livre, mais plutôt rappeler que mon blog est un carnet de recherche ouvert, où je garde mes notes de lectures, entre autres ici certains passages du livre que j’ai surligné lors de ma lecture. Continue reading “Raw Data” is an Oxymoron