Daily Archives: 26/08/2013

Computer, Statistics

De la disparition du français comme langue de référence (?)

7 Comments

En mettant à jour ma chronique Somewhere Else, depuis quelques temps, j’avais l’impression de citer de moins en moins d’articles en français dans mes tweets. Plus j’y pensais, plus je me rendais compte que je lisais de moins en moins la presse française (ou disons en français). Quand je lis la presse en français, j’ai l’impression de retrouver, avec quelques jours de retard (quelques heures de retards pour les informations plus importantes), ce que l’on trouve sur les sites anglophones. Loin de moi l’idée de juger qui que ce soit ! On a eu déjà quelques débats sur la pression mise sur les journalistes, et je comprend que traduire est une solution parfois simple, et économiquement viable (mais dans ce cas, je préfere aller lire courrierinternational.com qui au moins cite ses sources) ! C’est l’impression que j’avais l’autre jour en feuilletant le numéro de juillet de Science et Vie Junior avec les enfants, avec un article expliquant la taille de la tour la plus haute que l’on pourrait faire avec des légo. Mais l’étude avait été mentionnée en mars dernier sur bbc.co.uk (reprise alors sur le blog). Et j’ai cette impression très réguliement…

Je ne parle pas d’articles scientifiques ici, juste d’études ou de points de vue, sur différents sujets, parfois d’actualité, souvent en relation avec mes centres d’intérêt, comme la science ou l’économie (entre autres). Les sites en français ne semblent plus être des sites de référence (dans le sens ou, souvent, ils relayent une information glânée ailleurs). Et poutant, mon niveau d’anglais est très moyen. Mais je préfère lire un point de vue de @noahpinion sur son blog noahpinionblog.blogspot.ca, @delong sur delong.typepad.com ou @timharford sur timharford.com (dont je rate souvent les subtilitées, n’ayant pas les clés pour tout comprendre) plutôt que de lire des éditos d’économistes dans les journaux français (je devrais mettre un paquet de guillemets à économistes). Même en ratant des passages, faute de culture anglophone suffisante, j’y apprend beaucoup plus de choses. Et souvent, je trouve même cela passionnant, si ce n’est drôle. Et les commentaires sont souvent d’un haut niveau. La science et l’économie sont – a priori- des sujets qui intéressent autant les anglophones que les francophones, je devrais donc pouvoir apprendre dans les deux langues.

En partant de cette impression, le but de mon billet était de voir un peu plus en détails qui je citais dans mes chroniques Somewhere Else (et sur mon compte twitter, i.e. @freakonometrics). Afin de me faire une idée un peu plus précise, j’ai utilisé un petit code, mis en ligne tout à l’heure, pour extraire la liste des urls mentionnées dans mes tweets. Si on regarde le site que je cite le plus sur un peu plus de 900 tweets (les 900 les plus récents), on retrouve

Cocorico ! Et si je m’étais trompé ? Car on ne peut pas faire mentir les chiffres: le site que je site le plus dans mes tweets est www.lemonde.fr ! Bon, si on regarde de plus près, c’est le seul site francophone à compter (strictement) plus de 6 citations (on pourra trouver www.sauvonsluniversite.com avec 6 mentions, dont 2 hier pour deux brillants articles, suivis par www.sciencepresse.qc.ca et www.ledevoir.com qui ont chacun 4 citations). Viennent ensuite des sites anglophones

Quand on regarde plus attentivement, on voit que le dernier comptage est biaisé, car pour le Washington Post (par exemple) les blogs sont localisés avec une adresse de la forme, www.washingtonpost.com/blogs/wonkblog/ (et figurent dans mon décompte), mais ce n’est pas le cas pour le New York Times, qui héberge krugman.blogs.nytimes.com, opinionator.blogs.nytimes.com/ ou encore economix.blogs.nytimes.com/. Ces trois sites, par exemple, ont tous été 4 fois, sur les 900 tweets analysés. Donc si on voulait un décompte plus réaliste, il faudrait

(qui est alors loin devant www.lemonde.fr ). Viennent ensuite

Voilà pour la liste des sites mentionnés au moins 5 fois. Si on se limite à cette courte liste (en incluant ceux avec 4 citations), on a un total de 178 citations vers des hébergeurs anglophones, contre 36 pour des citations vers des sites en français, soit un ratio 5:1.

Et si au lieu de faire un comptage, on regardait de plus près, que verrait-on ? En fait, si on regarde les trois derniers tweets qui mentionnent www.lemonde.fr, le plus récent (daté du 24 août) était du copinage honteux, puisque j’ai découvert – avec beaucoup de retard – que Laurent Gobillon était ‘nominé au Prix 2013 du jeune économiste‘, or Laurent était un bon copain de promo, on a fait notre mémoire de sociologie (sur le rire dans les relations familiales) ensemble

Si on regarde les deux précédants (datés du 19 août) on a

Autrement dit, je renvoie vers deux articles en ligne sur www.nature.com/ mentionnés dans Le Monde (en fait, une étude était mentionnée sans être réellement cité, la première référence n’était pas la bonne, d’où les deux messages).

J’ai l’impression que cette rapide analyse quantitative me conforte dans l’impression que j’avais. La presse francophone n’est plus une presse de référence. Maintenant, je n’utilise que mon propre référentiel et mes centres d’intérêt. Et je serais curieux d’avoir d’autres points de vue…

Computer

R, Twitter and URLs

12 Comments
Yesterday evening, I wanted to play with Twitter, and see which websites I was using as references in my tweets, to get a Top 4 list.
The first problem I got was because installing twitteR on Ubuntu is not that simple ! You have to install properly RCurl… But you before install the package in R, it is necessary to run the following line in a terminal
$ sudo apt-get install 
  libcurl4-gnutls-dev
then, launch R
$ R
and then you can run the standard
> install.packages("RCurl")
and install finally the package of interest,
> install.packages("twitteR")
Then, the second problem I had was that twitteR has been updated recently because of Twitter’s new API. Now, you should register on Twitter’s developers webpage, get an Id and a password, then use it in the following function (I did change both of them, below, so if you try to run the following code, you will – probably – get an error message),
> library(twitteR)
> cred <- getTwitterOAuth("ikzCtYif9Rwoood45w","rsCCifp99kw5sJfKfOUhhwyVmPl9A")
> registerTwitterOAuth(cred)
[1] TRUE
> T <- userTimeline('freakonometrics',n=5000)
you should also go on some webpage and enter a PIN that you find online.
To enable the connection, please direct your web browser to:
http://api.twitter.com/oauth/authorize?oauth_token=cQaDmxGe...
When complete, record the PIN given to you and provide it here:
It is a pain in ass, trust me. Anyway, I have be able to run it. I can now have the list with all my (recent) tweets
> T <- userTimeline('freakonometrics',n=5000)

Now, my (third) problem was to extract from my tweets the url of references. The second tweet of the list was

But when you look at the text, you see

> T[[2]]
[1] "freakonometrics: [textmining] \"How a Computer Program Helped Reveal J. K. 
Rowling as Author of A Cuckoos Calling\" https://t.co/wdmBGL8cmj by @garethideas"
So what I get is not the url used in my tweet, but a shortcut to the urls, from https://t.co/. Hopefully, @3wen (as always) has been able to help me with the following functions,
> extraire <- function(entree,motif){
+	res <- regexec(motif,entree)
+	if(length(res[[1]])==2){
+		debut <- (res[[1]])[2]
+		fin <- debut+(attr(res[[1]],"match.length"))[2]-1
+		return(substr(entree,debut,fin))
+	}else return(NA)}
> unshorten <- function(url){
+	uri <- getURL(url, header=TRUE, nobody=TRUE, followlocation=FALSE, 
+       cainfo = system.file("CurlSSL", "cacert.pem", package = "RCurl"))
+	res <- try(extraire(uri,"\r\nlocation: (.*?)\r\nserver"))
+	return(res)}

Now, if we use those functions, we can get the true url,

> url <- "https://t.co/wdmBGL8cmj"
> unshorten(url)
[1] http://www.scientificamerican.com/article.cfm?id=how-a-computer-program-helped-show..
Now I can play with my list, to extract urls, and the address of the website,
> exturl <- function(i){
+ text_tw <- T_text[i]
+ locunshort2 <- NULL
+ indtext <- which(substr(unlist(strsplit(text_tw, " ")),1,4)=="http")
+ if(length(indtext)>0){
+ loc <- unlist(strsplit(text_tw, " "))[indtext]
+ locunshort=unshorten(loc)
+ if(is.na(locunshort)==FALSE){
+ locunshort2 <- unlist(strsplit(locunshort, "/"))[3]}}
+ return(locunshort2)}
Using apply with this function, and my list, and counting using a simple table() function, I can see that my top four (over more than 900 tweets) of reference websites is the following:
             www.nytimes.com         www.guardian.co.uk 
                          19                         21 
      www.washingtonpost.com             www.lemonde.fr 
                          21                         22
Nice, isn’t it ?