Et si je tweetais en anglais pour une mauvaise raison

Sur Twitter, assez naturellement, j’ai tendance à tweeter en anglais. J’ai toujours eu l’impression qu’en anglais, la limite des 140 caractères était moins contraignante. Qu’en anglais, la même chose pouvait être dite de manière plus concise.

Histoire de vérifier cette vague intuition, je suis allé chercher des livres sur Gutenberg. Le plus simple est de récupérer un livre en français, au format texte (txt), de compter le nombre de symboles, et de trouver le même livre en anglais. La fonction, à partir d’un code de livre, ressemble à ça

> cpte=function(no){
+     url0=paste(
+         "http://www.gutenberg.org/cache/epub/",
+         no,"/pg",no,".txt",sep="")
+     download.file(url0,destfile="u.txt")
+     s=scan("u.txt",what="character")
+     sum(nchar(s))
+ }

Par exemple, pour David Copperfield, de Dickens, le  code pour la version originale, en anglais, est

> gb=766

et en français, il faut récupérer 2 fichiers

> fr_a=17868
> fr_b=17869

Aussi,

> g=cpte(gb)
essai de l'URL 'http://www.gutenberg.org/cache/epub/766/pg766.txt'
Content type 'text/plain; charset=utf-8' length 1992535 bytes (1.9 MB)
=================================================
downloaded 1.9 MB

Read 288181 items
> f=cpte(fr_a)+cpte(fr_b)
essai de l'URL 'http://www.gutenberg.org/cache/epub/17868/pg17868.txt'
Content type 'text/plain; charset=utf-8' length 1161492 bytes (1.1 MB)
=================================================
downloaded 1.1 MB

Read 191311 items
essai de l'URL 'http://www.gutenberg.org/cache/epub/17869/pg17869.txt'
Content type 'text/plain; charset=utf-8' length 1135661 bytes (1.1 MB)
=================================================
downloaded 1.1 MB

Read 186515 items

le ratio du nombre de caractère en anglais, et en français, est de l’ordre de 90%. Autrement dit, la version anglaise contient 10% de caractères en moins que la version française,

> g/f
[1] 0.9090498

Si on regarde une pièce de théâtre, comme Othello, la version anglaise est 25% plus courte que la version française.

> fr=18179
> gb=1793
> g=cpte(gb)
essai de l'URL 'http://www.gutenberg.org/cache/epub/1793/pg1793.txt'
Content type 'text/plain; charset=utf-8' length 188634 bytes (184 KB)
=================================================
downloaded 184 KB

Read 24951 items
> f=cpte(fr)
essai de l'URL 'http://www.gutenberg.org/cache/epub/18179/pg18179.txt'
Content type 'text/plain; charset=utf-8' length 239158 bytes (233 KB)
=================================================
downloaded 233 KB

Read 36157 items
> g/f
[1] 0.746805

Plus généralement pour les pièces de théâtre de Shakespeare, on valide mon intuition : les versions en anglais sont toujours plus courtes que les versions en français,

Pour faire ce graphique, on peut utiliser la trentaine de livres que j’ai regardé, à l’aide du fichier

> download.file(
+ "http://freakonometrics.free.fr/livre.RData",
+ "livre.RData")
essai de l'URL 'http://freakonometrics.free.fr/livre.RData'
Content type 'text/plain' length 1095 bytes
=================================================
downloaded 1095 bytes

> load("livre.RData")

La base ressemble à ça

> base
           nom        FR      UK language   ratio
1  3 Mousquet.    1110255 1156011       FR 104.12
2  Dorian Grey     398653  404799       UK 101.54
3  Pierre-Jean     248299  228838       FR  92.16
4      Odyssée     691648  651044       GR 118.17
5       Iliade     550924  514953       GR  74.45
6  Jules César     157726  105685       UK  67.00
7      Macbeth     160571   96276       UK  59.95
8      Othello     189984  141881       UK  74.68
9       Hamlet     275629  145380       UK  52.74
10   Com. Mép.     115583   97704       UK  84.53
11  Ant.-Cléo.     185806  130857       UK  70.42
12   Rom.-Jul.     195273  126323       UK  64.69
13    Roi Lear     196185  124483       UK  63.45
14  Sganarelle      50408   63387       FR 125.74
15 OliverTwist     778914  770784       UK  98.95
16  D.Copperf.    1808770 1644262       UK  90.90
17    Assomoir     585237  565444       FR  96.61
18   T. Raquin     351525  353837       FR 100.65
19    20000 L.     745559  518932       FR  69.60
20    80 Jours     367388  329073       FR  89.57
21  5 Semaines     491510  483289       FR  98.32
22 CentreTerre     362617  370584       FR 102.19
23          93     585073  637499       FR 108.96
24  Notre Dame     885048  928256       FR 104.88
25   Jane Eyre     922233  919521       UK  99.70
26    Possédés    1241293 1293319       RU 104.19
27 Guerre-Paix    2409360 2739725       RU 113.71
28     Corbeau      27884   21886       UK  78.48
29  Mme Bovary     585237  565444       FR  96.61

Si on visualise tous les titres, et pas seulement les pièces de Shakespeare, on obtient

Autrement dit, la différence n’est pas aussi significative qu’elle y paraissait. Plus troublant, si on regarde les livres écrit en anglais (en rouge ci-dessous) on observe effectivement que la version française est plus longue. Par contre, pour les livres écrits en français (en bleu), la version anglaise est sensiblement de la même taille…

A suivre donc…


9 thoughts on “Et si je tweetais en anglais pour une mauvaise raison”

  1. the conclusion that I see is that every language has some phrases or words that are not used with the same frequency in the other language, so to explain the length of a text in words there are two constants, one almost universal por modern languages and other for every language.

    For example in spanish we have the word libre /libertad, and gratis (price is 0). In English you have to explain that is free like in beer, it is very strange that such an important subject like liberty don’t have a single word for this important concept.

    I can read French but I can’t write it, so I write my comment in English.

  2. @bruno
    n’utiliser QUE le nb de catacteres ou de mots me semble difficile, car rien qu’en francais par exemple, le style d’ecriture fait varier fortement ces parametres. l’analyse du nb de mots et de caracteres de ‘exercice de styles’ de queneau devrait le
    demontrer.

    1. là, l’idée était vraiment de réfléchir sur les tweets, en gros, si je veux faire passer un message qui fait 160 caractères en français, au lieu de chercher une autre formulation, en français, ne peut-on pas tenter tout simplement une traduction en anglais, dans l’espoir d’atteindre un peu moins de 139 caractères

    2. Bien entendu.

      Je vais me renseigner sur les textes de R. Queneau.

      C’est surtout pour la mise en ligne pour le public bientôt de près de 2 To de documents frauduleux. Et pour traiter une telle quantité de données efficacement, je recherche de bonnes méthodes pour déjà détecter rapidement la langue utilisée.

      De mon point de vue, les mails pour coordonner des opérations ont souvent la taille d’un tweet, et cela, indépendamment de la langue utilisée ( Avis personnel avant la mise en ligne)

  3. Question methodologique: les examples ci-mentionnees sont tous de forme: Texte Anglais traduit en Francais; Y a-t-il peut-etre un biais vers concision en l’original? Qu’est-ce qui se passerait si on comparaisait deux traductions directes et independentes (vers Anglais et vers Francais) d’une meme texte etrangere, comme par example “L’Idiot” de Dostoevsky, ou les Psaumes Hebreux?

  4. Bonjour,

    Super article, juste une demande d’avis.

    A votre avis, avec des méthodes de Machine Learning, sera-t-il possible de prévoir la langue d’un livre à partir du nombre de caractères ou de mots présents ?

  5. Je crois qu’il y a des travaux sur la mesure de l’entropie par langue, l’anglais contient effectivement + d’information par caractère…

    Intéressant aussi: sur Weibo, le twitter chinois, il me semble qu’il avait aussi une limite de 140 caractères, mais pour le coup ça véhicule beaucoup plus d’information!

Leave a Reply

Your email address will not be published. Required fields are marked *