Sur Twitter, assez naturellement, j’ai tendance à tweeter en anglais. J’ai toujours eu l’impression qu’en anglais, la limite des 140 caractères était moins contraignante. Qu’en anglais, la même chose pouvait être dite de manière plus concise.
Histoire de vérifier cette vague intuition, je suis allé chercher des livres sur Gutenberg. Le plus simple est de récupérer un livre en français, au format texte (txt), de compter le nombre de symboles, et de trouver le même livre en anglais. La fonction, à partir d’un code de livre, ressemble à ça
> cpte=function(no){ + url0=paste( + "http://www.gutenberg.org/cache/epub/", + no,"/pg",no,".txt",sep="") + download.file(url0,destfile="u.txt") + s=scan("u.txt",what="character") + sum(nchar(s)) + }
Par exemple, pour David Copperfield, de Dickens, le code pour la version originale, en anglais, est
> gb=766
et en français, il faut récupérer 2 fichiers
> fr_a=17868 > fr_b=17869
Aussi,
> g=cpte(gb) essai de l'URL 'http://www.gutenberg.org/cache/epub/766/pg766.txt' Content type 'text/plain; charset=utf-8' length 1992535 bytes (1.9 MB) ================================================= downloaded 1.9 MB Read 288181 items > f=cpte(fr_a)+cpte(fr_b) essai de l'URL 'http://www.gutenberg.org/cache/epub/17868/pg17868.txt' Content type 'text/plain; charset=utf-8' length 1161492 bytes (1.1 MB) ================================================= downloaded 1.1 MB Read 191311 items essai de l'URL 'http://www.gutenberg.org/cache/epub/17869/pg17869.txt' Content type 'text/plain; charset=utf-8' length 1135661 bytes (1.1 MB) ================================================= downloaded 1.1 MB Read 186515 items
le ratio du nombre de caractère en anglais, et en français, est de l’ordre de 90%. Autrement dit, la version anglaise contient 10% de caractères en moins que la version française,
> g/f [1] 0.9090498
Si on regarde une pièce de théâtre, comme Othello, la version anglaise est 25% plus courte que la version française.
> fr=18179 > gb=1793 > g=cpte(gb) essai de l'URL 'http://www.gutenberg.org/cache/epub/1793/pg1793.txt' Content type 'text/plain; charset=utf-8' length 188634 bytes (184 KB) ================================================= downloaded 184 KB Read 24951 items > f=cpte(fr) essai de l'URL 'http://www.gutenberg.org/cache/epub/18179/pg18179.txt' Content type 'text/plain; charset=utf-8' length 239158 bytes (233 KB) ================================================= downloaded 233 KB Read 36157 items > g/f [1] 0.746805
Plus généralement pour les pièces de théâtre de Shakespeare, on valide mon intuition : les versions en anglais sont toujours plus courtes que les versions en français,
Pour faire ce graphique, on peut utiliser la trentaine de livres que j’ai regardé, à l’aide du fichier
> download.file( + "http://freakonometrics.free.fr/livre.RData", + "livre.RData") essai de l'URL 'http://freakonometrics.free.fr/livre.RData' Content type 'text/plain' length 1095 bytes ================================================= downloaded 1095 bytes > load("livre.RData")
La base ressemble à ça
> base nom FR UK language ratio 1 3 Mousquet. 1110255 1156011 FR 104.12 2 Dorian Grey 398653 404799 UK 101.54 3 Pierre-Jean 248299 228838 FR 92.16 4 Odyssée 691648 651044 GR 118.17 5 Iliade 550924 514953 GR 74.45 6 Jules César 157726 105685 UK 67.00 7 Macbeth 160571 96276 UK 59.95 8 Othello 189984 141881 UK 74.68 9 Hamlet 275629 145380 UK 52.74 10 Com. Mép. 115583 97704 UK 84.53 11 Ant.-Cléo. 185806 130857 UK 70.42 12 Rom.-Jul. 195273 126323 UK 64.69 13 Roi Lear 196185 124483 UK 63.45 14 Sganarelle 50408 63387 FR 125.74 15 OliverTwist 778914 770784 UK 98.95 16 D.Copperf. 1808770 1644262 UK 90.90 17 Assomoir 585237 565444 FR 96.61 18 T. Raquin 351525 353837 FR 100.65 19 20000 L. 745559 518932 FR 69.60 20 80 Jours 367388 329073 FR 89.57 21 5 Semaines 491510 483289 FR 98.32 22 CentreTerre 362617 370584 FR 102.19 23 93 585073 637499 FR 108.96 24 Notre Dame 885048 928256 FR 104.88 25 Jane Eyre 922233 919521 UK 99.70 26 Possédés 1241293 1293319 RU 104.19 27 Guerre-Paix 2409360 2739725 RU 113.71 28 Corbeau 27884 21886 UK 78.48 29 Mme Bovary 585237 565444 FR 96.61
Si on visualise tous les titres, et pas seulement les pièces de Shakespeare, on obtient
Autrement dit, la différence n’est pas aussi significative qu’elle y paraissait. Plus troublant, si on regarde les livres écrit en anglais (en rouge ci-dessous) on observe effectivement que la version française est plus longue. Par contre, pour les livres écrits en français (en bleu), la version anglaise est sensiblement de la même taille…
A suivre donc…
OpenEdition suggests that you cite this post as follows:
Arthur Charpentier (May 1, 2016). Et si je tweetais en anglais pour une mauvaise raison. Freakonometrics. Retrieved October 7, 2024 from https://doi.org/10.58079/ov3w
the conclusion that I see is that every language has some phrases or words that are not used with the same frequency in the other language, so to explain the length of a text in words there are two constants, one almost universal por modern languages and other for every language.
For example in spanish we have the word libre /libertad, and gratis (price is 0). In English you have to explain that is free like in beer, it is very strange that such an important subject like liberty don’t have a single word for this important concept.
I can read French but I can’t write it, so I write my comment in English.
@bruno
n’utiliser QUE le nb de catacteres ou de mots me semble difficile, car rien qu’en francais par exemple, le style d’ecriture fait varier fortement ces parametres. l’analyse du nb de mots et de caracteres de ‘exercice de styles’ de queneau devrait le
demontrer.
là, l’idée était vraiment de réfléchir sur les tweets, en gros, si je veux faire passer un message qui fait 160 caractères en français, au lieu de chercher une autre formulation, en français, ne peut-on pas tenter tout simplement une traduction en anglais, dans l’espoir d’atteindre un peu moins de 139 caractères
Bien entendu.
Je vais me renseigner sur les textes de R. Queneau.
C’est surtout pour la mise en ligne pour le public bientôt de près de 2 To de documents frauduleux. Et pour traiter une telle quantité de données efficacement, je recherche de bonnes méthodes pour déjà détecter rapidement la langue utilisée.
De mon point de vue, les mails pour coordonner des opérations ont souvent la taille d’un tweet, et cela, indépendamment de la langue utilisée ( Avis personnel avant la mise en ligne)
Question methodologique: les examples ci-mentionnees sont tous de forme: Texte Anglais traduit en Francais; Y a-t-il peut-etre un biais vers concision en l’original? Qu’est-ce qui se passerait si on comparaisait deux traductions directes et independentes (vers Anglais et vers Francais) d’une meme texte etrangere, comme par example “L’Idiot” de Dostoevsky, ou les Psaumes Hebreux?
il y a des ouvrages en russe, et en grec (Homère). En fait, sur le site, il y a peu (je trouve) de texte traduits en français… mais je vais continuer à creuser
Bonjour,
Super article, juste une demande d’avis.
A votre avis, avec des méthodes de Machine Learning, sera-t-il possible de prévoir la langue d’un livre à partir du nombre de caractères ou de mots présents ?
Je crois qu’il y a des travaux sur la mesure de l’entropie par langue, l’anglais contient effectivement + d’information par caractère…
Intéressant aussi: sur Weibo, le twitter chinois, il me semble qu’il avait aussi une limite de 140 caractères, mais pour le coup ça véhicule beaucoup plus d’information!