Bibm@th

Forum de mathématiques - Bibm@th.net

Bienvenue dans les forums du site BibM@th, des forums où on dit Bonjour (Bonsoir), Merci, S'il vous plaît...

Vous n'êtes pas identifié(e).

#1 07-06-2010 11:36:26

yoshi
Modo Ferox
Inscription : 20-11-2005
Messages : 11 391

Fréquences des lettres, bi, triquadri et pentagrammes en français

Bonjour à tous,

Ce qui va suivre, texte et présentation de nerosson, est le résultat d'une collaboration.
----------------------------------------------------------------------------------------------------------

              FREQUENCES   DES  LETTRES  ET  POLYGRAMMES DANS  LA  LANGUE  FRANCAISE

La présente étude a été réalisée sur une base  d'un million de lettres, composée de textes aussi variés que possible, dont voici la liste :

1) Divers articles portant sur les sujets suivants :
la cryptographie, la Première guerre mondiale,la Seconde guerre mondiale, Monsieur François Mitterrand, Monsieur Giscard d'Estaing, sujets politiques ou scientifiques, la crise économique, les informations internationales, Alexandre le Grand, les déserts, les étangs, la géographie culturelle, l'amour, le sport, la psychologie, la pollution, l'alimentation,

2) Extraits des oeuvres littéraires suivantes :
Les caractères de La Bruyère, Les mémoires de J. Fouché, Les lettres de mon moulin d' A. Daudet, Vingt mille lieues sous les mers de J. Verne, Thérèse Raquin d' E. Zola, Evolution et généalogie de l'homme de J. Berton, Du style gothique au XIX° siècle  d' E. Violet-le-Duc, Les misérables de V. Hugo, Le petit Poucet de Ch. Perrault, Le travail et l'argent de J.C. Martin, Le rouge et le noir de Stendhal, Peaux rouges et peaux blanches de H.E. Chevalier, Journaux intimes de Ch. Baudelaire, Odelettes et poésies diverses de G. de Nerval, On ne badine pas avec l'amour d' A. de Musset,  Athalie de J. Racine,Lettres philosophiques de Voltaire, Les rêveries d'un promeneur solitaire de J.J. Rousseau, L'étrange crime de Rouletabille de G. Leroux, Lettre sur le commerce des livres de D. Diderot, A se tordre d' A. Allais, Histoires naturelles de J. Renard.


A – FREQUENCE DES  LETTRES  (en pourcentages).
                               
frequlettres.png

B– NOMBRE  DE  BIGRAMMES.

N.B : Dans tous les tableaux suivants, on donne le nombre de chaque polygramme contenu dans la base. Pour obtenir un pourcentage, il suffit de placer une virgule de telle sorte qu'on ait quatre chiffres décimaux.

bigrammes1.png
bigrammes2.png

C- CLASSEMENT DES 100 TRIGRAMMES, QUADRIGRAMMES ET PENTAGRAMMES LES PLUS FREQUENTS.

triquadripenta.png

------------------------------------------------------------------------------------------------------------

Commentaires, suggestions ?

@+


Arx Tarpeia Capitoli proxima...

Hors ligne

#2 07-06-2010 14:12:52

nerosson
Membre actif
Inscription : 21-03-2009
Messages : 1 658

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Salut à tous,

Rendons à César ce qui est à César : Yoshi, toujours modeste, a omis de dire qu'il s'est tapé les trois quarts du boulot !

Hors ligne

#3 07-06-2010 20:39:32

freddy
Membre chevronné
Lieu : Paris
Inscription : 27-03-2009
Messages : 6 141

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Hello,

j'avais appris, en travaillant il y a longtemps avec une amie oulipienne, la phrase magique : ESARTINULO qui donnait, il y a 35 ans, le classement par fréquence d'utilisation décroissante des 9 premières lettres de l'alphabet français les plus utilisés dans la langue courante.

Yoshi vient de détruire un mythe !


Memento Mori ! ...

Hors ligne

#4 07-06-2010 20:53:27

yoshi
Modo Ferox
Inscription : 20-11-2005
Messages : 11 391

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Re,

Et moi, c'était ESARINTULOC...
Cela dit, on n'est pas loin : ESAINTRULODC
N'oublions pas dans les auteurs de ce travail, le pépère à "l'aversion" bien connue pour l'info : quoiqu'il dise sur mon rôle, il n'en reste pas moins que texte et tableaux sont de lui. C'est quand même hautement méritoire !
Tout comme le kit d'aide à la cryptanalyse, ils n'aurait pas vu le jour sans ses souhaits, remarques...etc.

@+


Arx Tarpeia Capitoli proxima...

Hors ligne

#5 08-06-2010 14:31:12

Centron
Membre
Inscription : 28-11-2009
Messages : 14

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Salut à tous

Félicitations pour un travail bien fait.

Mon aide-mémoire résiste assez bien :
   E SAINT URLO
Je l'avais trouvé dans un petit ouvrage paru il y a longtemps dans la collection "Que sais-je" écrit par André Muller. Nérosson l'a peut-être connu ?

j'ai une question concernant les fréquences des bigrammes.
S'agit-il des bigrammes trouvés uniquement à l'intérieur des mots, ou bien ceux obtenus sans tenir compte des blancs .
Nérosson a-t-il rencontré des tables de fréquences où en plus de la valeur décimale, est fournie une valeur logarithmique, aménagée pour éviter
les nombres négatifs.

Un beau travail vraiment.
Amicalement

Centron

Hors ligne

#6 08-06-2010 14:56:03

yoshi
Modo Ferox
Inscription : 20-11-2005
Messages : 11 391

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Re,

S'agit-il des bigrammes trouvés uniquement à l'intérieur des mots, ou bien ceux obtenus sans tenir compte des blancs .

A partir des textes cités, nous avons converti tous les lettres accentuées en lettres sans accents, trémas etc...
pour le ç --> c
Toutes les lettres liées ont été coupées en 2 : œ --> oe
Toute la ponctuation et les blancs ont été supprimés, ainsi que les chiffres.
Seulement après donc, l'analyse a été enclenchée pour les polygrammes...
1.000.000 de caractères, après préparation, d'un seul tenant.
En théorie, il y a 26² = 676 bigrammes possibles, je ne pense pas qu'on les ait tous rencontrés...

Nérosson a-t-il rencontré des tables de fréquences où en plus de la valeur décimale, est fournie une valeur logarithmique, aménagée pour éviter les nombres négatifs.

Là, je suis dépassé par ta question :
- A quelle occasion peut-on "rencontrer" des tables de fréquence, et qu'est-ce que ça signifie ?
- comment pourrait-on rencontrer des nombres négatifs ?

Bon, ainsi que tu le vois nous avons fait un travail "brut de décoffrage", analyse "bête et méchante des textes", préalablement préparés, via un truc que j'ai pondu en Python :
- Stockage de tous les polygrammes,
- Comptage des polygrammes identiques,
- Restockage, de couples cette fois, genre ("ES",32207)

J'ai l'intention, un de ces jours, de recommencer sur la base de 5.000.000 de caractères (mais uniquement avec des textes littéraires) même si nos stats n'ont pas évolué (ou si peu...)  entre 700.000 et 1.000.000 caractères... : le classement n'a pas bougé.

nerosson aura sûrement autre chose à dire de plus : c'est lui, le spécialiste de notre binôme !

@+


Arx Tarpeia Capitoli proxima...

Hors ligne

#7 08-06-2010 18:18:05

nerosson
Membre actif
Inscription : 21-03-2009
Messages : 1 658

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Salut à tous,

Non, je n'ai pas grand chose à ajouter. Yoshi, tes précisions sont très complètes.

Dans le domaines des fréquences, tout ce dont j'ai pu avoir connaissance était exprimé en pourcentages.

Quant aux différents mots servant de moyen mnémotechnique pour mémoriser les fréquences élevées, celui que j'ai entendu citer le plus fréquemment est "ESARINTULO", mais j'ai parfois entendu "SAINT URLO".

Personnellement, j'aurais un peu tendance à penser que, quand on a affaire à un texte de longueur modeste (pour fixer les idées, disons 10 à 20 lignes) à part le "E", on n'est vraiment sûr de rien concernant l'ordre de fréquence particulière à chacune des 9 autres lettres.

En ce qui concerne le "E",  même pour le genre de texte dont je parlais, sa rareté ou même son absence est une acrobatie (vous connaissez tous "La disparition" de Georges Pérec, que je n'ai jamais eu le courage de lire).

P.S. J'ai un peu connu M. Muller, qui était un ponte dans le petit monde de la cryptologie administrative.

Dernière modification par nerosson (08-06-2010 18:23:22)

Hors ligne

#8 11-06-2010 06:57:38

gielev
Membre
Inscription : 08-03-2007
Messages : 292

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Excellent travail !
La présence de certains bigrammes m'intrigue cependant... par exemple KW
(encore XW pour deuX Wagons passerait comme quelques autres mais KW... sauf peut-être avec des noms propres.
Cela étant je suis tombé ce matin sur le sujet de tahitien du bac 2010 visible ici
http://www.itereva.org/lyuturoa/file/su … itienS.pdf
Je serais curieux de voir ce que donnerait cette stat sur cette langue ;-) avec toutes ces voyelles.
En particulier est-ce encore le E qui est le plus fréquent ?
Dernier point il reste à Yoshi 5 jour pour prendre Nérosson en défaut (voir le fil Nino Cochise).
Je ne donnerai pas de méthode pour cela (on lui en donnera après ces 5 jours :-))
Pour finir il y a sur le site de D.Muller un lien vers un document d'un homologue professionnel de Nérosson.
Cet homologue, P.Baud, y lance un petit défi sympa
http://www.apprendre-en-ligne.net/crypt … index.html
Je ne l'ai pas encore résolu. Mais je peux m'imaginer que ce qui pourrait intéresser Yoshi (moi aussi! et d'autres...) c'est la méthode crayon+papier de Nérosson appliquée à ce crypto...
A+
gielev

Hors ligne

#9 11-06-2010 13:23:39

nerosson
Membre actif
Inscription : 21-03-2009
Messages : 1 658

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Salut à tous.

Je suis bien d'accord avec Gielev, même avec un million de lettres, six fois "KW", ça surprend. Son explication par la présence d'un nom d'individu (exemple : Franck Williams), qui serait apparu plusieurs fois dans un texte parait l'explication la plus vraisemblable. Ca serait alors une sorte d' "impureté". Heureusement, ce qui est intéressant dans une table de fréquence, ce sont les fréquences élevées.

Une idée me vient à l'instant : j'ai interrogé Google sur "Kwala Lumpur" :certains sites l'écrivent Kuala Lumpur, mais d'autres écrivent Kwala Lumpur.

Hors ligne

#10 15-09-2010 21:30:49

Georges
Invité

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

L'explication, c'est peut être:
KW, abréviation de kilo watt

#11 12-12-2011 18:04:37

silva
Invité

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

je voudrai étudier la cryptographie

#12 12-12-2011 18:58:50

yoshi
Modo Ferox
Inscription : 20-11-2005
Messages : 11 391

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Bonsoir,
(on n'est pas des sauvages, hein ?!)

Commence là  :
http://www.bibmath.net/crypto/index.php3

Et perfectionne-toi ici
http://www.apprendre-en-ligne.net/crypt … index.html

@+


Arx Tarpeia Capitoli proxima...

Hors ligne

#13 11-05-2012 17:23:40

mabokoo
Invité

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

bonjour je cherche les 100 quadrigrammes anglais les plus utilises et leurs frequences  merci

#14 25-08-2012 14:15:37

mabokoo
Invité

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

je voudrais acceder aux 100 pentagrammes leurs  frequences merci

#15 26-08-2012 11:23:56

yoshi
Modo Ferox
Inscription : 20-11-2005
Messages : 11 391

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Bonjour,

sous réserve de vérification de mes programmes que j'ai adaptés et (simplifiés (c'est là le danger !)n dans l'ordre de fréquencers décroissantes.
Quadrigrammes :
DTHE THER OFTH FTHE THAT NTHE WITH TTHE OTHE THES EDTH HERE THEM ETHE TION STHE TOTH INTH THED THEY
ANDT THIS THEITHIN IGHT RTHE NDTH SAND THEW OULD SAID THEC EWAS INGT EAND HENR ENRY THEB THEF THEP
ANDS ONTH HICH WHIC HEIR EVER NGTH THEN EDTO WERE ATTH ERTH HING HTHE OUGH MENT TWAS THEL HEWA ANDA
SOFT BILL VERY ATIO TAND THET INGA ERED OUND EOFT INTO NESS UGHT FORT HECO EFOR YTHE GTHE HAVE HEDO
TING DAND OUSE THOU WHAT ORTH THEH OVER NAND SOME THEG WHEN ATHE HEHA LICE TTLE EHAD FROM ALIC ASTH

Pentagrammes
OFTHE EDTHE TOTHE INTHE THERE HENRY ANDTH NDTHE WHICH THEIR OTHER ATION ATTHE ONTHE EOFTH NGTHE
SOFTH THEDO THING ALICE OUGHT DWITH ERTHE INGTH THTHE WOULD THECO ASTHE WITHT EWAS FORTH INGTO
ITTLE LITTL THEMO ITHTH LIVER ATHER EDWIT ITWAS ETHAT HEHAD OLIVE THATS TOFTH WITHA ORTHE HOUGH
SWERE THOUG COULD EDAND HEDOG EFORE ABOUT AGAIN BYTHE DTHAT DTHEM SAIDT THATT AIDTH HATTH IDTHE
IONOF THEBO THEFI TIONO ERAND NTOTH THINK UTTHE EDOGS AFTER EMENT HEFIR COUNT NTHES THEMA EDHIS
ENTHE ETHER HEREW THATW THEDA THEWA THEWO WASNO NTHAT STHAT THERA BEFOR FTHES OFHIS SHEWA
THELA THEST DTHEN EVERY FTHEI

Sur la base de 122600 caractères pris dans des extraits de
Alice in Wonderland - Lewis Carroll
Last of Mohicans - Fenimore Cooper
White Fang - Jack London
Oliver Twist - Charles Dickens
The Wuthering Heights - Emily Brontë

Affaire à suivre


Arx Tarpeia Capitoli proxima...

Hors ligne

#16 27-08-2012 09:01:03

yoshi
Modo Ferox
Inscription : 20-11-2005
Messages : 11 391

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Bonjour,

Annule et remplace les précédents résultats...
Sur 210000 caractères et 12 ouvrages, soit en plus des 5 précédents :
Murders in rue Morgue - Edgar Allan Poe
Treasure Island  -  R.L. Stevenson
Moby Dick  - Hermann Melville
The Man Who Knew Too much - G.K. Chesterton
The portait of a Lady - James Henry
The Moon and Sixpence - W. Somerset Maugham
Night and Day - Virginia Woolfe

Ordre de fréquences décroissantes.
Quadrigrammes :
THER DTHE THAT NTHE OFTH FTHE WITH TTHE THES OTHE HERE ETHE EDTH THEM STHE TION ANDT NDTH INTH THIN OULD
THEY THIS THEI EWAS SAND IGHT THEC INGT RTHE TOTH EVER EAND THEW EDTO ANDS THED HING SAID HICH ONTH
WHIC THEP WERE ATTH ATHE THEF TWAS THEN ERTH NGTH HAVE OUGH HEWA HTHE THEB VERY HEIR INGA THEL ANDA
THET MENT ANDI SOME TAND TING DAND THEH ATIO LIKE HEHA EOFT WHEN EFOR ERED ETHA WASA YTHE LAND FORT
UGHT EHAD GTHE THOU OUND NAND FROM RAND SOFT ITHA ORTH OUSE THAN THEO HECO WHAT NESS THEG INTO

Pentagrammes
OFTHE EDTHE THERE INTHE ANDTH NDTHE TOTHE WHICH OTHER THEIR ATTHE ONTHE THING ATION ATHER EOFTH NGTHE
INGTH ITWAS WOULD HEWAS SOFTH DWITH OUGHT HENRY ERTHE WITHA ETHAT HEHAD ABOUT THTHE WITHT THEDO
ITTLE LITTL THATS THECO INGTO ITHTH COULD FORTH EDWIT DTHAT ORTHE GREAT HOUGH THATT THOUG ASTHE EDAND
STHAT THATI UTTHE HATTH TOFTH THEMO THINK ENTHE AGAIN ERAND EFORE THEMA NEVER SWERE HEREW IONOF
SAIDT EDHIS IDTHE NTHES AIDTH ETHER THATH THEPA BYTHE AFTER THESE OFHIS THERA THEWA WASNO INTER
ALICE DTHEM ESTHE EVERY HOUSE THELA THERO THEST TIONO BEFOR INGIN THEFI DTHEN ANDIN NTOTH FROMT
NTHAT OMTHE

Je vais voir si j'ai encore accès à assez d'oeuvres différentes pour atteindre 500000 caractères, mais ça ne devrait plus réellement bouger...

@+


Arx Tarpeia Capitoli proxima...

Hors ligne

#17 27-08-2012 20:07:53

Fred
Administrateur
Inscription : 26-09-2005
Messages : 4 707

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Re-

  C'est frappant comme le TH est vraiment prédominant dans la langue anglaise!

Fred.

Hors ligne

#18 28-08-2012 07:47:19

yoshi
Modo Ferox
Inscription : 20-11-2005
Messages : 11 391

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

B'jour,


suite à ton post, j'ai eu la curiosité d'examiner la répartition des bigrammes (mon programme me donne tout : de la lettre simple au pentagramme) :
sans surprise, on trouve en tête du hit-parade, dans l'ordre TH et HE...
Quant aux trigrammes le "Top 10"  est : *
         THE AND ING HER THA ERE DTH HAT WAS HIS
et le THE écrase son suivant dans un rapport de 1 à 2,5 !!!

Merci, Fred, de t'être penché sur mon modeste travail...

@+


Arx Tarpeia Capitoli proxima...

Hors ligne

#19 14-11-2012 13:19:30

sylvain S.
Invité

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Bonjour,

Merci beaucoup, c'est super ! exactement ce que je cherchais.

J'aimerais aussi accéder au top 100 des trigrammes et des bigrammes les plus utilisés en anglais, merci

#20 14-11-2012 15:21:10

yoshi
Modo Ferox
Inscription : 20-11-2005
Messages : 11 391

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Salut,

J'avais encore ça en stock...
BIGRAMMES
TH HE IN ER AN ED RE ND ES EN HA AT ST NT TO EA OU ON  IT HI AS NG IS OF OR AR ET TE TI SE LE VE WA SA
NE AL SH ME DT NO LL TT TA LI EL DE SO RA RO RI OT EW AD RT EE HO SI DI EM MA DA CE BE CO WH SS EC OM
DO OW IC LA NA UR CH WI RS EI UT FT IL AI LO FO LY EO YO TS NI US OO UN WE PE EH KE NS GH ID MO

TRIGRAMMES
THE AND ING HER THA ERE DTH HAT WAS HIS NTH ENT ETH THI ITH SHE HES INT OFT FTH VER FOR EDT TTH YOU
WIT OTH TER STH HEN EST ALL HAD ION REA HIN ERS MAN RTH AST HEW ONT EAN GHT EDA ESS EAR EWA ATH
NOT NDT ATI EOF HEM HED ONE TED OUT OME EVE RES ERT WHI TIN NCE ISH SAN EAT ILL ATT HEA ATE ERA
OUL OUS TIO ORT ORE DIN EDI HEC NGT STO NTO SOF TOF HOU OUN DTO AIN IGH AVE HEY RED BUT OUR EDO
TAN ULD IST

@+


Arx Tarpeia Capitoli proxima...

Hors ligne

#21 14-11-2012 15:40:39

nerosson
Membre actif
Inscription : 21-03-2009
Messages : 1 658

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Salut à tous,

Pour les fréquences des langues étrangères, il faut toujours en revenir au Manuel de cryptographie du Général Sacco : italien, espagnol, allemand, anglais, serbo-croate, russe.

Mais ça se limite aux fréquences de lettres et bigrammes, et ça totalise 28 tables et graphiques.

Le Sacco, de nos jours, est très difficile à se procurer. D'autre part, bien que j'ignore la date de la mort de ce monsieur (mon édition est de 1951 et il était déjà général, donc à moins de faire la pige à Jeanne Calment...), il est certain que son bouquin n'est pas libre de droits.

Je pense, tout compte fait, qu'il ne serait pas judicieux de mettre tout cela sur le site.

Si quelqu'un a besoin d'une ou deux tables en particulier, il pourra toujours me le demander en précisant son adresse mail, afin que je puisse lui envoyer sous forme de pièce jointe.

Hors ligne

#22 25-11-2012 21:50:18

Fred
Administrateur
Inscription : 26-09-2005
Messages : 4 707

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Salut à tous,

  Pour compléter le travail de Yoshi, j'ai mis en ligne les fréquences des lettres, bigrammes et trigrammes sur le site dans les langues suivantes :
français, anglais, espagnol,allemand, portugais, italien, néerlandais.
Elles sont accessibles depuis : http://www.bibmath.net/crypto/index.php … seur/index

Pour le français et l'anglais, mes résultats sont très proches de ceux de Yoshi, si ce n'est qu'en français, le A dépasse le S. Comme j'étais surpris du résultat, j'ai refait les tests avec 2millions de caractères, pour une conclusion identique.

Je suis prêt à faire le travail pour d'autres langues (danois, polonais,...?), mais seulement si on me le demande!

A+
Fred.

Hors ligne

#23 14-05-2015 11:46:56

inalex
Membre
Inscription : 14-05-2015
Messages : 1

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

bonjour, je fais actuellement un TIPE sur la théorie de l'information et vos statistiques sur les digrammes et trigrammes m'intéresseraient beaucoup. Mais je n'arrive pas à y accéder (aucune réponse quand je clique sur l'image). serait il possible de les obtenir?
Merci d'avance et bonne journée!

Hors ligne

#24 14-05-2015 12:12:49

yoshi
Modo Ferox
Inscription : 20-11-2005
Messages : 11 391

Re : Fréquences des lettres, bi, triquadri et pentagrammes en français

Salut,


Bienvenue chez nous...
Ce cher nerosson avait l'habitude déposer ses images chez imageshack.us... Hélas ces "braves gens" ont fait le ménage sans prévenir : ce qui fait qu'un certain nombre d'images sont perdues : elles figuraient sur le portable de notre ami et il ne reviendra pas de l'au-delà pour nous les communiquer...
Nous ne sommes pas les seuls à qui cela est arrivé !
En ce qui concerne les stats réalisées par mes programmes, je vais vérifier, si j'ai toujours le script et les textes pour les refaire, si je n'ai pas ces fameuses images : il me semble (ça commence à dater) les avoir retouchées...

En attendant, tu peux toujours utiliser les stats réalisées de son côté par Fred (pratiquement identiques aux miennes) et figurant toujours le site :
http://www.bibmath.net/crypto/index.php … seur/index
Rubrique : Nos outils pour les chasseurs de code

@+


Arx Tarpeia Capitoli proxima...

Hors ligne

Réponse rapide

Veuillez composer votre message et l'envoyer
Nom (obligatoire)

E-mail (obligatoire)

Message (obligatoire)

Programme anti-spam : Afin de lutter contre le spam, nous vous demandons de bien vouloir répondre à la question suivante. Après inscription sur le site, vous n'aurez plus à répondre à ces questions.

Quel est le deuxième mot de cette phrase?

Pied de page des forums