文字の出現頻度

文字の出現頻度(もじのしゅつげんひんど、英: Letter frequency)とは、書記言語においてアルファベット(ひらがな、漢字)などの文字が出現する回数の平均をまとめたものを指す。文字の頻度分析はアラブ人数学者のアル=キンディー(801–873)が暗号解読を行うために確立したことから始まる[1]。またヨーロッパにおいては文字の頻度分析は1450年に活字が発明され、活字に必要な各字形の量を推定するために重要性を増した[2]。一方言語学者の間では未知の表記体系に対する言語同定の技法として文字の頻度分析を行っている[3]。
文字の出現頻度や頻度分析は暗号文やハングマン、スクラブル、Wordleのような単語パズルゲームにおいて利用されており[4]、米国のテレビ番組『ホイール・オブ・フォーチュン』においても利用されている[5]。エドガー・アラン・ポーの小説『黄金虫』では英文字の出現頻度の知見を活かして暗号文の解読を行った記述がある最も古い文献の一つであり、キャプテン・キッド秘蔵の財宝のありかを示すメッセージを頻度分析によって解読したことが書かれている[6]。
ハーバート・ジムは暗号学入門著書『Codes and Secret Writing』において英語の出現頻度は "ETAON RISHD LFCMU GYPWB VKJXZQ" の順序で出現頻度が高いとし、2文字(連接文字)に関しては "TH HE AN RE ER IN ON AT ND ST ES EN OF TE ED OR TI HI AS TO"、同じ文字が連続して出現する順序は "LL EE SS OO TT FF RR NN PP CC" である[7]。なお、出現頻度の加算方法の違いによって数値は多少変動する場合がある。
文字の出現頻度は一部のキーボード配列のデザインにも影響を与えている[8]。ブリッケンデルファー型タイプライターやDvorak配列、Colemak配列などは出現頻度の高い文字をホームポジションに配置している[9]。
背景
[編集]
文書中における文字の出現頻度は暗号解読において研究され、特にアラブ人数学者のアル=キンディー(801–873)が頻度分析の手法を確立したことで広まったとされる(頻度分析を用いて解読できる暗号は頻度分析の前から存在するガイウス・ユリウス・カエサルが発明したシーザー暗号が挙げられ[11]、頻度分析自体はより以前から研究されていた可能性がある。)[1]。1450年にはヨーロッパにおいて活版印刷が発明され、活字ケースの区画スペースの大きさがそれぞれ違うことからも読み取れるように、活版印刷に必要な各文字の字形の量を推定する必要が生じたことで文字の出現頻度分析の重要性が増した[2]。
すべての言語において厳密な文字の出現頻度の分布は文字の書き手によって使用する文法や単語が異なるため、求めることは不可能である[12]。しかしながら、ほとんどの言語において一定量の文書内での文字の出現頻度は特有の分布が現れる。例として、(互いに理解することが困難とされ、)極端な言語の変遷を経た古英語と現代英語それぞれの文字の出現頻度においても類似した特徴を持つことがある[13]。聖書のある一節における両者の文字の出現頻度は高い順に、古英語: enaid sorhm tgþlwu æcfy ðbpxz、現代英語: eotha sinrd luymw fgcbp kvjqxz となり[14]、違いとしては第一にそれぞれでのみ使用されている文字が存在することが挙げられるが、両者とも ⟨e⟩ が最も出現頻度の高い文字である[15]。
英語圏でのライノタイプを使用していた職人の長年の経験と習慣から文字の出現頻度の高い順から低い順に etaoin shrdlu cmfwyp vbgkqj xz であると考えられており[16]、フランス語圏においては elaoin sdrétu cmfhyp vbgwqj xz の出現頻度であると考えられていた[17]。

各アルファベットのモールス符号を通信にかかる時間が短いまとまり順に並べると e it san hurdm wgvlfbk opxcz jyq となる[注釈 1]。文字の出現頻度はMurray Codeのような他の電信システムにおいても考慮されている[20]。
文字の出現頻度における同様の利用例としてはハフマン符号のような現代のデータ圧縮などが挙げられる[21]。
文字の出現頻度は単語の出現頻度と同様に書き手や記述されている内容によって異なった出現頻度となる[22]。フィクション小説を例としてみると、文章の時制が過去形で書かれることが多くなることから、⟨d⟩ の出現頻度が高くなるとされている。またX線に関するエッセイの文字の出現頻度は ⟨x⟩ が異様に高くなることが考えられる[12]。加えて、執筆者の言葉の言い回しからも文字の出現頻度は影響を受けるとされる。例として、アーネスト・ヘミングウェイの文体とウィリアム・フォークナーの文体は明確に異なっている。単文字、bigram、trigram、単語の出現頻度、単語の長さ、文章の長さを求めることで文章の表現方法が類似している著者の作品に対して、識別することが可能となる[23][12]。
より厳密な文字の出現頻度は大規模な文書データを分析することで求めることができる。大規模な文書データに対する分析は現代のコンピュータと大規模なテキストコーパスを使用することで容易に行うことができる。より具体的には(出版記事、宗教文書、学術文書、フィクション小説など)さまざまな資料をもとに出現頻度を求めることができ[24]、フィクション小説においては ⟨h⟩ と ⟨i⟩ の出現頻度の順は異なる位置となり、⟨h⟩ の方がより普遍的に出現する文字とされている。
また同じ言語を使用する地域ごとにも文字の出現頻度はそれぞれ違いが存在している。例として、米国では "analyze"、"apologize"、"recognize" のように ⟨z⟩ が含まれた単語を用いているが、英国においてはこれらの単語がそれぞれ "analyse"、"apologise"、"recognise" のように異なった綴りで書かれている[25]。このことから米国における ⟨z⟩ の出現頻度は英国と比べて高くなっている。
アルファベットにおいて出現頻度の高い上位十二文字の割合は約 80% にも達する[26]。また上位八文字のみについても出現頻度は 65% に達する。文字の出現頻度はいくつかのランク関数によく適合し、中でも2つパラメータを持つベータランク関数が最も適合する[27]。パラメータを持たないランク関数も文字の出現頻度の分布に適合される(これらのランク関数はタンパク質構造におけるアミノ塩基の出現頻度を表す際にも使用されている[28])[29]。VIC暗号やストラドリング・チェッカーボードに基づいた暗号を使用するスパイは通常 "a sin to err"(2つ目の "r" を省略)[30][31] や "at one sir"[32] といった語呂合わせを用いて出現頻度の高い八文字を記憶する。
日本語における文字の出現頻度
[編集]平仮名
[編集]平仮名の出現頻度は以下の表の通りである[33][34]。分析に使用したデータにおける平仮名の総数は 20,711,361文字である[33]。
順位 | 平仮名 | 度数 | 割合 | |
---|---|---|---|---|
1 | の | 1,918,313 | 9.262% | |
2 | に | 1,108,840 | 5.354% | |
3 | た | 1,067,566 | 5.155% | |
4 | い | 1,060,284 | 5.119% | |
5 | は | 937,811 | 4.528% | |
6 | を | 936,356 | 4.521% | |
7 | と | 927,938 | 4.480% | |
8 | る | 916,652 | 4.425% | |
9 | が | 860,742 | 4.156% | |
10 | し | 848,132 | 4.095% | |
11 | で | 764,834 | 3.693% | |
12 | て | 758,316 | 3.661% | |
13 | な | 720,156 | 3.477% | |
14 | か | 537,294 | 2.594% | |
15 | っ | 467,350 | 2.257% | |
16 | れ | 450,805 | 2.177% | |
17 | ら | 423,294 | 2.044% | |
18 | も | 396,142 | 1.913% | |
19 | う | 352,965 | 1.704% | |
20 | す | 340,654 | 1.645% | |
21 | り | 333,999 | 1.613% | |
22 | こ | 312,227 | 1.508% | |
23 | だ | 280,911 | 1.356% | |
24 | ま | 278,599 | 1.345% | |
25 | さ | 258,960 | 1.250% | |
26 | き | 233,505 | 1.127% | |
27 | め | 223,806 | 1.081% | |
28 | く | 221,960 | 1.072% | |
29 | あ | 204,256 | 0.986% | |
30 | け | 199,362 | 0.963% | |
31 | ど | 196,555 | 0.949% | |
32 | ん | 190,068 | 0.918% | |
33 | え | 163,664 | 0.790% | |
34 | よ | 154,206 | 0.745% | |
35 | つ | 153,999 | 0.744% | |
36 | や | 146,156 | 0.706% | |
37 | そ | 131,611 | 0.635% | |
38 | わ | 123,077 | 0.594% | |
39 | ち | 99,183 | 0.479% | |
40 | み | 89,264 | 0.431% | |
41 | せ | 83,444 | 0.403% | |
42 | ろ | 73,467 | 0.355% | |
43 | ば | 72,228 | 0.349% | |
44 | お | 65,870 | 0.318% | |
45 | じ | 56,857 | 0.275% | |
46 | べ | 56,005 | 0.270% | |
47 | ず | 53,256 | 0.257% | |
48 | げ | 49,126 | 0.237% | |
49 | ほ | 48,752 | 0.235% | |
50 | へ | 47,013 | 0.227% | |
51 | び | 32,312 | 0.156% | |
52 | む | 31,212 | 0.151% | |
53 | ご | 26,965 | 0.130% | |
54 | ね | 23,490 | 0.113% | |
55 | ぶ | 23,280 | 0.112% | |
56 | ぐ | 21,549 | 0.104% | |
57 | ぎ | 19,865 | 0.096% | |
58 | ひ | 19,148 | 0.092% | |
59 | ょ | 14,425 | 0.070% | |
60 | づ | 13,125 | 0.063% | |
61 | ぼ | 12,402 | 0.060% | |
62 | ざ | 12,108 | 0.058% | |
63 | ふ | 11,606 | 0.056% | |
64 | ゃ | 11,522 | 0.056% | |
65 | ぞ | 10,047 | 0.049% | |
66 | ゆ | 8,486 | 0.041% | |
67 | ぜ | 6,893 | 0.033% | |
68 | ぬ | 5,124 | 0.025% | |
69 | ぱ | 4,349 | 0.021% | |
70 | ゅ | 2,755 | 0.013% | |
71 | ぴ | 1,608 | 0.008% | |
72 | ぽ | 1,315 | 0.006% | |
73 | ぷ | 986 | 0.005% | |
74 | ぺ | 477 | 0.002% | |
75 | ぁ | 125 | 0.001% | |
76 | ぇ | 106 | 0.001% | |
77 | ぢ | 82 | 0.000% | |
78 | ゑ | 75 | 0.000% | |
79 | ゐ | 48 | 0.000% | |
80 | ぉ | 21 | 0.000% | |
81 | ぃ | 21 | 0.000% | |
82 | ゎ | 3 | 0.000% | |
83 | ぅ | 1 | 0.000% |
片仮名
[編集]片仮名の出現頻度は以下の表の通りである[35][34]。分析に使用したデータにおける片仮名の総数は 3,608,288文字である[35]。
順位 | 片仮名 | 度数 | 割合 | |
---|---|---|---|---|
1 | ン | 290,948 | 8.063% | |
2 | ル | 189,442 | 5.250% | |
3 | ス | 178,214 | 4.939% | |
4 | ト | 162,802 | 4.512% | |
5 | ア | 127,845 | 3.543% | |
6 | イ | 120,807 | 3.348% | |
7 | ラ | 117,203 | 3.248% | |
8 | リ | 106,744 | 2.958% | |
9 | ク | 98,209 | 2.722% | |
10 | ッ | 86,894 | 2.408% | |
11 | カ | 82,982 | 2.300% | |
12 | シ | 80,626 | 2.235% | |
13 | タ | 75,319 | 2.087% | |
14 | ロ | 75,301 | 2.087% | |
15 | ド | 74,257 | 2.058% | |
16 | ジ | 61,171 | 1.695% | |
17 | フ | 61,115 | 1.694% | |
18 | レ | 60,608 | 1.680% | |
19 | メ | 60,230 | 1.669% | |
20 | コ | 58,724 | 1.628% | |
21 | マ | 56,123 | 1.555% | |
22 | プ | 54,159 | 1.501% | |
23 | テ | 53,404 | 1.480% | |
24 | ム | 50,758 | 1.407% | |
25 | チ | 48,437 | 1.342% | |
26 | バ | 44,970 | 1.246% | |
27 | ビ | 44,462 | 1.232% | |
28 | グ | 40,433 | 1.121% | |
29 | キ | 39,608 | 1.098% | |
30 | ウ | 39,323 | 1.090% | |
31 | サ | 39,202 | 1.086% | |
32 | ニ | 38,711 | 1.073% | |
33 | ナ | 38,047 | 1.054% | |
34 | エ | 36,458 | 1.010% | |
35 | ブ | 35,920 | 0.995% | |
36 | パ | 35,416 | 0.982% | |
37 | セ | 34,883 | 0.967% | |
38 | オ | 34,718 | 0.962% | |
39 | ィ | 33,747 | 0.935% | |
40 | デ | 32,665 | 0.905% | |
41 | ュ | 32,616 | 0.904% | |
42 | ミ | 29,262 | 0.811% | |
43 | ャ | 28,144 | 0.780% | |
44 | ボ | 26,651 | 0.739% | |
45 | ダ | 26,396 | 0.732% | |
46 | ツ | 24,541 | 0.680% | |
47 | ポ | 23,742 | 0.658% | |
48 | ベ | 22,755 | 0.631% | |
49 | ネ | 22,462 | 0.623% | |
50 | ガ | 22,061 | 0.611% | |
51 | ハ | 21,839 | 0.605% | |
52 | ワ | 21,784 | 0.604% | |
53 | ソ | 20,784 | 0.576% | |
54 | ケ | 20,633 | 0.572% | |
55 | モ | 20,070 | 0.556% | |
56 | ノ | 19,572 | 0.542% | |
57 | ズ | 19,240 | 0.533% | |
58 | ピ | 18,692 | 0.518% | |
59 | ホ | 18,204 | 0.505% | |
60 | ェ | 17,817 | 0.494% | |
61 | ョ | 17,731 | 0.491% | |
62 | ペ | 14,881 | 0.412% | |
63 | ゴ | 13,931 | 0.386% | |
64 | ヤ | 12,526 | 0.347% | |
65 | ギ | 10,732 | 0.297% | |
66 | ヨ | 10,318 | 0.286% | |
67 | ザ | 10,144 | 0.281% | |
68 | ァ | 10,121 | 0.280% | |
69 | ゼ | 7,689 | 0.213% | |
70 | ヒ | 7,289 | 0.202% | |
71 | ヘ | 7,129 | 0.198% | |
72 | ユ | 6,653 | 0.184% | |
73 | ゲ | 6,481 | 0.180% | |
74 | ォ | 6,245 | 0.173% | |
75 | ヌ | 2,897 | 0.080% | |
76 | ゾ | 2,640 | 0.073% | |
77 | ヴ | 1,145 | 0.032% | |
78 | ゥ | 1,050 | 0.029% | |
79 | ヂ | 149 | 0.004% | |
80 | ヅ | 127 | 0.004% | |
81 | ヲ | 122 | 0.003% | |
82 | ヱ | 73 | 0.002% | |
83 | ヰ | 40 | 0.001% | |
84 | ヵ | 14 | 0.000% | |
85 | ヮ | 9 | 0.000% | |
86 | ヶ | 2 | 0.000% |
漢字
[編集]文化庁によりまとめられた日本語における漢字の出現頻度上位50文字は以下の表の通りである[36]。分析に使用されたデータは総数177,276,398文字であり、そのうち漢字は51,258,216文字であった[37]。出現頻度の高い上位100文字はすべて常用漢字である[38]。
|
|
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
1993年の調査では、日本において使用される字体の異なる漢字の総数(異なり字)は計4476文字であり、出現頻度の高い漢字の上位500文字で出現頻度は約8割に達する[39]。また、出現頻度の高い漢字上位1600文字での出現頻度は約99%を占め、残りの約3000文字においては全体の1%程度の出現頻度となっている[39]。
文字種別の出現頻度
[編集]日本語における記号、数字、平仮名、片仮名、漢字、アルファベットの文字の種類別の出現頻度は以下の通りとなる。
調査年 | 文字種別出現頻度 | 詳細 | 出典 | |||||
---|---|---|---|---|---|---|---|---|
平仮名 | 片仮名 | 漢字 | アルファベット | 記号 | 数字 | |||
1964年 | 56.0% | 6.3% | 35.9% | 0.2% | 1.6% | 1964年当時の雑誌九十種に対する調査。総数83,923文字。 | [40] | |
1981年 | 40.2% | 4.9% | 40.7% | 2.0% | 8.3% | 3.9% | 1981年当時のRICOHが保有する事務文書に対する調査。総数76,100文字。 | [41] |
1994年 | 35.7% | 16.0% | 26.9% | 3.9% | 17.6% | 1994年当時の雑誌七十種に対する調査。総数2,116,736文字。 | [40] | |
2000年 | 34.06% | 6.34% | 41.46% | 0.46% | 15.58% | 2.10% | 1993年の新聞記事に対する調査。総数5,500万文字。 | [42] |
英語における文字の出現頻度
[編集]文字 | 英語における相対出現頻度[43][44] | |
---|---|---|
A | 8.2% | |
B | 1.5% | |
C | 2.8% | |
D | 4.3% | |
E | 12.7% | |
F | 2.2% | |
G | 2.0% | |
H | 6.1% | |
I | 7.0% | |
J | 0.15% | |
K | 0.77% | |
L | 4.0% | |
M | 2.4% | |
N | 6.7% | |
O | 7.5% | |
P | 1.9% | |
Q | 0.095% | |
R | 6.0% | |
S | 6.3% | |
T | 9.1% | |
U | 2.8% | |
V | 0.98% | |
W | 2.4% | |
X | 0.15% | |
Y | 2.0% | |
Z | 0.074% |
文字の相対出現頻度
[編集]
文字の出現頻度を算出する方法は大きく三種類存在し、各方法によって文字の出現頻度の分布は大きく異なってくる。一つ目は辞書の見出し語として書かれている基本語ごとに文字の出現頻度を加算する方法である[45]。以下の節ではこの方法により文字の出現頻度を求めている。二つ目は基本語の "abstract" を "abstracts"、"abstracted"、"abstracting" のように語形変化の単語ごとに文字の出現頻度を加算する方法である。この方法では、インターネット上で頻出する英単語のリストから文字の出現頻度を求める場合に、⟨s⟩ のような文字の出現頻度がより現れるとされる。すなわち、⟨s⟩ は複数形や三人称単数現在形の動詞中に付け加えられる文字であるため、非基本語の単語中に普遍的に現れる文字となっている。三つ目は実際の文書中に使用されている単語そのままを文字の出現頻度として加算する方法であり、これにより "the"、"then"、"both"、"this" のような単語の頻出により ⟨th⟩ の出現頻度がより現れるとされる。そして、絶対的な文字の出現頻度が求められるこの方法ではキーボードのレイアウトや古来の印刷機における文字の頻出度合いについて求めることができる。
英英辞典『Concise Oxford dictionary』を辞典内における単語の頻出度合を無視して文字の出現頻度を分析すると、順番は "EARIOTNSLCUDPMHGBFYWKVXZJQ" であった[45]。
この出現頻度順はロベルト・ルワンド著『Cryptological Mathematics』を引用したパベル・ミツカ氏のウェブサイトにまとめられていたものである[46]。
ルワンドによると、文字の出現頻度の高い順から並べると、etaoinshrdlcumwfgypbvkjxqz となることが言及されている。このルワンドの出現頻度順はコーネル大学の「Math Explorer's Project」による40000文字に対する文字の出現頻度順とは異なった並びとなっている[47]。
英語における空白記号の出現頻度は英文字の出現頻度が最も高い ⟨e⟩ の約2倍となっており[48]、非アルファベット文字(数字、句読点など)総計の出現頻度は ⟨t⟩ と ⟨a⟩ の間となる4番目(空白記号も含めた順位)に位置している[49]。
単語の頭文字・末尾の文字の相対出現頻度
[編集]
|
|
単語の頭文字の出現頻度を分析することは物理的空間におけるファイルや索引の量を割り当てるために重要視されている[51]。アルファベット 26 文字に対応したファイリングキャビネットの引き出しを準備する場合に、各文字ごとに一つの引き出し、つまり 1:1 の割当を行うのではなく、頭文字の出現頻度に沿った引き出しの割当を行うことが合理的であると考えられる。すなわち、出現頻度の低い VWXYZ をまとめて一つの引き出しに割り当てる、出現頻度の高い ⟨s, a, c⟩ では Aa-An、Ao-Az、Ca-Cj、Ck-Cz、Sa-Si、Sj-Sz のように複数の引き出しを割り当てることが考えられる。同様の事例としては複数の巻に分かれた百科事典の構成や図書館において書籍の識別の名前の頭文字の分布を均等にするための Cutter number が挙げられる[52]。
英単語全体および頭文字の出現頻度の分布は両者ともにジップ分布に従い、またユール分布にも十分従うことが知られている[53]。
一般的に数字の最初の桁の出現頻度の分布は数字全体の分布と比べて有意に差があるとされており、これはベンフォードの法則として知られている(ベンフォードの法則節を参照)[54]。
ピーター・ノーヴィグは光学文字認識(OCR)を用いてGoogle Booksのデータにおける100,000単語以上出現する単語を対象にした英単語の頭文字の出現頻度が分析された[55]。
ラテン文字を使用する言語における文字の相対出現頻度
[編集]文字 | 英語[56] | フランス語[57] | ドイツ語[58] | スペイン語[59] | ポルトガル語[60] | イタリア語[61] | トルコ語[62] | スウェーデン語[63] | ポーランド語[64] | オランダ語[65] | デンマーク語[66] | アイスランド語[67] | フィンランド語[68] | チェコ語[69] | ハンガリー語[70] | ウェールズ語[71] | リトアニア語[72] | スロベニア語[73] | エスペラント語[74] |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
a | 8.672% | 7.636% | 6.516% | 11.525% | 14.634% | 11.745% | 11.920% | 9.383% | 8.965% | 7.49% | 6.025% | 10.110% | 12.217% | 6.219% | 8.89% | 10.241% | 11.191% | 10.466% | 11.71% |
b | 1.485% | 0.901% | 1.886% | 2.215% | 1.043% | 0.927% | 2.844% | 1.535% | 1.482% | 1.58% | 2.000% | 1.043% | 0.281% | 1.558% | 1.94% | 1.867% | 1.484% | 1.939% | 1.08% |
c | 3.424% | 3.260% | 2.732% | 4.019% | 3.882% | 4.501% | 0.963% | 1.486% | 3.988% | 1.24% | 0.565% | ~0% | 0.281% | 1.607% | 0.646% | 1.776% | 0.602% | 0.662% | 0.86% |
d | 3.904% | 3.669% | 5.076% | 5.010% | 4.992% | 3.736% | 4.706% | 4.702% | 3.293% | 5.93% | 5.858% | 1.575% | 1.043% | 3.602% | 1.92% | 5.136% | 2.580% | 3.390% | 2.93% |
e | 12.155% | 14.715% | 16.396% | 13.702% | 13.101% | 11.792% | 8.912% | 10.149% | 7.921% | 18.91% | 15.453% | 6.418% | 7.968% | 7.695% | 11.6% | 8.116% | 5.621% | 10.707% | 9.26% |
f | 2.302% | 1.066% | 1.656% | 0.692% | 1.023% | 1.153% | 0.461% | 2.027% | 0.312% | 0.81% | 2.406% | 3.013% | 0.194% | 0.273% | 0.548% | 2.675% | 0.347% | 0.110% | 1.01% |
g | 1.945% | 0.866% | 3.009% | 1.768% | 1.303% | 1.644% | 1.253% | 2.862% | 1.377% | 3.40% | 4.077% | 4.241% | 0.392% | 0.273% | 3.79% | 3.412% | 1.795% | 1.638% | 1.16% |
h | 4.745% | 0.937% | 4.577% | 1.973% | 1.281% | 0.136% | 1.212% | 2.090% | 1.072% | 2.38% | 1.621% | 1.871% | 1.851% | 1.271% | 1.26% | 1.479% | 0.276% | 1.047% | 0.35% |
i | 7.532% | 7.529% | 6.550% | 6.247% | 6.186% | 10.143% | 8.600%* | 5.817% | 8.286% | 6.50% | 6.000% | 7.578% | 10.817% | 4.353% | 4.25% | 7.569% | 12.959% | 9.042% | 10.40% |
j | 0.187% | 0.813% | 0.268% | 0.493% | 0.379% | 0.011% | 0.034% | 0.614% | 2.343% | 1.46% | 0.730% | 1.144% | 2.042% | 2.119% | 1.48% | 0.078% | 2.338% | 4.675% | 3.40% |
k | 0.600% | 0.074% | 1.417% | 0.026% | 0.015% | 0.009% | 4.683% | 3.140% | 3.411% | 2.25% | 3.395% | 3.314% | 4.973% | 3.737% | 4.85% | 0.040% | 4.171% | 3.704% | 4.22% |
l | 4.237% | 5.456% | 3.437% | 4.967% | 2.779% | 6.510% | 5.922% | 5.275% | 2.136% | 3.57% | 5.229% | 4.532% | 5.761% | 3.842% | 6.71% | 3.358% | 3.502% | 5.266% | 5.73% |
m | 2.647% | 2.968% | 2.534% | 3.157% | 4.738% | 2.512% | 3.752% | 3.471% | 2.911% | 2.21% | 3.237% | 4.041% | 3.202% | 3.227% | 3.82% | 2.593% | 3.579% | 3.305% | 3.29% |
n | 7.337% | 7.095% | 9.776% | 6.712% | 4.446% | 6.883% | 7.487% | 8.542% | 5.600% | 10.03% | 7.240% | 7.711% | 8.826% | 6.535% | 6.82% | 8.552% | 5.144% | 6.328% | 8.04% |
o | 7.377% | 5.796% | 2.594% | 8.683% | 9.735% | 9.832% | 2.476% | 4.482% | 7.590% | 6.06% | 4.636% | 2.166% | 5.614% | 8.666% | 3.65% | 6.280% | 6.743% | 9.084% | 8.44% |
p | 2.124% | 2.521% | 0.670% | 2.510% | 2.523% | 3.056% | 0.886% | 1.839% | 3.101% | 1.57% | 1.756% | 0.789% | 1.842% | 3.413% | 0.48% | 0.819% | 2.734% | 3.374% | 2.60% |
q | 0.110% | 1.362% | 0.018% | 0.877% | 1.204% | 0.505% | 0 | 0.020% | 0.003% | 0.009% | 0.007% | 0 | 0.013% | 0.001% | ~0% | 0.004% | 0.005% | 0 | 5.63% |
r | 6.625% | 6.693% | 7.003% | 6.871% | 6.530% | 6.367% | 6.722% | 8.431% | 4.571% | 6.41% | 8.956% | 8.581% | 2.872% | 3.697% | 2.65% | 7.085% | 5.669% | 5.010% | 0 |
s | 6.633% | 7.948% | 7.270% | 7.977% | 6.805% | 4.981% | 3.014% | 6.590% | 4.263% | 3.73% | 5.805% | 5.630% | 7.862% | 4.516% | 6.99% | 2.854% | 7.881% | 5.053% | 6.25% |
t | 8.598% | 7.244% | 6.154% | 4.632% | 4.336% | 5.623% | 3.314% | 7.691% | 3.966% | 6.79% | 6.862% | 4.953% | 8.750% | 5.727% | 6.96% | 1.842% | 5.332% | 4.329% | 5.51% |
u | 2.691% | 6.311% | 4.166% | 3.927% | 3.639% | 2.813% | 3.235% | 1.919% | 2.347% | 1.99% | 1.979% | 4.562% | 5.008% | 3.144% | 0.392% | 2.723% | 4.586% | 1.879% | 3.19% |
v | 1.061% | 1.838% | 0.846% | 1.138% | 1.575% | 2.097% | 0.959% | 2.415% | 0.034% | 2.85% | 2.332% | 2.437% | 2.250% | 4.662% | 2.31% | 0.052% | 2.656% | 3.764% | 1.86% |
w | 1.673% | 0.049% | 1.921% | 0.027% | 0.037% | 0.033% | 0 | 0.142% | 4.549% | 1.52% | 0.069% | 0 | 0.094% | 0.009% | ~0% | 4.642% | 0.037% | 0 | 0 |
x | 0.202% | 0.427% | 0.034% | 0.515% | 0.453% | 0.008% | 0 | 0.159% | 0.019% | 0.036% | 0.028% | 0.046% | 0.031% | 0.076% | ~0% | 0.040% | 0.073% | 0 | 0 |
y | 1.551% | 0.708% | 0.039% | 1.433% | 0.006% | 0.020% | 3.336% | 0.708% | 3.857% | 0.035% | 0.698% | 0.900% | 1.745% | 1.909% | 2.56% | 8.971% | 1.433% | 0 | 0 |
z | 0.132% | 0.326% | 1.134% | 0.467% | 0.470% | 1.181% | 1.500% | 0.070% | 5.620% | 1.39% | 0.034% | 0 | 0.051% | 2.199% | 4.3% | 0.009% | 0.345% | 2.103% | 0.48% |
à | 0.0005% | 0.486% | 0 | ~0% | 0.072% | 0.635% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.000% | 0.0003% | 0 | 0 |
â | 0.0006% | 0.051% | 0 | 0 | 0.562% | ~0% | ~0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.147% | 0.0002% | 0 | 0 |
á | 0.005% | 0 | 0 | 0.502% | 0.118% | 0 | 0 | 0 | 0 | 0 | 0 | 1.799% | 0 | 2.236% | 3.44% | 0.0002% | 0.002% | 0 | 0 |
å | 0.0007% | 0 | 0 | 0 | 0 | 0 | 0 | 1.34% | 0 | 0 | 1.190% | ~0% | 0.003% | 0 | 0 | 0 | 0.0002% | 0 | 0 |
ä | 0.002% | 0 | 0.578% | 0 | 0 | 0 | 0 | 1.80% | 0 | 0 | 0 | 0 | 3.577% | 0 | 0 | 0.001% | 0.001% | 0 | 0 |
ã | 0.0005% | 0 | 0 | 0 | 0.733% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0003% | 0 | 0 |
ą | 0.00009% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.021% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.542% | 0 | 0 |
ā | 0.002% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.001% | 0 | 0 |
ă | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0002% | 0 | 0 |
æ | 0.0008% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.872% | 0.867% | 0 | 0 | 0 | 0 | 0.0002% | 0 | 0 |
œ | 0.00008% | 0.018% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
ç | 0.001% | 0.085% | 0 | ~0% | 0.530% | 0 | 1.156% | 0 | 0 | 0 | 0 | ~0% | 0 | 0 | 0 | 0 | 0.0004% | 0 | 0 |
ć | 0.0006% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.448% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0003% | 0 | 0 |
ĉ | 0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.80% |
č | 0.0005% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.949% | 0 | 0 | 0.430% | 1.483% | 0 |
ch | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.171% | 0 | 0.949% | 0 | 0 | 0 |
ď | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.022% | 0 | 0 | 0 | 0 | 0 |
dd | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 2.927% | 0 | 0 | 0 |
ð | 0.0004% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 4.393% | 0 | 0 | 0 | 0 | 0.0001% | 0 | 0 |
è | 0.002% | 0.271% | 0 | ~0% | 0 | 0.263% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0005% | 0.0004% | 0 | 0 |
é | 0.011% | 1.504% | 0 | 0.433% | 0.337% | 0 | 0 | 0 | ~0% | 0 | 0 | 0.647% | 0 | 1.335% | 4.25% | 0.0001% | 0.004% | 0 | 0 |
ê | 0.0003% | 0.218% | 0 | 0 | 0.450% | ~0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.026% | 0.0001% | 0 | 0 |
ë | 0.0006% | 0.008% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.002% | 0.0002% | 0 | 0 |
ė | 0.00005% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.664% | 0 | 0 |
ę | 0.0001% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.131% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.172% | 0 | 0 |
ě | 0.00008% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.646% | 0 | 0 | 0 | 0 | 0 |
ē | 0.0003% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0004% | 0 | 0 |
ff | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.382% | 0 | 0 | 0 |
ĝ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.74% |
ğ | 0.0001% | 0 | 0 | 0 | 0 | 0 | 1.125% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0001% | 0 | 0 |
ng | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.366% | 0 | 0 | 0 |
ĥ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.04% |
î | 0.0002% | 0.045% | 0 | 0 | 0 | ~0% | ~0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.008% | 0.0001% | 0 | 0 |
ì | 0.0001% | 0 | 0 | 0 | 0 | (0.030%) | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0001% | 0.0001% | 0 | 0 |
í | 0.003% | 0 | 0 | 0.725% | 0.132% | 0.030% | 0 | 0 | 0 | 0 | 0 | 1.570% | 0 | 3.270% | 0.47% | ~0% | 0.002% | 0 | 0 |
ï | 0.0002% | 0.005% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.008% | 0 | 0 | 0 |
ı | 0.0002% | 0 | 0 | 0 | 0 | 0 | 5.114%* | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0002% | 0 | 0 |
į | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.485% | 0 | 0 |
ī | 0.0005% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0007% | 0 | 0 |
ĵ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.12% |
ł | 0.0007% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.746% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.001% | 0 | 0 |
ľ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ~0% | 0 | 0 | 0 | 0 | 0 |
ll | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.031% | 0 | 0 | 0 |
ñ | 0.0009% | 0 | 0 | 0.311% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0005% | 0 | 0 |
ń | 0.0002% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.185% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0003% | 0 | 0 |
ň | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.081% | 0 | 0 | 0 | 0 | 0 |
ņ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0001% | 0 | 0 |
ò | 0.0002% | 0 | 0 | 0 | 0 | 0.002% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0002% | 0.0001% | 0 | 0 |
ö | 0.003% | 0 | 0.443% | 0 | 0 | 0 | 0.777% | 1.31% | 0 | 0 | 0 | 0.777% | 0.444% | 0 | 0.784% | 0.002% | 0.001% | 0 | 0 |
ô | 0.0005% | 0.023% | 0 | 0 | 0.635% | ~0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.101% | 0.0001% | 0 | 0 |
ó | 0.003% | 0 | 0 | 0.827% | 0.296% | ~0% | 0 | 0 | 0.823% | 0 | 0 | 0.994% | 0 | 0.031% | 0.597% | 0.0002% | 0.002% | 0 | 0 |
ő | 0.00008% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.823% | 0 | 0 | 0 | 0 |
õ | 0.00005% | 0 | 0 | 0 | 0.040% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0001% | 0 | 0 |
ø | 0.001% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.939% | 0 | 0 | 0 | 0 | 0 | 0.0003% | 0 | 0 |
ph | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.066% | 0 | 0 | 0 |
ř | 0.0001% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.217% | 0 | 0 | 0 | 0 | 0 |
rh | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.398% | 0 | 0 | 0 |
ŝ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.38% |
ş | 0.0003% | 0 | 0 | 0 | 0 | 0 | 1.780% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0003% | 0 | 0 |
ś | 0.0003% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.683% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0002% | 0 | 0 |
š | 0.0008% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ~0% | 0.805% | 0 | 0 | 1.134% | 0.996% | 0 |
ß | 0.0003% | 0 | 0.307% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0002% | 0 | 0 |
ť | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.043% | 0 | 0 | 0 | 0 | 0 |
þ | 0.0001% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.455% | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
th | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.294% | 0 | 0 | 0 |
ù | 0.00008% | 0.058% | 0 | 0 | 0 | (0.166%) | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.000% | 0.0001% | 0 | 0 |
ú | 0.0008% | 0 | 0 | 0.168% | 0.207% | 0.166% | 0 | 0 | 0 | 0 | 0 | 0.613% | 0 | 0.103% | 0.098% | ~0% | 0.0005% | 0 | 0 |
û | 0.0001% | 0.060% | 0 | 0 | 0 | ~0% | ~0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.003% | 0 | 0 | 0 |
ü | 0.003% | 0 | 0.995% | 0.012% | 0.026% | 0 | 1.854% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.617% | 0.002% | 0.001% | 0 | 0 |
ű | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.117% | 0 | 0 | 0 | 0 |
ů | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.695% | 0 | 0 | 0 | 0 | 0 |
ŭ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.52% |
ų | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1.2602% | 0 | 0 |
ū | 0.0007% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.4079% | 0 | 0 |
ẃ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ~0% | 0 | 0 | 0 |
ẁ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ~0% | 0 | 0 | 0 |
ŵ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.033% | 0 | 0 | 0 |
ẅ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0006% | 0 | 0 | 0 |
ỳ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ~0% | 0 | 0 | 0 |
ý | 0.0001% | 0 | 0 | ~0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.228% | 0 | 1.072% | 0 | ~0% | 0.0001% | 0 | 0 |
ŷ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ~0% | 0 | 0 | 0 |
ÿ | 0 | ~0% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0005% | 0 | 0 | 0 |
ź | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.061% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
ż | 0.00009% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.885% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.0002% | 0 | 0 |
ž | 0.0003% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ~0% | 0.995% | 0 | 0 | 0.797% | 0.646% | 0 |
下記の図はいくつかの国におけるラテン文字26文字の出現頻度を可視化したものである。各国はいずれも英語と同様に25文字程度のアルファベットを使用している[75]。
| ![]() |
出現頻度のランキング
[編集]以下の表はいくつかの言語において出現頻度の高い10文字を並べたものである。
言語 | 順序 | 言語系統 | 語派 |
---|---|---|---|
英語 | etaoin shrdlu | インド・ヨーロッパ語族 | ゲルマン語派 |
フランス語[注釈 2] | esait nrulo | ロマンス諸語 | |
スペイン語 | eaosr nidlc | ||
ポルトガル語 | aeosr indmu | ||
イタリア語 | eaion lrtsc | ||
ドイツ語 | enisr atdhu | ゲルマン語派 | |
スウェーデン語 | eantr slido | ||
オランダ語[77] | enati rodsl | ||
ポーランド語 | aoiez nscwr | スラヴ語派 | |
トルコ語 | aeinr lıdkm | アルタイ諸語 | チュルク語族 |
フィンランド語 | aitne sloku | ウラル語族 | フィン・ウゴル語派 |
エスペラント語 | aieon lsrtk | 人工言語 | 主にロマンス諸語、ゲルマン語派の影響を受けている。 |
キリル文字を使用する言語における相対出現頻度
[編集]以下の表はキリル文字を使用する言語における文字の出現頻度を表している。
ロシア語は Stefan Trost の分析結果をまとめたものである。分析には "WordCreator" の機能 Unicode Counter を使用した。分析にあたって利用したコーパスは 1,351,370文字(210,844単語)のもので、そのうち 1,086,255文字を集計している[78]。ただし、分析するコーパスによっては相対出現頻度は多少異なることがある。
ロシア語における出現頻度の高い文字(アルファベット)は ⟨O⟩、⟨E⟩、⟨A⟩ となる[78]。
文字 | ロシア語[78] | マケドニア語[79] | タジク語[80][81] | ウクライナ語[82] | カザフ語[83] | セルビア語[84] | シュグナン語[85] | ルシャン語[86] | ウズベク語[87] | ブルガリア語[88] |
---|---|---|---|---|---|---|---|---|---|---|
А | 7.50% | 13.293% | 16.54% | 8.07% | 12.796% | 12.182% | 11.100% | 14.779% | 15.203% | 12.323% |
Б | 2.01% | 1.434% | 4.45% | 1.77% | 1.823% | 1.590% | 1.745% | 1.742% | 3.655% | 1.533% |
В | 4.33% | 4.343% | 1.58% | 5.35% | 0.083% | 3.636% | 1.795% | 1.667% | 1.248% | 4.449% |
Г | 1.72% | 1.505% | 1.87% | 1.55% | 1.339% | 1.741% | 0.914% | 1.436% | 3.462% | 1.567% |
Д | 3.09% | 3.911% | 6.77% | 3.38% | 5.060% | 3.719% | 7.488% | 6.909% | 4.322% | 3.526% |
Е | 8.50% | 8.945% | 2.13% | 4.95% | 8.391% | 9.383% | 3.103% | 1.799% | 1.711% | 8.972% |
Ё | 0.20% | 0 | 0.54% | 0 | 0.002% | 0 | 0 | 0 | 0.563% | 0 |
Ж | 1.01% | 0.568% | 0.07% | 0.93% | 1.095% | 0.604% | 0.085% | 0.166% | 0.523% | 0.708% |
З | 1.48% | 1.979% | 2.43% | 2.32% | 1.624% | 1.620% | 1.814% | 2.241% | 1.627% | 2.292% |
И | 7.09% | 9.160% | 7.35% | 6.26% | 1.285% | 9.443% | 8.332% | 6.823% | 13.813% | 8.875% |
Й | 1.21% | 0 | 0.71% | 1.38% | 1.743% | 0 | 3.727% | 3.940% | 1.564% | 0.590% |
К | 3.30% | 3.672% | 2.71% | 3.54% | 2.421% | 3.748% | 1.979% | 1.917% | 2.852% | 3.390% |
Л | 4.96% | 2.959% | 1.24% | 3.69% | 5.670% | 3.077% | 2.073% | 1.931% | 6.072% | 3.284% |
М | 3.10% | 2.309% | 4.19% | 3.03% | 3.025% | 3.587% | 3.664% | 3.845% | 3.415% | 2.465% |
Н | 6.70% | 7.077% | 6.84% | 6.81% | 6.216% | 5.268% | 5.475% | 5.437% | 7.120% | 7.136% |
О | 11.07% | 10.679% | 8.45% | 9.42% | 2.430% | 9.907% | 4.310% | 4.540% | 4.648% | 9.079% |
П | 2.47% | 2.926% | 1.05% | 2.90% | 1.451% | 2.780% | 1.308% | 1.504% | 0.543% | 2.928% |
Р | 4.33% | 5.090% | 7.35% | 4.48% | 5.972% | 4.596% | 4.971% | 5.366% | 5.740% | 4.920% |
С | 4.97% | 4.751% | 2.74% | 4.24% | 4.016% | 4.977% | 2.587% | 2.738% | 2.623% | 5.081% |
Т | 5.97% | 7.462% | 3.57% | 5.35% | 6.028% | 4.215% | 5.690% | 5.092% | 4.104% | 7.604% |
У | 2.22% | 2.262% | 4.67% | 3.36% | 1.636% | 4.640% | 4.748% | 5.843% | 3.306% | 1.312% |
Ф | 0.21% | 0.347% | 1.10% | 0.28% | 0.087% | 0.184% | 0.589% | 1.242% | 0.444% | 0.210% |
Х | 0.95% | 0.146% | 1.54% | 1.19% | 0.157% | 0.684% | 2.431% | 2.440% | 0.703% | 0.655% |
Ц | 0.39% | 0.857% | 0 | 0.83% | 0.120% | 0.713% | 0.941% | 0.638% | 0.057% | 0.595% |
Ч | 1.40% | 0.925% | 0.84% | 1.41% | 0.005% | 1.077% | 1.456% | 1.403% | 1.263% | 1.338% |
Ш | 0.72% | 0.916% | 2.61% | 0.76% | 1.343% | 1.206% | 0.700% | 0.660% | 2.036% | 0.615% |
Щ | 0.30% | 0 | 0 | 0.56% | 0.002% | 0 | 0 | 0 | 0 | 0.612% |
Ъ | 0.02% | 0 | 0.13% | 0 | 0.008% | 0 | 0 | 0 | 0.193% | 1.832% |
Ы | 2.36% | 0 | 0 | 0 | 7.974% | 0 | 0 | 0 | 0 | 0 |
Ь | 1.84% | 0 | 0 | 1.77% | 0.037% | 0 | 0 | 0 | 0.192% | 0.014% |
Э | 0.36% | 0 | 0.13% | 0 | 0.045% | 0 | 0 | 0 | 0.505% | 0 |
Ю | 0.47% | 0 | 0.05% | 0.93% | 0.031% | 0 | 0 | 0 | 0.216% | 0.138% |
Я | 1.96% | 0 | 0.58% | 2.48% | 0.343% | 0 | 0 | 0 | 0.558% | 1.957% |
А̄ | 0 | 0 | 0 | 0 | 0 | 0 | 2.811% | 3.036% | 0 | 0 |
ә | 0 | 0 | 0 | 0 | 0.777% | 0 | 0 | 0 | 0 | 0 |
В̌ | 0 | 0 | 0 | 0 | 0 | 0 | 2.658% | 2.357% | 0 | 0 |
Ѓ | 0 | 0.106% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
Ғ | 0 | 0 | 0.23% | 0 | 1.863% | 0 | 0.489% | 0.276% | 0.435% | 0 |
Г̌ | 0 | 0 | 0 | 0 | 0 | 0 | 0.414% | 0.238% | 0 | 0 |
Д̌ | 0 | 0 | 0 | 0 | 0 | 0 | 1.456% | 1.251% | 0 | 0 |
Ђ | 0 | 0 | 0 | 0 | 0 | 0.258% | 0 | 0 | 0 | 0 |
Ӗ | 0 | 0 | 0 | 0 | 0 | 0 | 0.254% | 0 | 0 | 0 |
Є | 0 | 0 | 0 | 0.61% | 0 | 0 | 0 | 0 | 0 | 0 |
Ҙ | 0 | 0 | 0 | 0 | 0 | 0 | 0.163% | 0.146% | 0 | 0 |
Ѕ | 0 | 0.009% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
Ӣ | 0 | 0 | 0.66% | 0 | 0 | 0 | 1.304% | 1.020% | 0 | 0 |
І | 0 | 0 | 0 | 0% | 6.160% | 0 | 0 | 0 | 0 | 0 |
Ї | 0 | 0 | 0 | 0.65% | 0 | 0 | 0 | 0 | 0 | 0 |
Ј | 0 | 1.511% | 0 | 0 | 0 | 3.282% | 0 | 0 | 0 | 0 |
Ќ | 0 | 0.264% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
Қ | 0 | 0 | 0.39% | 0 | 2.782% | 0 | 0.738% | 0.588% | 2.470% | 0 |
Љ | 0 | 0.015% | 0 | 0 | 0 | 0.504% | 0 | 0 | 0 | 0 |
ң | 0 | 0 | 0 | 0 | 1.294% | 0 | 0 | 0 | 0 | 0 |
Њ | 0 | 0.555% | 0 | 0 | 0 | 0.727% | 0 | 0 | 0 | 0 |
Ӧ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.230% | 0 | 0 |
О̄ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.644% | 0 | 0 |
ө | 0 | 0 | 0 | 0 | 0.973% | 0 | 0 | 0 | 0 | 0 |
Т̌ | 0 | 0 | 0 | 0 | 0 | 0 | 0.479% | 0.531% | 0 | 0 |
Ћ | 0 | 0 | 0 | 0 | 0 | 0.617% | 0 | 0 | 0 | 0 |
Ў | 0 | 0 | 0 | 0 | 0 | 0 | 1.668% | 0 | 0 | 0 |
Ӯ | 0 | 0 | 1.18% | 0 | 0 | 0 | 0.964% | 0.136% | 1.822% | 0 |
У̊ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0.078% | 0 | 0 |
Ү | 0 | 0 | 0 | 0 | 0.887% | 0 | 0 | 0 | 0 | 0 |
ұ | 0 | 0 | 0 | 0 | 0.998% | 0 | 0 | 0 | 0 | 0 |
Ҳ | 0 | 0 | 2.55% | 0 | 0 | 0 | 0 | 0 | 1.165% | 0 |
Х̌ | 0 | 0 | 0 | 0 | 0 | 0 | 1.358% | 1.370% | 0 | 0 |
һ | 0 | 0 | 0 | 0 | 0.008% | 0 | 0 | 0 | 0 | 0 |
Ҷ | 0 | 0 | 0.74% | 0 | 0 | 0 | 1.140% | 1.047% | 0 | 0 |
Џ | 0 | 0.025% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
その他の言語における文字の相対出現頻度
[編集]ギリシア語
[編集]以下の表は Stefan Trost の分析結果をまとめたものである。分析には "WordCreator" の機能 Unicode Counter を使用した。分析にあたって利用したコーパスは 1,442,382文字(235,614単語)のもので、そのうち 1,161,745文字を集計している[89]。ただし、分析するコーパスによっては相対出現頻度は多少異なることがある。
左側の表はアルファベット順に並べたものであり、右側の表は出現頻度の高い文字順に並べたものである。ギリシア語における出現頻度の高い文字は ⟨A⟩、⟨O⟩、⟨E⟩ となる[89]。
文字 | ギリシア語における文字の出現頻度[89] | |
---|---|---|
Α | 12.98% | |
Β | 0.74% | |
Γ | 1.62% | |
Δ | 1.55% | |
Ε | 9.48% | |
Ζ | 0.31% | |
Η | 4.78% | |
Θ | 1.16% | |
Ι | 9.18% | |
Κ | 3.66% | |
Λ | 2.54% | |
Μ | 3.55% | |
Ν | 6.17% | |
Ξ | 0.42% | |
Ο | 9.48% | |
Π | 3.95% | |
Ρ | 4.12% | |
Σ | 6.67% | |
Τ | 7.89% | |
Υ | 3.96% | |
Φ | 0.72% | |
Χ | 1.26% | |
Ψ | 0.15% | |
Ω | 1.71% |
ヘブライ語
[編集]以下の表は Stefan Trost の分析結果をまとめたものである。分析には "WordCreator" の機能 Unicode Counter を使用した。分析にあたって利用したコーパスは 1,230,923文字(279,679単語)のもので、そのうち 937,426文字を集計している[90]。ただし、分析するコーパスによっては相対出現頻度は多少異なることがある。
左側の表は文字順に並べたものであり、右側の表は出現頻度の高い文字順に並べたものである。ヘブライ語における出現頻度の高い文字は ⟨י⟩、⟨ה⟩、⟨ו⟩ となる[90]。
文字 | ヘブライ語における文字の出現頻度[90] | |
---|---|---|
א | 6.11% | |
ב | 4.57% | |
ג | 1.26% | |
ד | 2.49% | |
ה | 10.48% | |
ו | 10.01% | |
ז | 1.28% | |
ח | 2.39% | |
ט | 1.19% | |
י | 10.67% | |
ך | 0.78% | |
כ | 2.60% | |
ל | 7.12% | |
ם | 2.92% | |
מ | 4.43% | |
ן | 1.06% | |
נ | 2.76% | |
ס | 1.43% | |
ע | 3.11% | |
ף | 0.26% | |
פ | 1.63% | |
ץ | 0.12% | |
צ | 1.20% | |
ק | 2.06% | |
ר | 5.40% | |
ש | 4.25% | |
ת | 4.84% |
ヒンディー語
[編集]以下の表は Stefan Trost の分析結果をまとめたものである。分析には "WordCreator" の機能 Unicode Counter を使用した。分析にあたって利用したコーパスは 978,430文字(238,604単語)のもので、そのうち 736,216文字を集計している[91]。ただし、分析するコーパスによっては相対出現頻度は多少異なることがある。
左側の表は文字順に並べたものであり、右側の表は出現頻度の高い文字順に並べたものである。ヒンディー語における出現頻度の高い文字は ⟨ ा⟩、⟨क⟩、⟨ े⟩ となる[91]。
文字 | ヒンディー語における文字の出現頻度[91] | |
---|---|---|
ँ | 0.30% | |
ं | 3.44% | |
ः | 0.01% | |
अ | 1.01% | |
आ | 0.66% | |
इ | 0.31% | |
ई | 0.20% | |
उ | 0.78% | |
ऊ | 0.05% | |
ऋ | 0.00% | |
ए | 1.34% | |
ऐ | 0.03% | |
ऑ | 0.03% | |
ओ | 0.10% | |
औ | 0.94% | |
क | 7.14% | |
ख | 0.70% | |
ग | 1.31% | |
घ | 0.20% | |
च | 1.16% | |
छ | 0.45% | |
ज | 1.39% | |
झ | 0.19% | |
ञ | 0.01% | |
ट | 0.57% | |
ठ | 0.17% | |
ड | 0.75% | |
ढ | 0.09% | |
ण | 0.13% | |
त | 2.89% | |
थ | 1.15% | |
द | 1.68% | |
ध | 0.36% | |
न | 3.48% | |
प | 2.66% | |
फ | 0.35% | |
ब | 1.78% | |
भ | 0.67% | |
म | 3.28% | |
य | 2.20% | |
र | 5.91% | |
ल | 2.45% | |
व | 1.62% | |
श | 0.76% | |
ष | 0.27% | |
स | 3.78% | |
ह | 4.82% | |
़ | 0.67% | |
ा | 8.22% | |
ि | 3.20% | |
ी | 3.47% | |
ु | 1.45% | |
ू | 0.81% | |
ृ | 0.10% | |
ॅ | 0.00% | |
े | 6.85% | |
ै | 1.96% | |
ॉ | 0.10% | |
ो | 2.21% | |
ौ | 0.15% | |
् | 3.02% |
中国語
[編集]中国語における文字の出現頻度の上位20文字は以下の表の通りである[92]。分析では2009年にインターネット上で人気のあった8つの小説から計12,379,116文字について調査したものである[93]。
文字 | 中国語における相対出現頻度 | |
---|---|---|
的 | 3.47% | |
了 | 2.05% | |
一 | 1.99% | |
是 | 1.67% | |
不 | 1.51% | |
这 | 1.23% | |
我 | 1.16% | |
人 | 1.04% | |
在 | 1.00% | |
地 | 0.93% | |
道 | 0.92% | |
有 | 0.90% | |
他 | 0.90% | |
来 | 0.87% | |
个 | 0.72% | |
说 | 0.69% | |
你 | 0.69% | |
上 | 0.66% | |
大 | 0.64% | |
就 | 0.59% |
中国の古文書における文字の出現頻度上位10文字は以下の表の通りである[92]。「不」、「一」、「人」の三文字は各年代において出現頻度が上位10位以内の高い頻度で表れる文字であった[92]。
年代 | 順序 | 詳細 |
---|---|---|
7-10世紀 | 不人山无风 一日云有何 | 『全唐詩』に記載されている総数2,602,310文字に対する分析[93]。 |
10-13世紀 | 人风花一不 春无云月天 | 『全宋詞』に記載されている総数1,417,778文字に対する分析[93]。 |
13-14世紀 | 云我不你的 是人一来了 | 『元詩選』に記載されている総数2,172,631文字に対する分析[93]。 |
14-20世紀 | 了不一道来 人的是我个 | 『西遊記』、『水滸伝』、『三国志演義』、『紅楼夢』に記載されている総数2,506,684文字に対する分析[93]。 |
また、中国語の拼音(ピンイン)入力におけるアルファベットの出現頻度は以下の表の通りである[94]。分析には小説から約50万字、新聞記事から約130万字、ネットの投稿から約120万字を抽出したデータを使用している[95]。⟨i⟩、⟨a⟩、⟨n⟩ の三つの文字の出現頻度が高く、⟨v⟩ が最も出現頻度の低い文字であった[95]。
文字 | 中国語の拼音入力における相対出現頻度 | |
---|---|---|
A | 10.52% | |
B | 1.42% | |
C | 1.40% | |
D | 3.28% | |
E | 6.97% | |
F | 0.89% | |
G | 6.90% | |
H | 7.17% | |
I | 13.96% | |
J | 2.42% | |
K | 0.65% | |
L | 1.79% | |
M | 1.06% | |
N | 11.91% | |
O | 5.88% | |
P | 0.42% | |
Q | 1.03% | |
R | 0.92% | |
S | 2.97% | |
T | 1.16% | |
U | 7.94% | |
V | 0.10% | |
W | 1.16% | |
X | 1.92% | |
Y | 2.92% | |
Z | 3.26% |
韓国語
[編集]韓国語のハングルにおける字母の出現頻度は以下の通りとなる[96]。
順位 | 字母 | 位置 | 度数 | 割合 | |
---|---|---|---|---|---|
5 | ㄱ | 初声 | 1,171,038 | 5.372% | |
20 | ㄱ | 終声 | 411,538 | 1.888% | |
36 | ㄲ | 初声 | 64,997 | 0.298% | |
56 | ㄲ | 終声 | 6,068 | 0.028% | |
63 | ㄳ | 終声 | 357 | 0.002% | |
16 | ㄴ | 初声 | 596,893 | 2.738% | |
4 | ㄴ | 終声 | 1,328,090 | 6.092% | |
60 | ㄵ | 終声 | 2,790 | 0.013% | |
43 | ㄶ | 終声 | 30,376 | 0.139% | |
9 | ㄷ | 初声 | 800,785 | 3.673% | |
49 | ㄷ | 終声 | 18,535 | 0.085% | |
35 | ㄸ | 初声 | 72,604 | 0.333% | |
15 | ㄹ | 初声 | 610,211 | 2.799% | |
10 | ㄹ | 終声 | 776,891 | 3.564% | |
55 | ㄺ | 終声 | 7,330 | 0.034% | |
57 | ㄻ | 終声 | 4,344 | 0.020% | |
61 | ㄼ | 終声 | 2,183 | 0.010% | |
67 | ㄽ | 終声 | 5 | 0.000% | |
65 | ㄾ | 終声 | 131 | 0.001% | |
66 | ㄿ | 終声 | 78 | 0.000% | |
59 | ㅀ | 終声 | 3,023 | 0.014% | |
18 | ㅁ | 初声 | 429,661 | 1.971% | |
24 | ㅁ | 終声 | 258,542 | 1.186% | |
23 | ㅂ | 初声 | 359,029 | 1.647% | |
29 | ㅂ | 終声 | 133,729 | 0.613% | |
52 | ㅃ | 初声 | 16,037 | 0.074% | |
46 | ㅄ | 終声 | 25,868 | 0.119% | |
11 | ㅅ | 初声 | 756,477 | 3.470% | |
30 | ㅅ | 終声 | 114,592 | 0.526% | |
44 | ㅆ | 初声 | 29,184 | 0.134% | |
25 | ㅆ | 終声 | 219,186 | 1.005% | |
1 | ㅇ | 初声 | 2,105,587 | 9.659% | |
14 | ㅇ | 終声 | 617,205 | 2.831% | |
12 | ㅈ | 初声 | 748,509 | 3.434% | |
50 | ㅈ | 終声 | 17,173 | 0.079% | |
48 | ㅉ | 初声 | 20,434 | 0.094% | |
26 | ㅊ | 初声 | 200,266 | 0.919% | |
54 | ㅊ | 終声 | 9,944 | 0.046% | |
39 | ㅋ | 初声 | 48,097 | 0.221% | |
64 | ㅋ | 終声 | 302 | 0.001% | |
31 | ㅌ | 初声 | 106,679 | 0.489% | |
47 | ㅌ | 終声 | 25,341 | 0.116% | |
33 | ㅍ | 初声 | 98,986 | 0.454% | |
51 | ㅍ | 終声 | 16,938 | 0.078% | |
13 | ㅎ | 初声 | 635,299 | 2.914% | |
45 | ㅎ | 終声 | 26,948 | 0.124% | |
2 | ㅏ | 中声 | 1,926,007 | 8.835% | |
21 | ㅐ | 中声 | 409,768 | 1.880% | |
37 | ㅑ | 中声 | 63,728 | 0.292% | |
58 | ㅒ | 中声 | 3,769 | 0.017% | |
7 | ㅓ | 中声 | 942,819 | 4.325% | |
22 | ㅔ | 中声 | 393,695 | 1.806% | |
19 | ㅕ | 中声 | 422,490 | 1.938% | |
42 | ㅖ | 中声 | 44,394 | 0.204% | |
8 | ㅗ | 中声 | 862,073 | 3.955% | |
28 | ㅘ | 中声 | 162,656 | 0.746% | |
53 | ㅙ | 中声 | 11,215 | 0.051% | |
32 | ㅚ | 中声 | 99,794 | 0.458% | |
34 | ㅛ | 中声 | 94,576 | 0.434% | |
17 | ㅜ | 中声 | 592,419 | 2.718% | |
38 | ㅝ | 中声 | 57,373 | 0.263% | |
62 | ㅞ | 中声 | 2,035 | 0.009% | |
40 | ㅟ | 中声 | 47,506 | 0.218% | |
41 | ㅠ | 中声 | 47,135 | 0.216% | |
6 | ㅡ | 中声 | 1,151,976 | 5.285% | |
27 | ㅢ | 中声 | 179,818 | 0.825% | |
3 | ㅣ | 中声 | 1,355,527 | 6.218% |
韓国語のハングルにおける文字(音節)の出現頻度上位100文字は以下の通りである[97]。
順位 | 文字 | 度数 | 割合 | |
---|---|---|---|---|
1 | 이 | 314,869 | 3.550% | |
2 | 다 | 265,071 | 2.988% | |
3 | 는 | 232,384 | 2.620% | |
4 | 의 | 172,126 | 1.940% | |
5 | 에 | 171,943 | 1.938% | |
6 | 을 | 162,579 | 1.833% | |
7 | 고 | 152,862 | 1.723% | |
8 | 가 | 150,918 | 1.701% | |
9 | 하 | 144,051 | 1.624% | |
10 | 지 | 133,691 | 1.507% | |
11 | 로 | 113,920 | 1.284% | |
12 | 한 | 113,150 | 1.276% | |
13 | 그 | 108,164 | 1.219% | |
14 | 은 | 106,129 | 1.196% | |
15 | 서 | 103,121 | 1.162% | |
16 | 기 | 102,709 | 1.158% | |
17 | 어 | 99,943 | 1.127% | |
18 | 도 | 88,314 | 0.996% | |
19 | 나 | 86,764 | 0.978% | |
20 | 를 | 84,774 | 0.956% | |
21 | 사 | 84,247 | 0.950% | |
22 | 아 | 80,043 | 0.902% | |
23 | 리 | 78,532 | 0.885% | |
24 | 있 | 77,858 | 0.878% | |
25 | 자 | 75,346 | 0.849% | |
26 | 들 | 69,423 | 0.783% | |
27 | 대 | 67,855 | 0.765% | |
28 | 으 | 66,390 | 0.748% | |
29 | 인 | 64,261 | 0.724% | |
30 | 시 | 62,338 | 0.703% | |
31 | 해 | 60,136 | 0.678% | |
32 | 라 | 58,485 | 0.659% | |
33 | 것 | 58,386 | 0.658% | |
34 | 수 | 58,165 | 0.656% | |
35 | 니 | 57,152 | 0.644% | |
36 | 게 | 56,945 | 0.642% | |
37 | 정 | 54,407 | 0.613% | |
38 | 보 | 49,019 | 0.553% | |
39 | 일 | 45,932 | 0.518% | |
40 | 적 | 45,475 | 0.513% | |
41 | 만 | 44,672 | 0.504% | |
42 | 부 | 43,880 | 0.495% | |
43 | 주 | 43,879 | 0.495% | |
44 | 과 | 43,685 | 0.492% | |
45 | 제 | 43,631 | 0.492% | |
46 | 면 | 42,568 | 0.480% | |
47 | 었 | 40,355 | 0.455% | |
48 | 전 | 39,553 | 0.446% | |
49 | 여 | 39,529 | 0.446% | |
50 | 상 | 39,345 | 0.444% | |
51 | 장 | 37,885 | 0.427% | |
52 | 요 | 37,391 | 0.422% | |
53 | 구 | 36,967 | 0.417% | |
54 | 문 | 34,109 | 0.385% | |
55 | 내 | 33,964 | 0.383% | |
56 | 우 | 33,145 | 0.374% | |
57 | 성 | 31,692 | 0.357% | |
58 | 거 | 31,282 | 0.353% | |
59 | 동 | 31,041 | 0.350% | |
60 | 생 | 30,364 | 0.342% | |
61 | 되 | 30,317 | 0.342% | |
62 | 마 | 30,184 | 0.340% | |
63 | 러 | 30,051 | 0.339% | |
64 | 국 | 29,241 | 0.330% | |
65 | 소 | 29,105 | 0.328% | |
66 | 화 | 29,068 | 0.328% | |
67 | 신 | 28,918 | 0.326% | |
68 | 무 | 28,660 | 0.323% | |
69 | 했 | 28,176 | 0.318% | |
70 | 원 | 27,582 | 0.311% | |
71 | 스 | 26,804 | 0.302% | |
72 | 오 | 26,341 | 0.297% | |
73 | 야 | 26,009 | 0.293% | |
74 | 위 | 25,964 | 0.293% | |
75 | 경 | 25,932 | 0.292% | |
76 | 말 | 25,618 | 0.289% | |
77 | 와 | 25,168 | 0.284% | |
78 | 조 | 25,055 | 0.282% | |
79 | 없 | 24,975 | 0.282% | |
80 | 모 | 24,764 | 0.279% | |
81 | 데 | 24,512 | 0.276% | |
82 | 비 | 24,266 | 0.274% | |
83 | 할 | 23,706 | 0.267% | |
84 | 계 | 23,653 | 0.267% | |
85 | 안 | 23,152 | 0.261% | |
86 | 까 | 23,016 | 0.259% | |
87 | 중 | 22,916 | 0.258% | |
88 | 세 | 22,764 | 0.257% | |
89 | 때 | 22,618 | 0.255% | |
90 | 미 | 22,373 | 0.252% | |
91 | 려 | 22,040 | 0.248% | |
92 | 회 | 22,033 | 0.248% | |
93 | 학 | 21,990 | 0.248% | |
94 | 관 | 21,976 | 0.248% | |
95 | 선 | 21,973 | 0.248% | |
96 | 간 | 21,939 | 0.247% | |
97 | 치 | 21,910 | 0.247% | |
98 | 진 | 21,719 | 0.245% | |
99 | 공 | 21,307 | 0.240% | |
100 | 실 | 21,280 | 0.240% |
また、1950年代に調査された韓国の文書中におけるハングルの出現頻度の高い30文字は 이는다하 에가고올지어 의은서그아 로라기도한 나니를것있 리으여사들 の順である[98]。また、1950年代に調査された韓国語の文書中における漢字の出現頻度の高い30文字は 國生地人自 十一分物年 學大字發身 民氣方間會 日事對行上 當實等二法 である[99]。
ベンガル語
[編集]ベンガル語で使用されるベンガル文字における文字の出現頻度は以下の表の通りである[100]。
文字 | ベンガル語における相対出現頻度 | |
---|---|---|
া | 12.966% | |
ে | 7.812% | |
র | 6.627% | |
ি | 5.221% | |
ন | 5.503% | |
ত | 4.356% | |
ক | 4.341% | |
ব | 3.814% | |
ম | 3.189% | |
ল | 3.094% | |
প | 2.908% | |
হ | 2.652% | |
অ | 2.393% | |
স | 2.381% | |
দ | 2.363% | |
য় | 1.895% | |
ু | 1.259% | |
ী | 1.191% | |
য | 1.176% | |
জ | 1.025% | |
শ | 0.907% | |
ছ | 0.855% | |
গ | 0.813% | |
ও | 0.804% | |
খ | 0.684% | |
ং | 0.648% | |
ধ | 0.603% | |
ট | 0.567% | |
ষ | 0.547% | |
থ | 0.524% | |
ভ | 0.442% | |
ূ | 0.432% | |
ণ | 0.426% | |
চ | 0.405% | |
ঃ | 0.364% | |
ফ | 0.280% | |
ঁ | 0.258% | |
ড় | 0.202% | |
ড | 0.142% | |
ৎ | 0.140% | |
ঠ | 0.128% | |
ঘ | 0.109% | |
ঞ | 0.086% | |
ঔ | 0.084% | |
ৈ | 0.047% | |
ঝ | 0.040% | |
ঢ | 0.032% | |
ঢ় | 0.013% | |
ঙ | 0.006% | |
ৃ | 0.003% |
またベンガル語の辞書の見出し語における文字の出現頻度は া ্র িন তকবপ ু মসলদ ে োঅগযচ জশ ীটহ য়ষধভণ ড়আ ঁখউ ৃফ ংূঙ ছইডথঘ ঞঠ ৈ ৌঝ ওএ ঃঢঢ় ঈঐঔঋঊৎ の順である[101]。
タイ語
[編集]タイ語のタイ文字における文字の出現頻度は以下の表の通りとなる[102]。分析に使用したデータにおける文字の総数は 354,221,260文字である[102]。
順位 | 文字 | 度数 | 割合 | |
---|---|---|---|---|
1 | า | 25,209,774 | 7.12% | |
2 | ร | 22,980,559 | 6.49% | |
3 | น | 21,539,571 | 6.08% | |
4 | ก | 15,639,107 | 4.42% | |
5 | ่ | 15,567,843 | 4.39% | |
6 | อ | 14,043,669 | 3.96% | |
7 | เ | 13,502,777 | 3.81% | |
8 | ง | 13,446,596 | 3.80% | |
9 | ้ | 12,088,661 | 3.41% | |
10 | ั | 11,622,044 | 3.28% | |
11 | ม | 11,480,076 | 3.24% | |
12 | ย | 11,414,497 | 3.22% | |
13 | ว | 9,370,549 | 2.65% | |
14 | ี | 9,345,532 | 2.64% | |
15 | ท | 8,848,508 | 2.50% | |
16 | ด | 8,219,261 | 2.32% | |
17 | ล | 8,098,263 | 2.29% | |
18 | ิ | 7,284,384 | 2.06% | |
19 | ต | 7,048,841 | 1.99% | |
20 | ห | 6,658,952 | 1.88% | |
21 | ส | 6,652,219 | 1.88% | |
22 | บ | 6,467,847 | 1.83% | |
23 | ะ | 6,424,503 | 1.81% | |
24 | ค | 6,148,224 | 1.74% | |
25 | ป | 6,002,429 | 1.69% | |
26 | จ | 5,808,506 | 1.64% | |
27 | แ | 4,568,250 | 1.29% | |
28 | ไ | 4,255,053 | 1.20% | |
29 | พ | 4,029,354 | 1.14% | |
30 | ข | 4,028,758 | 1.14% | |
31 | ใ | 3,834,242 | 1.08% | |
32 | ช | 3,773,356 | 1.07% | |
33 | ุ | 3,656,069 | 1.03% | |
34 | ื | 3,655,755 | 1.03% | |
35 | ์ | 2,919,201 | 0.82% | |
36 | ู | 2,724,773 | 0.77% | |
37 | ็ | 2,690,261 | 0.76% | |
38 | ำ | 2,562,973 | 0.72% | |
39 | โ | 1,951,275 | 0.55% | |
40 | ธ | 1,816,470 | 0.51% | |
41 | ึ | 1,772,343 | 0.50% | |
42 | ผ | 1,732,132 | 0.49% | |
43 | ศ | 1,529,376 | 0.43% | |
44 | ถ | 1,404,048 | 0.40% | |
45 | ณ | 1,365,793 | 0.39% | |
46 | ซ | 1,181,412 | 0.33% | |
47 | ษ | 1,154,037 | 0.33% | |
48 | ญ | 1,133,041 | 0.32% | |
49 | ภ | 975,323 | 0.28% | |
50 | ฐ | 745,057 | 0.21% | |
51 | ฟ | 499,872 | 0.14% | |
52 | ฉ | 485,706 | 0.14% | |
53 | ๆ | 339,092 | 0.10% | |
54 | ฒ | 234,963 | 0.07% | |
55 | ฝ | 215,652 | 0.06% | |
56 | ฎ | 196,316 | 0.06% | |
57 | ฏ | 147,910 | 0.04% | |
58 | ฯ | 142,585 | 0.04% | |
59 | ๊ | 139,272 | 0.04% | |
60 | ฤ | 138,806 | 0.04% | |
61 | ๒ | 138,759 | 0.04% | |
62 | ๑ | 131,819 | 0.04% | |
63 | ฮ | 119,534 | 0.03% | |
64 | ๐ | 113,603 | 0.03% | |
65 | ฑ | 106,731 | 0.03% | |
66 | ฃ | 105,505 | 0.03% | |
67 | ๕ | 96,032 | 0.03% | |
68 | ๓ | 80,281 | 0.02% | |
69 | ฬ | 66,704 | 0.02% | |
70 | ๔ | 65,882 | 0.02% | |
71 | ฆ | 55,074 | 0.02% | |
72 | ๖ | 42,917 | 0.01% | |
73 | ๋ | 40,740 | 0.01% | |
74 | ๗ | 35,667 | 0.01% | |
75 | ๘ | 33,296 | 0.01% | |
76 | ๙ | 29,240 | 0.01% | |
77 | ฌ | 27,089 | 0.01% | |
78 | ฅ | 13,107 | 0.00% | |
79 | ํ | 4,657 | 0.00% | |
80 | ฦ | 2,628 | 0.00% | |
81 | ฺ | 172 | 0.00% | |
82 | ฿ | 42 | 0.00% | |
83 | ๅ | 33 | 0.00% | |
84 | ๚ | 19 | 0.00% | |
85 | ๏ | 5 | 0.00% | |
86 | ๛ | 4 | 0.00% | |
87 | ๎ | 2 | 0.00% |
タイ文字の子音における文字の出現頻度は高い順に รนกองมยวทดลตหสบคปจพขชธผศถณซษญภฐฟฉฒฝฎฏฤฮฑฃฬฆฌฅฦ である[102]。またタイ文字の母音、記号、数字における文字の出現頻度は高い順に า ่เ ้ ั ี ิะแไใ ุ ื ์ ู ็ ำโ ึๆฯ ๊๒๑๐๕๓๔๖ ๋๗๘ ํ ฺ฿ๅ๚๏๛ ๎ である[102]。
アラビア語
[編集]アラビア語のアラビア文字における文字の出現頻度は以下の表の通りとなる[103]。分析に使用したデータにおける語の総数は 1,297,259語、文字の総数は 5,122,132文字である[103]。
文字 | アラビア語における相対出現頻度 | |
---|---|---|
ء | 0.31% | |
ؤ | 0.09% | |
ئ | 0.28% | |
ا | 12.50% | |
آ | 0.15% | |
أ | 2.89% | |
إ | 1.00% | |
ب | 4.67% | |
ة | 1.42% | |
ت | 2.61% | |
ث | 0.87% | |
ج | 1.23% | |
ح | 1.86% | |
خ | 0.79% | |
د | 2.67% | |
ذ | 0.96% | |
ر | 4.20% | |
ز | 0.52% | |
س | 2.47% | |
ش | 0.73% | |
ص | 1.04% | |
ض | 0.44% | |
ط | 0.50% | |
ظ | 0.18% | |
ع | 4.01% | |
غ | 0.33% | |
ف | 2.84% | |
ق | 2.69% | |
ك | 2.04% | |
ل | 12.07% | |
م | 6.52% | |
ن | 6.61% | |
ه | 5.08% | |
و | 5.80% | |
ى | 1.29% | |
ي | 6.36% |
台湾語
[編集]以下の表では台湾語における出現頻度の高い音節上位20文字を記載する[104][105]。なお、台湾語は文字の表記法として主に漢字(全漢)、漢字ローマ字混用(漢羅)、ローマ字(全羅)の三つ存在しているため、以下の表では漢字およびローマ字が混合した出現頻度となっている[106]。
文字 | 台湾語における相対出現頻度 | |
---|---|---|
ê | 4.2252% | |
是 | 1.8029% | |
人 | 1.3831% | |
(数字) | 1.2566% | |
有 | 1.2495% | |
無 | 1.0347% | |
來 | 1.0218% | |
我 | 0.9500% | |
一 | 0.9415% | |
講 | 0.9312% | |
伊 | 0.9055% | |
tī | 0.7983% | |
會 | 0.7355% | |
去 | 0.6659% | |
著 | 0.6157% | |
m̄ | 0.6023% | |
個 | 0.5901% | |
就 | 0.5896% | |
台 | 0.5429% | |
真 | 0.5375% |
ビルマ語
[編集]ビルマ語で使用されるビルマ文字の基本字母における文字の出現頻度は以下の表の通りである[107]。ビルマ文字では 33 の文字が基本字母として存在している[107]。
文字 | ビルマ語における相対出現頻度 | |
---|---|---|
က | 7.449% | |
ခ | 0.086% | |
ဂ | 0.685% | |
ဃ | 1.199% | |
င | 1.455% | |
စ | 11.301% | |
ဆ | 3.168% | |
ဇ | 2.226% | |
ဈ | 0.086% | |
ည | 0.599% | |
ဋ | 0.086% | |
ဌ | 7.020% | |
ဍ | 10.103% | |
ဎ | 1.370% | |
ဏ | 2.055% | |
တ | 5.051% | |
ထ | 6.592% | |
ဒ | 0.171% | |
ဓ | 2.483% | |
န | 5.651% | |
ပ | 3.339% | |
ဖ | 1.455% | |
ဗ | 1.027% | |
ဘ | 0.342% | |
မ | 1.969% | |
ယ | 8.818% | |
ရ | 1.969% | |
လ | 0.086% | |
ဝ | 0.086% | |
သ | 0% | |
ဟ | 0% | |
ဠ | 0% | |
အ | 0% |
また、ビルマ語の基本字母と併せて用いられる表音機能を持つ符号における出現頻度は以下の通りとなる[107]。
文字 | 相対出現頻度 | |
---|---|---|
ြ | 7.705% | |
၂ | 8.990% | |
ေ | 12.842% | |
ါ | 7.791% | |
း | 2.997% | |
ံ | 14.812% | |
့ | 29.966% | |
ိ | 9.075% | |
ွ | 3.767% | |
ှ | 1.627% | |
ု | 1.027% | |
ူ | 1.284% | |
ဲ | 9.161% | |
် | 3.253% |
関連の出現頻度
[編集]単語の出現頻度
[編集]ジップの法則
[編集]続いて文字の出現頻度ではなく、単語の出現頻度について言及する。ある自然言語のコーパスにおける単語の出現頻度はジップの法則に従った分布となる[108][109]。これは出現頻度の最も高い単語は二番目の単語の約二倍の出現頻度となることをいう[109]。
エスペラント語で書かれたあるフィクション小説のコーパスにおける単語の出現頻度は以下の通りとなった:
la 9864、kaj 4195、mi 3934、de 2819、li 2543、esti 2395、al 1969... と続いている[110]。
ジップの法則は集合の要素(文書内における単語など)を出現頻度の高い順に並べ、それぞれに順位を対応させると、各順位の出現確率 はその順位 の逆数におおよそ比例することを示している。ある順位における相対出現頻度は以下の式で与えられる[109]:
順位が高い 1、2、3、4、5 の順番に出現確率は 1、1/2、1/3、1/4、1/5 の比率を成している。したがってジップの法則から各順位ごとの出現確率はお互いに関連した関係であるといえる[109]。実際、上記の分析結果についても出現頻度はジップの法則に従っているといえる。
日本語
[編集]日本語における語(見出し語)の出現頻度は以下の表の通りである[111]。
下記の表は割合を表示せず、順位のみを記載する。
|
|
|
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
英語
[編集]英単語の出現頻度は以下の表の通りである[112]。ただし、単語の出現回数の加算方法としては英語の辞書の見出し語(基本語)ごとに行っており、be には is、was、are、were などが合算された数となるが、I と me は各々別の単語として加算されている。
下記の表は割合を表示せず、順位のみを記載する。
|
|
|
|
|
英語版の AWK には単語の頻度分析に関するプログラムがまとめられており、より高度な分析を行うプログラムについては下記のプログラム節に記載されている。
数字の出現頻度
[編集]
低価格帯
[編集]アルファベットや平仮名に限らず、数字においても特徴的な出現頻度の事例が知られている。例として、日本のスーパーマーケットにおける商品の金額の末尾(一の位)の数字は 8 であることが多いことが知られている[114]。一方、アメリカやヨーロッパ、英語圏などのスーパーマーケットで見かける金額の末尾(一の位)の数字は 9 であることが多いことが知られている[115]。具体例として、商品の価格が200円でなく199円として売られていることが挙げられる。1997年の『Marketing Bulletin』によると、ニュージーランドの新聞の広告に記載された商品価格における末尾の桁の 60% が 9 であったことが知られている[116]。
これらの事象を確認することは、大規模な統計的調査や統計学者による分析を行う必要なく容易に確かめることができる。
ベンフォードの法則
[編集]一方で潜在的な例として、企業の財務会計における数字の最初の桁に関する頻度について挙げることができる[117]。すなわち、最初の桁に現れる数字の出現頻度は互いに等しくなく、偏りがあることが知られており、これはベンフォードの法則と名づけられている。このベンフォードの法則によれば、数字の最初の桁において 1 である確率は 30% 程度であるが、9 である確率は 5% 未満である。このことから数字の最初の桁における分布をより正確に求めることで、不自然な偏りを検出し、不正や詐欺を発見するのに役立たせることができる[117]。
数字の最初の桁における各数字の出現頻度を定量的に表すと、以下の表の通りとなる[118]。ただし、最初の桁の数値を とし、 の出現確率を とする。
の度数 | ||
---|---|---|
1 | 30.1% | |
2 | 17.6% | |
3 | 12.5% | |
4 | 9.7% | |
5 | 7.9% | |
6 | 6.7% | |
7 | 5.8% | |
8 | 5.1% | |
9 | 4.6% |
ベンフォードの法則では、対象となるデータセットが大規模なものでかつ一つ一つのデータが複数の桁を持ち、可能な限り実在するデータに対して現れる法則となる[119]。
10進数の数字における最初の桁の出現確率は を底とする対数を用いて表される。すなわち、最初の桁の数値 の出現確率は以下の式で与えられる[54]:
これはすなわち、数字を横軸にとり、出現確率を縦軸とすると、各数字の出現確率は対数によって描かれる分布となる。したがって、数字の最初の桁における出現確率は特有の分布に従う[120]。
大規模なデータセットに対する数字の二桁目の出現頻度についても同様に偏りのある分布となる[119]。しかしながら、数字の右側の桁の出現頻度を求めようとすると、次第にベンフォードの法則には従わなくなり、各数字の出現確率が均等(各数字約10%の出現確率)に近づいていくことが知られている[121]。
なお、スーパーマーケットなどの低価格帯における末尾の数字は 8(9)であることが多いため、この性質は当てはまらない[122]。
単語の長さ
[編集]各言語における単語の長さの平均値は Wordlengths - ウェイバックマシン(2007年10月2日アーカイブ分) にまとめられている。
このサイトの執筆者および分析を行ったコーパスの詳細についてはほとんど不明で、Unicode のテストを行うための文書について分析を行ったことのみが判明している[注釈 3]。
単語の長さを算出する方法は主に三種類存在する[123]。一つ目は語の形態に応じて語の長さを算出する方法である。これはある単語に対してその本体の自立部分と、助詞、助動詞などの付属部分を別々のものとみなして計算する方法である[124]。二つ目は語の表記に応じた語の長さを算出する方法である。これはある単語に対して文字として表記されているそのままの文字数を一つの単語として計算する方法である[125]。三つ目は語の音に応じた語の長さを算出する方法である。これはある単語に対してそれぞれの文字を拍(モーラ)に応じて語の長さを計算する方法である[125]。
1986年に出版された『中央公論』1年分のデータを標本とした日本語における単語の長さの平均は、形態別の算出方法では 1.8723 となり、表記別の算出方法では 3.6704 であり、音別の算出方法では 4.7798 であった[124]。
実装
[編集]AWKによる頻度分析プログラム
[編集]説明
[編集]以下に記載されているコードはエスペラント語における頻度分析を行うプログラムで AWK によって書かれている。出力形式として ASCII、HTML、Wikitable およびヒストグラムを対応している[注釈 4]。頻度分析が可能な項目として以下のものが挙げられる:
- (単なる)文字の出現頻度
- 単語の頭文字の出現頻度
- 単語の末尾の文字の出現頻度
- 単語の長さの平均値とその分布
- 単語の出現頻度
BEGINパターンでは分析する頻度の機能を自由に有効・無効化することができ、出力形式のフォーマットを指定することもできる。通常下記のプログラムの頻度分析は大規模なテキストコーパスの分析についても数十秒の実行時間で終了することが多い。しかし、計算機の処理速度やテキストコーパスの規模によっては単語の出現頻度を求めるのに数十分かかる場合がある。したがって、始めて分析するコーパスの実行においては単語の出現頻度分析を無効にして実行すること推奨する。
単語の出現頻度算出機能の一つとして単語を品詞ごとに分けて名詞(-O)、形容詞(-A)、副詞(-E)、(分詞を含まない)動詞、およびその他の品詞ごとに分類することができる。
言い換えれば、複数形と対格形については基本的に -O、-A、-E の形として導かれる。すなわち、"vin" や "tiujn" のような単語はそれぞれ "vi" や "tiu" となる。また動詞の語尾 "-as"、"-is"、"-os"、"-us"、"-u" は "-i" として導かれる。動詞の分詞についても -O、-A、-E の単語になり、例えば "amantojn" は "amanto" となり "ami" にはならない。
BEGINパターンに含まれている例外の単語処理(正規表現の部分)に注意を払う必要がある。これらの処理によって頻度分析において "nun" を "nu" の対格形としてではなく、"kaj" は "ka" の複数形ではなく、"unu" が "uni" の命令形ではないことを正しく判別する。もっともすべての単語を正しく処理できるわけではない。例として、エスペラント由来でない名前の "Simon" では "simo" と誤って変形されてしまう。これを回避するために必要に応じて該当のリストを拡張することが可能である。
プログラムの使用方法として、下記の折り畳みボックス内のコードをコピーし、テキストファイルに貼り付け保存(frequency.awk)。これをターミナルにて以下のコマンドを実行する:
awk -f frequency.awk text.cx >result.cx
もしくは各環境に対応したコマンドを実行する。なお、このプログラムを実行するためには実行環境内に AWK をインストールしておく必要がある。Linux、Unix 環境ではデフォルトでは AWK が搭載されており、Mac も同様に動作すると考えられる。Windows については Gnu-a website からプログラムファイルをダウンロードすることでプログラムを実行することができる。
このプログラムを実行することによって任意のコーパスに対して単語の頭文字および末尾の文字の出現頻度、単文字の出現頻度、単語の長さの平均値と分布、あるいは単語の出現頻度の頻度分析が可能となる。
プログラム
[編集]BEGIN { # 以下のコードは適宜修正してください # 分析に関する設定項目 - 1: 有効化、0: 無効化 LETTER_FREQUENCY = 1 FIRST_LETTERS_OF_WORD = 1 LAST_LETTERS_OF_WORD = 1 WORD_LENGTH = 1 WORD_FREQUENCY = 1 # 実行に時間がかかる # 出力形式に関する設定項目 - 1: 有効化、0: 無効化 FORMAT_ASCII = 1 FORMAT_HTML = 1 FORMAT_WIKI = 1 # 例外の単語 NO_VERB = "^(tiu|kiu|neniu|unu|c[x]u|c[x]iu)$" NO_ALL_WORD = "^(kaj|tuj|nun|kun|sen|ajn|plej|malplej|tamen|amen|kvin)$" NO_ROMAN = "^(mil|((c|ci|cim|ĉ|div|divid|il|l|lic|lim|m|v|vic|vid|viv)i))$" # lili、livi、vili もローマ数字の例外のとして挙げられるが、ほとんど場合で考慮する必要はない start_time=systime(); # systime() 関数が使用できない環境下では除去する必要がある。 # ================================================================================== version="Version: 2012-01-18 17:00 Pejno Simono"; FS="[ \n\t\",.;:!?()]"; # 考慮する } { gsub(/[-]/,""); for(i=1; i<=NF; i++) if($i~/^[a-zA-Z][a-zA-Z]+$/) # 少なくとも2文字以上 { s=tolower($i); if(s!~/^[ivxlcdm]+$/ || s~NO_ROMAN) # ローマ数字以外 { n=0; for(j=1; j<=length(s); ) # 任意の文字 { c=substr(s,j,1); if (c~/^[cghjsu]/) if (substr(s,j+1,1)=="x" && substr(s,j+2,1)!="x") c=substr(s,j,2); if(j==1) first[c]++; # 単語の頭文字 letter[c]++; letters++; j+=length(c); # 単語中の "x" まで飛ばす(X-方式) n++; } last[c]++; # 単語の末尾の文字 if(n>1) # 単語の長さが 1 より大きい場合のみ { length[n]++; # 単語の長さ sum+=n; words++; if(WORD_FREQUENCY==1) { s=tolower($i); # すべての単語に対して j=length(s); if(j>2) { if(s!~NO_VERB) n=sub(/(as|is|os|us|u)$/,"i",s); if(n==0 && s!~NO_ALL_WORD) sub(/(jn|j|n)$/,"",s); } word[s]++; } } } } } END { FIRST=1; LAST=2; ALL=3; LENGTH=4; WORDS=5; ASCII=1; HTML=2; WIKI=3 asciiwidth=50; htmlwidth=400; # pixel wikiwidth=400; # pixel if(LETTER_FREQUENCY>0) { if (FORMAT_ASCII>0) printout(ALL,ASCII); if (FORMAT_HTML>0) printout(ALL,HTML); if (FORMAT_WIKI>0) printout(ALL,WIKI); } if(FIRST_LETTERS_OF_WORD>0) { if (FORMAT_ASCII>0) printout(FIRST,ASCII); if (FORMAT_HTML>0) printout(FIRST,HTML); if (FORMAT_WIKI>0) printout(FIRST,WIKI); } if(LAST_LETTERS_OF_WORD>0) { if (FORMAT_ASCII>0) printout(LAST,ASCII); if (FORMAT_HTML>0) printout(LAST,HTML); if (FORMAT_WIKI>0) printout(LAST,WIKI); } if(WORD_LENGTH>0) { if (FORMAT_ASCII>0) printout(LENGTH,ASCII); if (FORMAT_HTML>0) printout(LENGTH,HTML); if (FORMAT_WIKI>0) printout(LENGTH,WIKI); } if(WORD_FREQUENCY>0) { if(FORMAT_ASCII>0) printout(WORDS,ASCII); if(FORMAT_HTML>0) printout(WORDS,HTML); if(FORMAT_WIKI>0) printout(WORDS,WIKI); } if(start_time>0) print time_needed(); print version; } function printout(mode,format) { if(mode==FIRST) return printout2(mode,format,first); if(mode==LAST) return printout2(mode,format,last); if(mode==ALL) return printout2(mode,format,letter); if(mode==LENGTH) return printout2(mode,format,length); if(mode==WORDS) return printout2(mode,format,word); } function printout2(mode,format,A) { setup(mode); if(format==ASCII) return printoutASCII(mode,A); if(format==HTML) return printoutHTML(mode,A); if(format=WIKI) return printoutWIKI(mode,A); } function setup(mode) { _col=2; _asc=0; _colhdr="letter"; _colalign="center"; _counted="words"; _count=words; _mez=", average word length"; _mez2="letters"; if(words>0) _av=sum/words; # 単語の長さの平均値 if(mode==FIRST) { _title="First letters of a word"; return; } if(mode==LAST) { _title="Last letters of a word"; return; } if(mode==ALL) { _title="All letter"; _counted="letters"; _count=letters; return; } if(mode==LENGTH) { _title="Word length"; _col=1; _asc=1; _colhdr="length"; return; } if(mode==WORDS) { _title="Word frequencies"; _colhdr="word"; _colalign="left"; } } function printoutASCII(mode,A, i,j,B,w,s,fmt) { if(_count<1) { print "file empty"; return; } i=sillysort(A,B,_col,_asc); if(mode!=LENGTH) # 最高値 j=B[1,2] else j=getmax(B); w=asciiwidth/j; print "<" "pre>"; printf("=== %s ===\n\n",_title); if(mode==WORDS) fmt="%-20s\t%8s %s\n"; else fmt="%-6s\t%8s %s\n"; printf(fmt,_colhdr,"number","probability\n") if(mode==WORDS) fmt="%-20s\t%s %6.2f%% %s\n"; else fmt="%-6s\t%s %6.2f%% %s\n"; for(j=1; j<=i; j++) { s=B[j,1]; if(mode!=WORDS) s=toupper(s); printf(fmt, s, thou(B[j,2],8), 100.0*B[j,2]/_count, hist(B[j,2]*w)); } printf("\nEl %s %s", thou(_count,0), _counted); if(mode==LENGTH) printf("%s %0.2f %s", _mez, _av, _mez2); printf "\n</" "pre>\n\n"; } function hist(w, s) { w-=0.5; while(w-- > 0) s=s "*"; return s; } function printoutHTML(mode,A, i,j,B,w,s) { if(_count<1) { print "file empty"; return; } i=sillysort(A,B,_col,_asc); if(mode!=LENGTH) # 最高値 j=B[1,2] else j=getmax(B); w=htmlwidth/j; printf("<table border=1>\n"); printf("<tr><th colspan=4>%s</th></tr>\n",_title); printf("<tr><td align=%s>%s</td><td align=right>number</td>", _colalign, _colhdr); printf("<td align=center colspan=2>probability</td>\n"); for(j=1; j<=i; j++) { s=B[j,1]; if(mode!=WORDS) s=toupper(s); printf("<tr><td align=%s><b>%s</b></td>", _colalign, s); printf("<td align=right>%s</td>", thou(B[j,2]),0); printf("<td align=right>%0.2f%%</td>", 100.0*B[j,2]/_count); printf("<td align=left><div style=\"width:%dpx;",B[j,2]*w); printf("height:2ex;background:blue;\"> </div></td>\n"); } printf("<tr><th colspan=4>El %s %s", thou(_count,0), _counted); if(mode==LENGTH) printf("%s %0.2f %s", _mez, _av, _mez2); printf("</th></tr>\n"); printf("</table>\n\n"); } function printoutWIKI(mode,A, i,j,B,w,s) { if(_count<1) { print "file empty"; return; } i=sillysort(A,B,_col,_asc); if(mode!=LENGTH) # 最高値 j=B[1,2] else j=getmax(B); w=100.0*j/_count; w=wikiwidth/w; printf("{| class=\"wikitable\"\n"); printf("! align=center colspan=4 | %s\n",_title); printf("|-\n! align=%s | %s !! align=right | number !! align=right colspan=2 | probability\n",_colalign,_colhdr); for(j=1; j<=i; j++) { s=B[j,1]; if(mode!=WORDS) s=toupper(s); printf("|-\n| align=%s | <b>%s</b> ",_colalign,s); printf("|| align=right | %s ", thou(B[j,2],0)); printf("|| align=right | {{bartable|%0.2f|%%|%0.3f}}\n", 100.0*B[j,2]/_count, w); } printf("|-\n! colspan=4 | El %s %s", thou(_count,0), _counted); if(mode==LENGTH) printf("%s %0.2f %s", _mez, _av, _mez2); printf("\n"); printf("|}\n\n"); } function getmax(A, i,j,M) { for(i in A) { split(i, M, SUBSEP); if(M[2]==2) if(A[i]>j) j=A[i]; } return j; } function sillysort(A,B,col,asc, i,j,n,t) { for(j in A) { i++; B[i,1]=j; B[i,2]=A[j]; n=i; if (asc==0) # desc { while(n>1 && B[n,col]+0>B[n-1,col]+0) { t=B[n-1,1]; B[n-1,1]=B[n,1]; B[n,1]=t; t=B[n-1,2]; B[n-1,2]=B[n,2]; B[n,2]=t; n--; } } else # asc { while(n>1 && B[n,col]+0<B[n-1,col]+0) { t=B[n-1,1]; B[n-1,1]=B[n,1]; B[n,1]=t; t=B[n-1,2]; B[n-1,2]=B[n,2]; B[n,2]=t; n--; } } } return i; } function time_needed( h,m,s,eps) { eps=0.000001; s=systime()-start_time; m=int(s/60); s-=m*60-eps; h=int(m/60); m-=h*60-eps; return sprintf("Run time (hms): %i:%02i:%02i\n",h,m,s); } function thou(v,n, s) { s=sprintf("%d_",v); while(s~/[0-9][0-9][0-9][0-9]/) # エレガント sub(/[0-9][0-9][0-9][,_]/, ",&",s); # 興味深い sub(/_/,"",s); # エレガントでない while(length(s)<n) s=" " s; return s; } function _thou(v,n, i,j,s,t) { s=sprintf("%d",v); for(i=length(s); i>0; i--) { t=substr(s,i,1) t; if(++j%3==0) t="," t; } while(length(t)<n) t=" " t; return t; }
脚注
[編集]注釈
[編集]- ^ 米国のモールス符号は1840年代にアルフレッド・ヴェイルによって英文字の出現頻度に基づいて発明した符号であり、出現頻度の高い文字ほど短い符号が割り当てられている[18]。現代において使用されている国際モールス符号では文字の出現頻度の考慮による通信効率性が若干失われている[19]。
- ^ 発音のしやすさから、一部の地域では伝統的に "esartinulop" が使用されている[76]。
- ^ LinkedIn Patrick Hall[リンク切れ] — このサイトの執筆者は言語学者であり、Unicode に詳しい Patrick Hall とされる。
- ^ このエスペラント語の単語の出現頻度に関する結果はサイモン・エドワード・アドリアン・ペインが2012年に AWK を用いて行った分析に基づく。
出典
[編集]- ^ a b “Al-Kindi Writes the First Treatise on Cryptanalysis” (英語). 2024年3月31日時点のオリジナルよりアーカイブ。2025年3月31日閲覧。
- ^ a b Fred Williams (1992年). “Origin of the California Job Case” (英語). 2021年4月16日時点のオリジナルよりアーカイブ。2025年5月6日閲覧。
- ^ 計量国語学会 2009, p. 45.
- ^ Guinness, Harry. “The Best Starting Words to Win at Wordle” (英語). Wired. CRID 1130000793632212736. ISSN 1059-1028. NCID AA1103877X. LCCN 94-659076. OCLC 1519781539. CODEN WREDEM. オリジナルの2025-02-23時点におけるアーカイブ。 2022年2月12日閲覧。.
- ^ Samantha Graves (2024年11月25日). “Which 'Wheel of Fortune' Bonus Round Letter Picks Are Best?” (英語). collider. オリジナルの2025年3月28日時点におけるアーカイブ。 2025年3月28日閲覧。
- ^ 藤原融「暗号について」『大阪大学大型計算機センターニュース』第67巻、大阪大学、1987年、43-49頁、CRID 1130282268550183296、hdl:11094/65759、ISSN 0910-0164、NCID AN00029994、OCLC 852213694、 オリジナルの2024年9月7日時点におけるアーカイブ。
- ^ Zim, Herbert Spencer (1961) (英語). Codes & Secret Writing: Authorized Abridgement. Scholastic Book Services. OCLC 317853773
- ^ Prashant Kumar (2017). “Optimization of Key Frequency in Keyboard Using Mathematical inclusion of Design” (英語). International Journal of Advance Research and Innovative Ideas in Education (IJARIIE) 3 (5): 177-183. ISSN 2395-4396. OCLC 913056193. オリジナルの2024-07-14時点におけるアーカイブ。 .
- ^ Valdis Vitolins (2017). "Modernized Latvian Ergonomic Keyboard" (英語). arXiv:1707.03753 [cs.HC]。
- ^ “The California job case” (英語). briarpress.org. One Art Design. 2024年11月13日時点のオリジナルよりアーカイブ。2025年3月29日閲覧。
- ^ Singh, Simon (2000) (英語). The Code Book. Anchor Books. pp. 14–20. CRID 1130000793788208128. ISBN 0-385-49532-3. NCID BA68183019. OCLC 59459928
- ^ a b c Abbas 2019, p. 3.
- ^ Marsha Lynn 2005, p. 13.
- ^ Marsha Lynn 2005, p. 11.
- ^ Marsha Lynn 2005, pp. 13, 20.
- ^ Randall Noon, K. (2010). "The Long and Short of It: CW Is Really Clever Stuff" (PDF). WorldRadio Online (英語). Vol. 40, no. 6. CQ Communications. p. 40. 2024年9月9日時点のオリジナル (PDF)よりアーカイブ。2025年4月3日閲覧。
- ^ Ovidiu Calin (2020). “Statistics and Machine Learning Experiments in English and Romanian Poetry” (英語). Sci (MDPI) 2 (4): 2. doi:10.3390/sci2040092. ISSN 2413-4155. OCLC 1232529923 2025年4月22日閲覧。.
- ^ a b 安岡 2006, pp. 17–18.
- ^ Kahn, David (1967) (英語). The codebreakers : the story of secret writing. Macmillan. pp. 741-742. CRID 1130282270626959616. ISBN 0025604600. NCID BA1728674X. LCCN 63-16109. OCLC 717303
- ^ 安岡 2006, p. 37.
- ^ 田中哲朗「ハフマン符号を解く」『情報処理』第44巻第7号、情報処理学会、2003年、755-762頁、CRID 1130000793592043264、ISSN 0447-8053、NCID AN00116625、OCLC 834281607、 オリジナルの2022年5月17日時点におけるアーカイブ、2025年4月3日閲覧。
- ^ 計量国語学会 2009, pp. 238–239.
- ^ 計量国語学会 2009, pp. 238–248.
- ^ Lewend 2000, p. 37.
- ^ “British and American spelling - Oxford Dictionaries” (英語). Oxford Dictionaries - English. 2011年12月28日時点のオリジナルよりアーカイブ。2018年4月18日閲覧。
- ^ “Letter Frequencies” (英語). 2025年3月16日時点のオリジナルよりアーカイブ。2025年5月7日閲覧。
- ^ Li, Wentian; Miramontes, Pedro (2011). “Fitting ranked English and Spanish letter frequency distribution in US and Mexican presidential speeches” (英語). Journal of Quantitative Linguistics 18 (4): 359. arXiv:1103.2950. doi:10.1080/09296174.2011.608606. オリジナルの2025-07-27時点におけるアーカイブ。 2025年3月29日閲覧。.
- ^ Gamow, George; Ycas, Martynas (1955). “Statistical correlation of protein and ribonucleic acid composition” (英語). Proc. Natl. Acad. Sci. 41 (12): 1011–1019. Bibcode: 1955PNAS...41.1011G. doi:10.1073/pnas.41.12.1011. JSTOR 89096. PMC 528190. PMID 16589789 .
- ^ Gusein-Zade, S.M. (1988). “Frequency distribution of letters in the Russian language” (ロシア語). Problemy Peredachi Informatsii (Izd-vo "Nauka") 24 (4): 102–107. CRID 1130282268585569024. ISSN 0555-2923. NCID AA00009408. LCCN 68-40359. OCLC 5696571. CODEN PPDIA5.
- ^ Bauer, Friedrich L. (2006) (英語). Decrypted Secrets: Methods and maxims of cryptology. Springer. p. 57. doi:10.1007/978-3-540-48121-8. ISBN 9783540481218. OCLC 990533529
- ^ Goebel, Greg (2009) (英語). The Rise Of Field Ciphers: straddling checkerboard ciphers. オリジナルの2005年12月5日時点におけるアーカイブ。
- ^ Rijmenants, Dirk. “One-time Pad” (英語). 2025年3月8日時点のオリジナルよりアーカイブ。2025年3月16日閲覧。
- ^ a b Chikamatsu 2000, p. 499.
- ^ a b 野崎浩成、横山詔一、磯本征雄、米田純子「文字使用に関する計量的研究 : 日本語教育支援の観点から」『日本教育工学雑誌』第20巻第3号、日本教育工学会、1996年、141-149頁、CRID 1390001204489626880、doi:10.15077/jmet.20.3_141、ISSN 0385-5236、NAID