韓国語学習者コーパスについて（概要）

韓国・国立国語院が構築，公開している「한국어 학습자 말뭉치」（韓国語学習者コーパス）について，概要をまとめてみました． 集計やグラフの描画，検定などについてはR（4.2.1）を用いています．

2022年6月に한국어 학습자 말뭉치 나눔터から取得したデータについて，サンプル情報ファイル「2015~2021 학습자 말뭉치 표본 정보(공개 표본 파일명 부착)_20220420(최종공개용).xlsx」の内容を適宜まとめた．

以下では「원시 말뭉치」（原文コーパス）のデータについて扱う．サンプルの総数は34342項目である．

「자료 유형」を基にした集計を行う．以下は全データの基本統計量．

データ類型ごとに，学習レベル別の集計を行う．

いずれも分位数95%を上限として，外れ値を除いて¹⁾可視化．「6級以上」「情報なし」も除外．

データ類型ごとに，学習レベル別の平均文節数に有意な差があるか，確認してみる．

## 
##  Lilliefors (Kolmogorov-Smirnov) normality test
## 
## data:  aov_df$어절
## D = 0.23714, p-value < 2.2e-16

Lilliefors検定の結果，文節数は正規性を持たないため，クラスカル・ウォリスの検定を行う．

## 
##  Kruskal-Wallis rank sum test
## 
## data:  aov_df$어절 and aov_df$`한국어 등급`
## Kruskal-Wallis chi-squared = 13966, df = 7, p-value < 2.2e-16

p<0.05であるので，各学習レベルごとに，平均文節数に有意な差が見られると言える．

次に，どのレベルとの間で有意な差が見られるのか，Bonferroniの方法によって多重比較を行った：

## 
##  Pairwise comparisons using t tests with pooled SD 
## 
## data:  aov_df$어절 and aov_df$`한국어 등급` 
## 
##           1급     2급     3급     4급     5급     6급     6급 이상
## 2급       < 2e-16 -       -       -       -       -       -       
## 3급       < 2e-16 < 2e-16 -       -       -       -       -       
## 4급       < 2e-16 < 2e-16 1.5e-07 -       -       -       -       
## 5급       < 2e-16 < 2e-16 < 2e-16 < 2e-16 -       -       -       
## 6급       < 2e-16 < 2e-16 < 2e-16 < 2e-16 0.013   -       -       
## 6급 이상  < 2e-16 < 2e-16 < 2e-16 < 2e-16 < 2e-16 < 2e-16 -       
## 정보 없음 < 2e-16 7.5e-14 1.6e-08 3.6e-06 0.022   0.209   < 2e-16 
## 
## P value adjustment method: bonferroni

多重比較の結果，1級～6級以上までは，それぞれの級の間で平均文節数に有意な差が見られ，学習レベルが上がるに連れて，平均文節数が増えていることが分かる．ただし，6級と「情報なし」では有意な差が見られなかった．

## 
##  Lilliefors (Kolmogorov-Smirnov) normality test
## 
## data:  aov_df$어절
## D = 0.13851, p-value < 2.2e-16

Lilliefors検定の結果，文節数は正規性を持たないため，クラスカル・ウォリスの検定を行う．

## 
##  Kruskal-Wallis rank sum test
## 
## data:  aov_df$어절 and aov_df$`한국어 등급`
## Kruskal-Wallis chi-squared = 381.94, df = 7, p-value < 2.2e-16

文語データの場合と同様，p<0.05であるので，各学習レベルごとに，平均文節数に有意な差が見られると言える．

次に，Bonferroniの方法によって多重比較を行った：

## 
##  Pairwise comparisons using t tests with pooled SD 
## 
## data:  aov_df$어절 and aov_df$`한국어 등급` 
## 
##           1급     2급     3급     4급     5급     6급     6급 이상
## 2급       7.4e-10 -       -       -       -       -       -       
## 3급       < 2e-16 1.3e-07 -       -       -       -       -       
## 4급       1.5e-09 1.000   4.9e-06 -       -       -       -       
## 5급       4.8e-15 0.020   1.000   0.066   -       -       -       
## 6급       < 2e-16 3.7e-06 1.000   2.0e-05 1.000   -       -       
## 6급 이상  < 2e-16 < 2e-16 < 2e-16 < 2e-16 < 2e-16 < 2e-16 -       
## 정보 없음 4.2e-05 1.000   1.000   1.000   1.000   0.384   < 2e-16 
## 
## P value adjustment method: bonferroni

多重比較の結果，1級から3級まではレベルが上がるに連れて，平均文節数が有意に増えていると言える．しかし，3級と4級とでは有意な差が見られるものの，4級で平均文節数が減少しており，3級よりも4級のほうが有意に少ない平均文節数となっている．また，2級と4級とではその差が有意であるとは言えない．なお，3級の平均文節数がレベルの割に多いことは，3級―5級，3級―6級とでそれぞれ有意な差が見られない点からも分かる．

結論として，口語データの場合，1級から3級までは学習レベルが上がるに連れて平均文節数が増えると言えるが，4級以降，3級に比べると平均文節数が有意に増えるとは言えないことが分かった．

「모국어」を基にした集計を行う．以下はデータ類型を区別しない，母語別の基本統計量．

データ類型を区別しない場合，サンプル数の上位5項目は中国語，日本語，ベトナム語，英語，広東語であった．文節数では中国語，日本語，ベトナム語，タイ語，英語となった．中でもタイ語の平均文節数（325.97文節）は，他の4言語（130.98～167.90文節）を大きく上回っており，1サンプル当たりの分量が多いことが分かる．なお，タイ語については標準偏差も他より大きく，サンプルごとに文節数のばらつきが大きいと言える．

文語データを見ると，文節数上位の10言語（中国語，日本語，ベトナム語，英語，広東語，ロシア語，タイ語，モンゴル語，スペイン語，インドネシア語）の間で平均文節数に大きな差は見られない（ベトナム語105.05文節～タイ語128.21文節）．中国語の文節数が桁違いに多いが，サンプル数が多いためで，平均文節数もやや多い程度．ただし，標準偏差は他よりも大きく（159.16），最小5文節～最大5782文節と，文節数の幅がかなりある．

反対に，文語データでばらつきが少ないのはモンゴル語（標準偏差43.63），スペイン語（53.01），広東語（53.12），日本語（58.59）などであった．

口語データについては，文節数上位の10言語（中国語，タイ語，ベトナム語，日本語，スペイン語，ロシア語，インドネシア語，英語，タガログ語，シンハラ語）の間で平均文節数に大きな開きがある（ロシア語369.53文節～タイ語664.35文節）． タイ語について，文語データでは第7位だった文節数が，口語データでは2位となっており，口語データがかなり多い．

文語データ，口語データのそれぞれについて，各々文節数の上位10言語の文節数分布を箱ひげ図で表した．

分位数95%を上限として，外れ値を除いて可視化．

全ての言語についてレベルごとの基本統計量を算出するのは冗長であるため，文節数上位5言語の各レベルに限って，基本統計量を算出した．データ類型は文語・口語いずれも含む．

デフォルトでは，合計数の降順に示した．

合計数の降順に示した．

文語データ・口語データを含めた文節数合計の上位5言語について，箱ひげ図で分布を確認する．ただし，いずれも「6급 이상」および「정보 없음」はサンプル数が他のレベルに比べ少ないため，図からは除外した．