不偏推定量, 一致推定量, 最尤推定量 問題1 解答

熊本大学 数理科学総合教育

不偏推定量 , ^{一致推定量} , ^{最尤推定量 問題} 1 ^解答

母集団A 無作為標本 X₁, X₂, . . . , X_n , 実現値 x₁, x₂, . . . x_n . 母集団 A 母集団分布 母数θ 含 確率密度関数 f(x;θ) ,

L(θ) = f(x₁;θ)f(x₂;θ)· · ·f(x_n;θ) =

∏n

i=1

f(x_i;θ)

尤度関数 . 母集団分布 離散確率分布 場合 , 確率関数 使 尤度関数 L(θ) =

∏n

i=1

P(X_i =x_i) 定義 .

尤度関数 L(θ) 値 最大 θ 値 θ = ˆθ(x₁, x₂, . . . , x_n) 最尤推定値 ,

実現値 確率変数 置 換 θ(Xˆ ₁, X₂, . . . , X_n) 最尤推定量 . 確率密度関数

f(x;θ1, θ2, . . . , θm) ,母数 複数 場合,m 変数関数 尤度関数 L(θ1, θ2, . . . , θm) 最大 (θ₁, θ₂, . . . , θ_m) 値 最尤推定値 .

最尤推定値 求 ,尤度関数 L(θ) 代 自然対数 対数尤度関数

l(θ) = logL(θ) 最大値 求 多 . 場合 θ 関 偏導関数 ∂l(θ)

∂θ 使

対数尤度関数 増減 調 方法 用 .

母集団A 無作為標本 X₁, X₂, . . . , X_n , 実現値 x₁, x₂, . . . x_n . 1 母集団 A 母集団分布 正規分布N(µ, σ²), 確率密度関数

f(x;µ, σ²) = 1

√2πσ²e^{−(x2σ−µ)22} , 母平均 µ 母分散 σ² 最尤推定量 求 .

[解]: 混乱 避 ,θ =σ² . 尤度関数 L(µ, θ)

L(µ, θ) =

∏n

i=1

f(x_i;µ, θ) = 2π⁻ⁿ²θ⁻ⁿ²e^{−2θ1 ∑ni=1(xi−µ)2}. 両辺 自然対数 対数尤度関数l(µ, θ) 求 ,

l(µ, θ) = logL(µ, θ) = −n

2 log(2π)−n

2 logθ− 1 2θ

∑n

i=1

(x_i−µ)².

最尤推定量 求 , 対数尤度関数l(µ, θ) 2変数関数 最大値 (µ, θ)

値 求 . θ 固定 ,l(µ, θ) µ 関 1変数関数 ,極値 点

求 . 極値 点 , 方程式 0 = ∂

∂µl(µ, θ) = 1 σ²

∑n

i=1

(x_i−µ) = 1 θ

(

−nµ+

∑n

i=1

x_i )

満 . µ 標本平均 等 , µ=x l(µ, θ) 極値

取 . θ >0 注意 , µ < x ∂l(µ, θ)

∂µ >0 µ > x 1

熊本大学 数理科学総合教育

∂l(µ, θ)

∂µ <0 , µ=x l(µ, θ) 最大値 取 . 以上 話 θ 値 依存

, µ 最尤推定量 X .

次 対数尤度関数 µ=x 代入 ,l(x, θ) θ 1変数関数 極値 求 . 極 値 点 方程式

0 = ∂

∂θl(x, θ) =− n 2θ + 1

2θ²

∑n

i=1

(x_i−x)². 満 . θ 標本分散 等 , θ= _n¹∑n

i=1(x_i−x)² =s² , l(x, θ) 極値 取 . ∂l(x, θ)

∂θ 正負 調 ,尤度関数 θ=s² 最大値

取 . , σ² 最尤推定量 S² .

以上 , 母平均 母分散µ, σ² 最尤推定量 X, S² . 2 母集団 A 母集団分布 指数分布 Ex(λ), 確率密度関数

f(x;λ) =λe^−λx (λ >0;x≥0) , 母数λ 最尤推定量 求 .

[解]: 尤度関数 L(λ)

L(λ) =

∏n

i=1

f(x_i;λ) = λⁿe^{−λ∑ni=1xi}. 両辺 自然対数 対数尤度関数l(λ) 求 ,

l(λ) = logL(λ) = nlogλ−λ

∑n

i=1

x_i.

対数尤度関数l(λ) 母数λ 1変数関数 極値 求 . 極値 点 方程式 0 = ∂

∂λl(λ) = n λ −

∑n

i=1

x_i.

満 . λ = x⁻¹ 尤度関数 極値 取 . , λ < x⁻¹

∂l(λ)

∂λ >0 λ > x⁻¹ ∂l(λ)

∂λ <0 ,λ =x⁻¹ 尤度関数 最大値 取 . ,λ 最尤推定量 X⁻¹ .

3 母集団 A 母集団分布 分布 P o(λ), 確率関数 P(X =k) = λ^ke^−λ

k! (λ >0;k= 0,1,2, . . .) , 母数λ 最尤推定量 求 .

[解]: 尤度関数 L(λ)

L(λ) =

∏n

i=1

P(X_i =x_i) = λ^∑ni=1xie^−nλ

∏_n

i=1x_i! . 2

熊本大学 数理科学総合教育

両辺 自然対数 対数尤度関数l(λ) 求 , l(λ) = logL(λ) =

( _n

∑

i=1

x_i )

logλ−nλ−

∑n

i=1

logx_i!.

対数尤度関数l(λ) 母数λ 1変数関数 極値 求 . 極値 点 方程式 0 = ∂

∂λl(λ) =

∑_n

i=1x_i

λ −n

満 . λ =x l(λ) 極値 取 . , λ < x ∂l(λ)

∂λ > 0 λ > x ∂l(λ)

∂λ <0 , λ =x l(λ) 最大値 取 . ,

λ 最尤推定量 X .

4 母集団 A 母集団分布 二項分布 B(m, p), 確率関数 P(X =k) =

(m k

)

p^k(1−p)^m−k (0< p < 1;k = 0,1,2, . . . , m) , m 既知 母数p 最尤推定量 求 .

[解]: 尤度関数 L(p) L(p) =

∏n

i=1

P(Xi =xi) =p^∑ni=1xi(1−p)^{nm−∑ni=1xi}

∏n

i=1

(m x_i

) .

値 m 既知 , L(p) p 関 1変数関数 . 両辺 自然対数 対数尤度関数 l(p) 求 ,

l(p) = logL(p) = ( _n

∑

i=1

x_i )

logp+ (

nm−

∑n

i=1

x_i )

log(1−p) +

∑n

i=1

log (m

x_i )

.

l(p) 極値 点 方程式

0 = ∂

∂pl(p) =

∑_n

i=1x_i

p − nm−∑_n

i=1x_i

1−p = −nmp+∑_n

i=1x_i p(1−p)

満 . p = m⁻¹x l(p) 極値 取 . , 0 < p < m⁻¹x

∂l(p)

∂p >0 m⁻¹x < p <1 ∂l(p)

∂p <0 , p=m⁻¹x l(p) 最

大値 取 . , p 最尤推定量 m⁻¹X . 5 母集団 A 母集団分布 対数正規分布, 確率密度関数

f(x;µ, σ²) = 1

√2πσ²xe^{−(log2σx−µ)22} (x >0) , 母数µ, σ² 最尤推定量 求 .

[解]: 混乱 避 ,θ =σ² . 尤度関数 L(µ, θ)

L(µ, θ) =

∏n

i=1

f(xi;µ, θ) = 2π⁻ⁿ²θ⁻ⁿ²e^{−2θ1 ∑ni=1(logxi−µ)2}

∏n

i=1

x⁻_i ¹.

3

熊本大学 数理科学総合教育

両辺 自然対数 対数尤度関数l(µ, θ) 求 , l(µ, θ) = logL(µ, θ) =−n

2log(2π)− n

2 logθ− 1 2θ

∑n

i=1

(logx_i −µ)²−

∑n

i=1

x_i.

θ 固定 ,l(µ, θ) µ 関 1変数関数 ,極値 点 求 . l(µ, θ)

極値 点 方程式

0 = ∂

∂µl(µ, θ) = 1 θ

∑n

i=1

(logx_i−µ) = 1 θ

(

−nµ+

∑n

i=1

logx_i )

満 . µ= _n¹ ∑n

i=1logx_i l(µ, θ) 極値 取 . ∂l(µ, θ)

∂µ 正負 調

, µ= ¹_n∑_n

i=1logxi l(µ, θ) 最大値 取 . 以上 話 θ 値 依存

,µ 最尤推定量 ¹

n

∑_n

i=1logX_i .

次 対数尤度関数l(µ, θ) µ 値µˆ= _n¹ ∑_n

i=1logx_i 代入 ,l(ˆµ, θ) θ 1変数関 数 極値 求 . 極値 点 方程式

0 = ∂

∂θl(ˆµ, θ) =−n 2θ + 1

2θ²

∑n

i=1

(logx_i−µ)ˆ ² = −nθ+∑n

i=1(logxi−µ)ˆ ² 2θ²

満 . θ = _n¹ ∑_n

i=1(logx_i −µ)ˆ ² , l(ˆµ, θ) 極値 取 . ∂l(ˆµ, θ) 正負 調 , 最大値 取 . ∂θ

以上 , 母数µ, σ² 最尤推定量 ˆ

µ= 1 n

∑n

i=1

logX_i, σˆ² = 1 n

∑n

i=1

(logX_i−µ)ˆ ² .

4