Teori estimasi Maksimum Likelihood Estimation (MLE) adalah salah satu pendekatan yang paling umum dan kuat dalam statistik untuk memperkirakan parameter dari model probabilitas. MLE digunakan untuk menentukan nilai parameter yang paling mungkin menjelaskan serangkaian data observasi. Konsep ini sangat penting dalam berbagai bidang, termasuk pembelajaran mesin, ekonomi, dan bioinformatika. Artikel ini akan membahas konsep dasar dari estimasi maksimum likelihood, metode perhitungannya, serta aplikasinya dalam kehidupan nyata.

1. Pengantar Estimasi Maksimum Likelihood

Estimasi maksimum likelihood (MLE) adalah metode yang berusaha menemukan nilai parameter yang memaksimalkan likelihood dari model probabilistik, yaitu probabilitas mengamati data yang ada, diberikan model dan parameter yang diestimasi. Secara formal, jika kita memiliki sekumpulan data observasi x1,x2,…,xnx_1, x_2, …, x_nx1​,x2​,…,xn​ yang dihasilkan oleh distribusi probabilitas dengan fungsi kepadatan probabilitas f(x∣θ)f(x | \theta)f(x∣θ), di mana θ\thetaθ adalah parameter model yang ingin kita estimasi, maka likelihood L(θ)L(\theta)L(θ) adalah: L(θ)=f(x1,x2,…,xn∣θ)=∏i=1nf(xi∣θ)L(\theta) = f(x_1, x_2, …, x_n | \theta) = \prod_{i=1}^{n} f(x_i | \theta)L(θ)=f(x1​,x2​,…,xn​∣θ)=i=1∏n​f(xi​∣θ)

MLE kemudian bertujuan untuk menemukan nilai θ\thetaθ yang memaksimalkan likelihood tersebut.

2. Proses Maksimum Likelihood

Proses estimasi maksimum likelihood dapat dijelaskan dalam beberapa langkah sederhana:

1. Menentukan Fungsi Likelihood: Fungsi likelihood dibangun berdasarkan model probabilistik yang digunakan. Ini adalah fungsi dari parameter model, di mana nilai dari fungsi ini adalah probabilitas observasi data yang terjadi.
2. Mengambil Log Likelihood: Dalam praktiknya, lebih mudah untuk bekerja dengan logaritma dari fungsi likelihood (log-likelihood) karena sifatnya yang linier dan lebih mudah untuk dihitung:log⁡L(θ)=∑i=1nlog⁡f(xi∣θ)\log L(\theta) = \sum_{i=1}^{n} \log f(x_i | \theta)logL(θ)=i=1∑n​logf(xi​∣θ)
3. Menghitung Turunan: Untuk memaksimalkan log-likelihood, kita menghitung turunan dari log-likelihood terhadap parameter θ\thetaθ dan menyamakannya dengan nol untuk mencari nilai maksimum (atau kondisi stasioner):ddθlog⁡L(θ)=0\frac{d}{d\theta} \log L(\theta) = 0dθd​logL(θ)=0
4. Mengevaluasi Estimasi: Nilai θ\thetaθ yang diperoleh dari penyelesaian turunan ini adalah estimasi maksimum likelihood untuk parameter tersebut.

3. Contoh Estimasi Maksimum Likelihood pada Distribusi Normal

Sebagai contoh sederhana, kita akan melihat estimasi parameter menggunakan distribusi normal. Misalkan kita memiliki data x1,x2,…,xnx_1, x_2, …, x_nx1​,x2​,…,xn​ yang diasumsikan diambil dari distribusi normal dengan parameter μ\muμ (rata-rata) dan σ2\sigma^2σ2 (varians). Fungsi likelihood untuk distribusi normal adalah:L(μ,σ2)=∏i=1n12πσ2exp⁡(−(xi−μ)22σ2)L(\mu, \sigma^2) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi \sigma^2}} \exp \left( -\frac{(x_i – \mu)^2}{2\sigma^2} \right)L(μ,σ2)=i=1∏n​2πσ2​1​exp(−2σ2(xi​−μ)2​)

Log-likelihoodnya:log⁡L(μ,σ2)=−n2log⁡(2πσ2)−12σ2∑i=1n(xi−μ)2\log L(\mu, \sigma^2) = -\frac{n}{2} \log(2\pi \sigma^2) – \frac{1}{2\sigma^2} \sum_{i=1}^{n} (x_i – \mu)^2logL(μ,σ2)=−2n​log(2πσ2)−2σ21​i=1∑n​(xi​−μ)2

Dengan menyelesaikan turunan log-likelihood ini terhadap μ\muμ dan σ2\sigma^2σ2, kita bisa mendapatkan estimasi μ\muμ dan σ2\sigma^2σ2, yang secara sederhana adalah rata-rata dan varians sampel:μ^=1n∑i=1nxi\hat{\mu} = \frac{1}{n} \sum_{i=1}^{n} x_iμ^​=n1​i=1∑n​xi​ σ^2=1n∑i=1n(xi−μ^)2\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i – \hat{\mu})^2σ^2=n1​i=1∑n​(xi​−μ^​)2

4. Aplikasi dalam Kehidupan Nyata

Estimasi maksimum likelihood digunakan secara luas di berbagai bidang untuk membangun model yang sesuai dengan data. Berikut adalah beberapa aplikasi penting MLE:

• Pembelajaran Mesin: Dalam konteks pembelajaran mesin, MLE digunakan untuk melatih model probabilistik, seperti regresi logistik dan naive Bayes. Dalam jaringan saraf, metode MLE juga digunakan untuk mengoptimalkan parameter melalui algoritma backpropagation.
• Ekonometrika: MLE sering digunakan untuk memperkirakan model ekonometrik yang kompleks, seperti regresi dengan distribusi error non-normal atau model heteroskedastik. Contoh penggunaannya dalam ekonomi meliputi pemodelan volatilitas pasar saham.
• Genetika dan Bioinformatika: Dalam analisis urutan DNA dan RNA, MLE digunakan untuk memperkirakan model evolusi dan pola mutasi genetik.
• Fisik Statistik: Dalam fisika statistik, MLE digunakan untuk memperkirakan parameter dalam model distribusi energi atau distribusi kecepatan molekul dalam sistem termodinamika.

5. Keunggulan dan Keterbatasan

Keunggulan MLE adalah sifatnya yang konsisten dan efisien; artinya, dengan bertambahnya jumlah data, estimasi MLE cenderung mendekati parameter sebenarnya. Selain itu, MLE adalah metode yang fleksibel dan dapat diterapkan pada berbagai model probabilistik.

Namun, keterbatasan MLE termasuk kesulitan dalam menangani data dengan outlier atau distribusi yang tidak diketahui. Selain itu, untuk model yang sangat kompleks, solusi MLE bisa menjadi sulit ditemukan secara komputasional, terutama jika terdapat banyak parameter yang harus diestimasi.

Kesimpulan

Estimasi maksimum likelihood adalah metode yang kuat dan fleksibel dalam memperkirakan parameter model probabilistik dari data observasi. Dengan penggunaan yang luas dalam pembelajaran mesin, ekonometrika, dan bioinformatika, MLE telah menjadi alat dasar dalam analisis statistik modern. Meskipun metode ini memiliki beberapa keterbatasan, sifatnya yang konsisten dan efisien menjadikannya pilihan yang sangat berguna dalam berbagai aplikasi ilmiah dan praktis.

Sumber : Casella, G., & Berger, R. L. (2002). Statistical Inference (2nd ed.). Duxbury.