当前位置: 首页 > news >正文

矩估计与最大似然估计的通俗理解

点估计与区间估计

矩估计与最大似然估计都属于点估计,也就是估计出来的结果是一个具体的值。对比区间估计,通过样本得出的估计值是一个范围区间。例如估计馒头店每天卖出的馒头个数,点估计就是最终直接估计每天卖出10个,而区间估计是最终估计的结果是每天卖出7到12个。

矩估计

矩估计就是直接用样本替代总体,所以样本均值 x ‾ \overline{x} x等于总体均值 E ( x ) E(x) E(x),样本平方的均值 x 2 ‾ \overline{x^2} x2等于总体均值 E ( x 2 ) E(x^2) E(x2)
例如要估计馒头店每天卖出的馒头个数,我们可以记录30天卖出的馒头数量并除以30平均得到一天卖出的馒头数量并作为估计结果。所以矩估计非常简单易懂,但是受到取样和异常值的影响也比较大。

利用数学语言描述如下:
A k A_{k} Ak x x x k k k阶原点矩。
A k = 1 n ∑ i = 1 n x i k A_{k} = \dfrac{1}{n}\sum_{i=1}^{n}x_{i}^{k} Ak=n1i=1nxik

期望估计(一阶原点矩)
A 1 = E ( x ) = x ‾ A_{1} = E(x) = \overline{x} A1=E(x)=x

方差估计(二阶原点距)
A 2 = E ( x 2 ) = D ( x ) + [ E ( x ) ] 2 A_{2} = E(x^{2}) = D(x) + \left[E(x)\right]^{2} A2=E(x2)=D(x)+[E(x)]2
在实际应用中可以通过样本算出样本的一阶矩和二阶矩,从而得到方差的估计值
D ( x ) = x 2 ‾ − ( x ‾ ) 2 D(x)=\overline{x^2}-(\overline{x})^2 D(x)=x2(x)2

最大似然估计

最大似然估计认为我们既然已经抽取得到了样本结果,那么就认为这个样本结果就是所有情况、所有样本结果中出现概率最大的那一个。考虑到这个样本中每次的取样都是独立同分布的,所以将每一个取值对应的概率相乘就是这一个样本结果出现的概率(也就是似然函数),那么只要让这一个结果出现的概率(似然函数)最大就可以估算出每个值对应的概率
例如要估计馒头店每天卖出的馒头个数是否大于5,最大似然估计就是抽出10天卖出的馒头数,假设现在抽出的结果中有7天是卖出超过了5个馒头,有3天是卖出了少于5馒头,那么直觉告诉我们馒头店每天卖出的馒头个数大于5的概率很大可能为0.7,这样才最可能出现我们现在得到的抽样结果。

所以最大似然估计的一般步骤为:

  1. 写出似然函数(也就是样本结果出现的概率)。对于离散型变量是将对应概率相乘,连续型变量就是概率密度函数相乘。分别有:
    离散型:
    L ( θ ) = ∏ i = 1 n P θ ( X i = x i ) L(\theta)=\prod \limits_{i=1}^n P_\theta(X_i=x_i) L(θ)=i=1nPθ(Xi=xi)
    连续型:
    L ( θ ) = ∏ i = 1 n f ( x i ) L(\theta)=\prod \limits_{i=1}^n f(x_i) L(θ)=i=1nf(xi)
  2. 求似然函数最大时的 θ \theta θ的值。一般为了简化计算,首先对等式两边取对数,将相乘改为相加减,然后对 θ \theta θ求导,求得导数为0时 θ ^ \hat \theta θ^的取值即为最大似然估计值

最大似然估计(MLE)是用来解决“模型已定,参数未知”的问题,在一元线性回归,逻辑回归等众多模型中都会涉及到

实际应用

假设总体 X X X的概率分布为
在这里插入图片描述
其中 θ ( 0 < θ < 1 2 ) \theta(0<\theta<\frac{1}{2}) θ0<θ<21是未知参数,利用总体 X X X的如下样本值1,2,1,0,1,0,1,2,1,2,求 θ \theta θ的矩估计与最大似然估计值。

矩估计:
E ( X ) = ( θ 2 ) × 0 + 2 θ ( 1 − θ ) × 1 + ( 1 − θ ) 2 × 2 = 2 − 2 θ E(X)=(\theta^2) \times 0+2\theta(1-\theta) \times 1 +(1-\theta)^2 \times 2=2-2\theta E(X)=(θ2)×0+2θ(1θ)×1+(1θ)2×2=22θ
样本均值 X ‾ = 11 10 样本均值 \overline X=\frac{11}{10} 样本均值X=1011
根据 E ( X ) = X ‾ E(X)=\overline X E(X)=X可解得 θ ^ = 9 20 \hat \theta=\frac{9}{20} θ^=209

最大似然估计:
设似然函数为 L ( θ ) L(\theta) L(θ),根据样本有2个0值,5个1值,3个2,则有:
L ( θ ) = ( θ 2 ) 2 [ 2 θ ( 1 − θ ) ] 5 ( 1 − θ ) 6 = 2 5 θ 9 ( 1 − θ ) 11 L(\theta)=(\theta^2)^2[2\theta(1-\theta)]^5(1-\theta)^6=2^5\theta^9(1-\theta)^{11} L(θ)=(θ2)2[2θ(1θ)]5(1θ)6=25θ9(1θ)11
对式子两边取对数,有:
l n L ( θ ) = 5 l n 2 + 9 l n θ + 11 l n ( 1 − θ ) ln L(\theta)=5ln2+9ln\theta+11ln(1-\theta) lnL(θ)=5ln2+9lnθ+11ln(1θ)
θ \theta θ求导并令导数为0,有:
d [ l n L ( θ ) ] d θ = 9 θ − 11 ( 1 − θ ) = 0 \frac{d[lnL(\theta)]}{d\theta}=\frac{9}{\theta}-\frac{11}{(1-\theta)}=0 dθd[lnL(θ)]=θ9(1θ)11=0
θ ^ = 9 20 \hat \theta=\frac{9}{20} θ^=209

在本例中,矩估计和最大似然估计的值求出来时一致的,有的情况下两种办法求出来的估计值并不一致

相关文章:

矩估计与最大似然估计的通俗理解

点估计与区间估计 矩估计与最大似然估计都属于点估计&#xff0c;也就是估计出来的结果是一个具体的值。对比区间估计&#xff0c;通过样本得出的估计值是一个范围区间。例如估计馒头店每天卖出的馒头个数&#xff0c;点估计就是最终直接估计每天卖出10个&#xff0c;而区间估…...

性能调优本质:如何精准定位瓶颈并实现系统极致优化

目录 先入为主的反例 性能调优的本质 性能调优实操案例 性能调优相关文章 先入为主的反例 在典型的 ETL 场景中,我们经常需要对数据进行各式各样的转换,有的时候,因为业务需求太复杂,我们往往还需要自定义 UDF(User Defined Functions)来实现特定的转换逻辑。 但是…...

Git的命令

git add . 添加到暂存区 git commit -m 备注 提交 git branch 查看所有分支 git branch -d 分支名 删除分支 git push origin --delete 分支名 远程分支删除 git branch -a 查看删除后的分支 git clone 地址 例如https://gitee.com/whale456/demo.git git push origin m…...

WPF中使用定时器更新元素-DispatcherTimer

在WPF中使用定时器来更新UI元素是一种常见且有用的做法&#xff0c;特别是当你需要基于时间间隔来刷新数据或执行某些操作时。DispatcherTimer是WPF中用于在UI线程上执行周期性任务的理想选择&#xff0c;因为它确保了对UI元素的更新是线程安全的 例子程序 每隔0.5s 界面中的…...

计算机网络 - 理解HTTP与HTTPS协议的关键区别与安全性

作者&#xff1a;逍遥Sean 简介&#xff1a;一个主修Java的Web网站\游戏服务器后端开发者 主页&#xff1a;https://blog.csdn.net/Ureliable 觉得博主文章不错的话&#xff0c;可以三连支持一下~ 如有疑问和建议&#xff0c;请私信或评论留言&#xff01; 前言 在今天的互联网…...

【Spring Framework】使用XML配置文件配置Bean的实例化方式

在 Spring Framework 中&#xff0c;实例化 bean 的方式非常灵活&#xff0c;允许开发人员根据需求选择不同的方法。以下是几种常见的实例化 bean 的方式及其示例&#xff1a; 1. 通过无参构造函数实例化 这是最常见的方式&#xff0c;Spring 会使用 bean 的默认无参构造函数…...

模拟电子技术-实验四 二极管电路仿真

实验四 二极管电路仿真 一&#xff0e;实验类型 验证性实验 二&#xff0e;实验目的 1、验证二极管的单向导电性 2、验证二极管的稳压特性。 三&#xff0e;实验原理 二极管的单向导电性&#xff1a; 四、实验内容 1、二极管参数测试仿真实验 1&#xff09;仪表仿真…...

Git 子仓(Git Submodule)学习

Git 子仓学习 Git 子仓&#xff08;Submodule&#xff09;是 Git 提供的一种功能&#xff0c;用于在一个 Git 仓库&#xff08;称为主仓库或 superproject&#xff09;中嵌入另一个 Git 仓库&#xff08;称为子仓或 submodule&#xff09;。这种功能在管理大型项目或依赖关系较…...

JavaSE基础 (认识String类)

一&#xff0c;什么是String类 在C语言中已经涉及到字符串了&#xff0c;但是在C语言中要表示字符串只能使用字符数组或者字符指针&#xff0c;可以使用标准库提 供的字符串系列函数完成大部分操作&#xff0c;但是这种将数据和操作数据方法分离开的方式不符合面相对象的思想&…...

学习大数据DAY25 Shell脚本的书写2与Shell工具的使用

目录 自定义函数 递归-自己调用自己 上机练习 12 Shell 工具 sort sed awk 上机练习 13 自定义函数 name(){ action; } function name { Action; } name 因为 shell 脚本是从上到下逐行运行&#xff0c;不会像其它语言一样先编译&#xff0c;所以函数必 须在调…...

Java学习Day19:基础篇9

包 final 权限修饰符 空着不写是default&#xff01; 代码块 1.静态代码块 1.静态代码块优于空参构造方法 2.静态调用只被加载一次&#xff1b; 静态代码块在Java中是一个重要的特性&#xff0c;它主要用于类的初始化操作&#xff0c;并且随着类的加载而执行&#xff0c;且只…...

如何撤销git add ,git commit 的提交记录

一、撤销git commit ,但是没有push到远程的记录 git reset --hard HEAD~1 销最近的一次提交&#xff0c;并且丢弃所有未提交的更改 二、撤销git add ,但是没有提交到本地仓库的记录 git reset 三、原理 Git 工作流程的简要说明&#xff1a; 工作目录&#xff08;Working …...

Postman环境变量的高级应用:复杂条件逻辑的实现

Postman环境变量的高级应用&#xff1a;复杂条件逻辑的实现 在Postman中&#xff0c;环境变量是管理和定制API请求的强大工具。通过使用环境变量&#xff0c;可以轻松地在不同环境之间切换&#xff0c;如开发、测试和生产环境。然而&#xff0c;环境变量的真正威力在于它们能够…...

AI问答-供应链管理:理解医疗耗材供应链SPD板块

医疗耗材供应链SPD板块是一个专注于医用耗材供应链管理的关键领域&#xff0c;它融合了供应链管理理论、物流信息技术以及环节专业化管理手段&#xff0c;旨在保证院内医用耗材的质量安全、满足临床需求&#xff0c;并提升医院的整体运营效率。以下是对医疗耗材供应链SPD板块的…...

科普文:分布式数据一致性协议Paxos

1 什么是Paxos Paxos协议其实说的就是Paxos算法, Paxos算法是基于消息传递且具有高度容错特性的一致性算 法&#xff0c;是目前公认的解决分布式一致性问题最有效的算法之一。 Paxos由 莱斯利兰伯特(Leslie Lamport)于1998年在《The Part-Time Parliament》论文中首次公 开&…...

Vue3 + js-echarts 实现前端大屏可视化

1、前言 此文章作为本人大屏可视化项目的入门学习笔记&#xff0c;以此作为记录&#xff0c;记录一下我的大屏适配解决方案&#xff0c;本项目是基于vite Vue3 js less 实现的&#xff0c;首先看ui&#xff0c;ui是网上随便找的&#xff0c;代码是自己实现的&#xff0c;后面…...

知乎信息流广告怎么投?一文读懂知乎广告开户及投放!

作为中国领先的问答社区&#xff0c;知乎以其高质量的内容和活跃的用户群体成为了众多品牌青睐的营销阵地。为了帮助企业更高效地利用知乎平台进行品牌推广&#xff0c;云衔科技提供了全方位的知乎广告开户及代运营服务&#xff0c;助力您的品牌在知乎上实现快速增长。 一、知…...

TikTok达人合作:AI与大数据如何提升跨境电商营销效果

在当今数字时代&#xff0c;跨境电商与TikTok达人的合作已成为推动品牌增长和市场拓展的重要力量。随着AI、大数据等先进技术的不断发展和应用&#xff0c;这种合作模式正变得更加高效和精准。本文Nox聚星将和大家探讨在TikTok达人合作中&#xff0c;AI、大数据等技术的具体运用…...

win11管理员账户为啥不能改?win11怎么更改管理员账户名称?

文章目录 亲测有效&#xff01;&#xff01;&#xff01;&#xff01;...

Spring Security学习笔记(三)Spring Security+JWT认证授权流程代码实例

前言&#xff1a;本系列博客基于Spring Boot 2.6.x依赖的Spring Security5.6.x版本 上两篇文章介绍了Spring Security的整体架构以及认证和鉴权模块原理。本篇文章就是基于Spring Security和JWT的一个demo 一、JWT简介 JWT&#xff08;JSON Web Token&#xff09;&#xff0c…...

利用ngx_stream_return_module构建简易 TCP/UDP 响应网关

一、模块概述 ngx_stream_return_module 提供了一个极简的指令&#xff1a; return <value>;在收到客户端连接后&#xff0c;立即将 <value> 写回并关闭连接。<value> 支持内嵌文本和内置变量&#xff08;如 $time_iso8601、$remote_addr 等&#xff09;&a…...

基于距离变化能量开销动态调整的WSN低功耗拓扑控制开销算法matlab仿真

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.算法仿真参数 5.算法理论概述 6.参考文献 7.完整程序 1.程序功能描述 通过动态调整节点通信的能量开销&#xff0c;平衡网络负载&#xff0c;延长WSN生命周期。具体通过建立基于距离的能量消耗模型&am…...

AI Agent与Agentic AI:原理、应用、挑战与未来展望

文章目录 一、引言二、AI Agent与Agentic AI的兴起2.1 技术契机与生态成熟2.2 Agent的定义与特征2.3 Agent的发展历程 三、AI Agent的核心技术栈解密3.1 感知模块代码示例&#xff1a;使用Python和OpenCV进行图像识别 3.2 认知与决策模块代码示例&#xff1a;使用OpenAI GPT-3进…...

阿里云ACP云计算备考笔记 (5)——弹性伸缩

目录 第一章 概述 第二章 弹性伸缩简介 1、弹性伸缩 2、垂直伸缩 3、优势 4、应用场景 ① 无规律的业务量波动 ② 有规律的业务量波动 ③ 无明显业务量波动 ④ 混合型业务 ⑤ 消息通知 ⑥ 生命周期挂钩 ⑦ 自定义方式 ⑧ 滚的升级 5、使用限制 第三章 主要定义 …...

UE5 学习系列(三)创建和移动物体

这篇博客是该系列的第三篇&#xff0c;是在之前两篇博客的基础上展开&#xff0c;主要介绍如何在操作界面中创建和拖动物体&#xff0c;这篇博客跟随的视频链接如下&#xff1a; B 站视频&#xff1a;s03-创建和移动物体 如果你不打算开之前的博客并且对UE5 比较熟的话按照以…...

用docker来安装部署freeswitch记录

今天刚才测试一个callcenter的项目&#xff0c;所以尝试安装freeswitch 1、使用轩辕镜像 - 中国开发者首选的专业 Docker 镜像加速服务平台 编辑下面/etc/docker/daemon.json文件为 {"registry-mirrors": ["https://docker.xuanyuan.me"] }同时可以进入轩…...

OPenCV CUDA模块图像处理-----对图像执行 均值漂移滤波(Mean Shift Filtering)函数meanShiftFiltering()

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 在 GPU 上对图像执行 均值漂移滤波&#xff08;Mean Shift Filtering&#xff09;&#xff0c;用于图像分割或平滑处理。 该函数将输入图像中的…...

网站指纹识别

网站指纹识别 网站的最基本组成&#xff1a;服务器&#xff08;操作系统&#xff09;、中间件&#xff08;web容器&#xff09;、脚本语言、数据厍 为什么要了解这些&#xff1f;举个例子&#xff1a;发现了一个文件读取漏洞&#xff0c;我们需要读/etc/passwd&#xff0c;如…...

人机融合智能 | “人智交互”跨学科新领域

本文系统地提出基于“以人为中心AI(HCAI)”理念的人-人工智能交互(人智交互)这一跨学科新领域及框架,定义人智交互领域的理念、基本理论和关键问题、方法、开发流程和参与团队等,阐述提出人智交互新领域的意义。然后,提出人智交互研究的三种新范式取向以及它们的意义。最后,总结…...

【Redis】笔记|第8节|大厂高并发缓存架构实战与优化

缓存架构 代码结构 代码详情 功能点&#xff1a; 多级缓存&#xff0c;先查本地缓存&#xff0c;再查Redis&#xff0c;最后才查数据库热点数据重建逻辑使用分布式锁&#xff0c;二次查询更新缓存采用读写锁提升性能采用Redis的发布订阅机制通知所有实例更新本地缓存适用读多…...