当前位置: 首页 > news >正文

模式识别与机器学习读书笔记——2.1 Binary Variables

从最简单的变量谈起——一位二进制变量(只有0/1两种值)。

典型例子翻硬币,假设人头朝上的概率为u,作为这个模型的参数,则其概率分布为:

2011071210384642.jpg

这个分布也称Bernoullo distribution,期望方差为:

2011071210400559.jpg

如果有一组观察数据D={x1,x2,...,xn},则这组观察数据出现的概率为:

2011071210433893.jpg

选择u的依据就是,让上面这个概率最大化,方法还是那个取对数,再求导令其等于0,得到p最大时:

2011071210450886.jpg

所以如果测试数据中人头出现了m次,则

2011071210461036.jpg

此外,当给定一个u时,我们还可以求出关于m的概率分布,就是求出人头出现0次、1次、2次……N次得概率分别是多少。
要点是需要normalize以下,保证归一性。

人头出现m次得概率为:

2011071210520491.jpg

其中

2011071210523238.jpg

2.1.1 The beta distribution

用前面那个方法会出现over=fitted问题,即如果三次银币都正面朝上,用上述方法判断,下次硬币一定也朝上,这不符合实际。

采用的办法时引入prior distribution,相当于人为的调整了。

这里引入的prior distribution是beta distribution:

2011071211462849.jpg

其中2011071211472823.jpg叫gamma function,是在上一章作业中出现的。

注意这个beta distribution的形式与那个m的分布式一样的,都是2011071211494479.jpg,这叫做共轭性(conjugacy),这样prior,posterior,liklihood的形式就都一样了,无论是计算还是设想实际意义都更简单了。

修正后的分布的求法就是把prior与上一节那个m分布式相乘,由于他们是共轭的,其实就是指数的叠加或图形的叠加,最终形式是:

2011071211541118.jpg

知道了u的概率后,如果想预测下一次翻硬币哪面朝上,方法为:

2011071213583848.jpg

用现有结论可以推出:

2011071213592818.jpg

转载于:https://www.cnblogs.com/plwang1990/archive/2011/07/12/2104112.html

相关文章:

  • 【转】【翻译】Orx官方教程:0.基础(Basic)
  • ASP.NET——/应用程序中的服务器错误
  • 【转】【翻译】Orx官方教程:1. object
  • WEB上传文件的插件uploadify
  • 读书笔记,深入理解linux内核第三版
  • OGC标准介绍 2
  • Android游戏开发之游戏帧动画的播放与处理(七)
  • OGC标准介绍 3
  • [我研究]7月第三周
  • 查看服务器实例的属性信息函数--SERVERPROPERTY
  • 10w级别的mysql数据插入
  • 绿色 . IT . 从小事做起
  • x64 参数传递
  • 《Windows Phone 7 UI设计及人机交互指南》翻译稿
  • [转]获取SQL SERVER表字段详细信息
  • 【跃迁之路】【477天】刻意练习系列236(2018.05.28)
  • flask接收请求并推入栈
  • gitlab-ci配置详解(一)
  • input实现文字超出省略号功能
  • JavaScript/HTML5图表开发工具JavaScript Charts v3.19.6发布【附下载】
  • Java知识点总结(JavaIO-打印流)
  • Linux中的硬链接与软链接
  • MySQL数据库运维之数据恢复
  • python3 使用 asyncio 代替线程
  • spring + angular 实现导出excel
  • SpringCloud集成分布式事务LCN (一)
  • 从0实现一个tiny react(三)生命周期
  • 聊聊redis的数据结构的应用
  • 深入体验bash on windows,在windows上搭建原生的linux开发环境,酷!
  • 首页查询功能的一次实现过程
  • 小程序开发之路(一)
  • 曜石科技宣布获得千万级天使轮投资,全方面布局电竞产业链 ...
  • 专访Pony.ai 楼天城:自动驾驶已经走过了“从0到1”,“规模”是行业的分水岭| 自动驾驶这十年 ...
  • ​LeetCode解法汇总2670. 找出不同元素数目差数组
  • # Pytorch 中可以直接调用的Loss Functions总结:
  • # 深度解析 Socket 与 WebSocket:原理、区别与应用
  • #Lua:Lua调用C++生成的DLL库
  • (笔试题)合法字符串
  • (力扣记录)235. 二叉搜索树的最近公共祖先
  • (生成器)yield与(迭代器)generator
  • (转) 深度模型优化性能 调参
  • *(长期更新)软考网络工程师学习笔记——Section 22 无线局域网
  • .NET delegate 委托 、 Event 事件,接口回调
  • .NET 事件模型教程(二)
  • .NET 中各种混淆(Obfuscation)的含义、原理、实际效果和不同级别的差异(使用 SmartAssembly)
  • .NET 自定义中间件 判断是否存在 AllowAnonymousAttribute 特性 来判断是否需要身份验证
  • .NET版Word处理控件Aspose.words功能演示:在ASP.NET MVC中创建MS Word编辑器
  • .net操作Excel出错解决
  • .NET高级面试指南专题十一【 设计模式介绍,为什么要用设计模式】
  • .NET开源的一个小而快并且功能强大的 Windows 动态桌面软件 - DreamScene2
  • [ SNOI 2013 ] Quare
  • [.NET]桃源网络硬盘 v7.4
  • [20150321]索引空块的问题.txt
  • [Android Studio] 开发Java 程序
  • [BZOJ 3282] Tree 【LCT】