简述贝叶斯估计、先验分布和后验分布（贝叶斯先验分布的确定）

取先验的套路有很多，比较常见的有：

1、扁平先验（flat prior）。所谓的扁平先验其实就是用一个“均匀分布”做先验。如果参数空间的support是有限的，那直接用扁平先验就可以了；但是如果参数空间的support是无限的，比如(0,∞)，那么就不存在这上面的均匀分布了。由于均匀分布的密度函数是一个常数，在计算后验时分子分母可以约掉，所以当support有无穷大时，直接不要先验，就是一个扁平先验了。

但是注意扁平先验是一个非正常先验（improper prior），也就是说这个先验根本不是一个密度函数（积分积起来不等于1）。使用非正常先验一般情况下没什么大问题，但是有的时候可能会导致后验分布也是非正常的，那就需要额外注意了。比如下面这个问题，可以看作是先验分布选取了非正常先验而导致的问题：

2、Jeffreys先验。Jeffreys先验和扁平先验一样，都是为了尽量让先验的选取“不提供任何信息”，即non-informative prior。但是扁平先验看似使用了均匀分布从而不提供任何信息，但是实际上还是提供了某些信息的。比如，如果 xi∼P(λ)x_i\sim P(\lambda) ，那么如果选取 λ\lambda 的先验为扁平先验，如果重新参数化，令 τ=ln⁡(λ)\tau =\ln \left(\lambda\right) 的取值范围为R，显然不是扁平的。

解决方法就是Jeffreys先验：

此外还有基于Kullback-Leiber信息的参照先验（reference prior），思路是尽量使得Kullback-Leiber散度变大，从而使得先验尽量不提供任何信息。

3、共轭先验

共轭先验一般需要我们提供主观信息，不过共轭先验所计算出的后验分布由于具有比较简单的形式，所以非常容易进行分析和计算。