三三言情小说

手机浏览器扫描二维码访问

第二十三章 信息生命体三（第2页）

在信息论中最基本的量称为熵，H（x）被定义为（Shannon1948）：

其中p（x）是随机变量X处于状态x的概率。

当p（x）是所有可能状态的均匀分布时，H（X）是最大化的，它通常称为香农熵。

香农熵可以被描述为你在得知一个事件结果时可能体验到的惊讶程度：事件越不可能发生，你在得知事件时就感觉越惊讶。

从这个角度来看，信息的概念与减少不确定性密切相关，因为一个事件的不确定性越小，你对事件结果的惊讶程度就越小，它所包含的信息量也就越少。

香农熵构成了信息论的基础，其它大多数信息概念和度量都是基于香农所发展的一般信息概念的基础上衍生出来的。

然而仅仅用熵并不能完全体现“信息“的概念，因为信息还需要发送者和接收者（Adami2016）。

在这方面，信息被定义为给定其它过程下某个随机过程不确定性的降低，并由所考虑过程间共享的熵的大小来表示（CoverThomas2005），这被量化为互信息（mutualinformation）：

互信息可以很方便用维恩图来可视化，即每个过程的熵相互重叠的区域（图2a）。

当考虑某个过程的熵，去掉与其它所有过程的互信息，我们就得到了条件熵：即了解其它所有过程知识时，该过程还剩下的不确定性。

因此，互信息度量的是我们从所有其它过程知识中获得有关某个过程的信息。

图2：维恩图表示的a互信息；b传递熵。

互信息也被用来量化存储在一个系统和与它各个组成部分中的信息量。

最常用的测量方法是超额熵（excessentropy）和主动信息（activeinformation）。

超额熵（CrutchfieldFeldman2003）被定义为一个过程过去和未来之间的互信息，衡量某个过程可以通过观察其过去的行为来解释的未来的不确定性；主动信息A（X）也提供了类似的度量，但它不考虑整个过程的未来，而只关注和预测过程中即将抵达的下一个状态（Lizieretal.2012a）：

（其中

代表X中从时间点n开始过去k个状态：{x-+1，...，x-1，x}。

）

虽然互信息允许定义和量化信息，但它只是一个对称的量，不能捕捉到随机过程之间的方向性关系（如信息传递）。

为克服这一信息量化处理的局限性，Schreiber（2000）引入了传递熵（transferentropy）的概念，它是给定某个随机过程过去（如历史信息）和一个或多个其它过程当前知识了解下，对该过程未来状态的不确定性减少的一种度量（Schreiber2000;KaiserSchreiber2002）：

其维恩图表示如图2。

传递熵利用时间方向性来克服互信息对称性的限制，它是对两个或多个过程之间的定向传递的预测信息的度量（LizierProkopenko2010），因此也不一定就意味着因果作用（Jamesetal.2016）；但它的逐点变量（point-wise，或局部变量）可以为集群行为的时空动力学提供有用的洞见（Lizieretal.2008b）。

喜欢动作之旅请大家收藏：（）动作之旅