书名：复杂的引擎（第一推动丛书·综合系列）
作者：约翰·E.梅菲尔德
译者：唐璐
出版社：湖南科学技术出版社
出版时间：2018-01-01
ISBN：9787535794611
第1章 问题
一、什么是信息？
信息是用符号模式传递的意义
信息的另一个重要特性：那就是可以被编码，能通过各种媒介存储和传递的消息。
在计算机科学以外的领域，学者们通常将信息等同于获取知识。如果认定信息存在本身就是为了表达某种意义，
就可以在一定程度上量化意义。
二、信息的量化
- 量化定义是信息革命的基础。
1、系统与熵
19世纪末，科学家们开始研究由原子和分子组成的粒子世界，并将这个新的视角与已经建立的热力学联系起来。
古典热力学的研究对象是“系统”：边界内的物质组合。所有系统都用能量、熵和物质刻画。
热力学第一定律认为能量可以转换形式，但无法创生或湮灭。一些转换（但不是全部）可以做功。
熵可以刻画一个系统做功的能力。系统的熵越大，做功的能力越差。热力学第二定律认为封闭系统的熵要么增加，要么不变，永远不会减少。
当封闭系统的熵达到最大，我们就说这个系统达到了平衡态，不能继续做功。（熵增）
一般来说，系统会变化直至达到平衡态，然后就不再变化，除非某种外界影响作用于它（对系统做功或者增减某种东西）。
2、香农熵
20世纪40年代和50年代，香农将物理学中熵的概念应用于通信。
要解决的问题是如何设计一个系统可以在指定时间内传送所需数量的信息。
为了解决这个问题，必须量化系统传送信息的能力。香农的基本思想由两部分组成：一个系统如果可以有多个状态，就具有携带信息的潜力；而且，可能的状态越多，一个具体的状态所含的信息就越多。
香农的度量方法是基于概率。
因为在给定条件下，所有可能状态的概率加起来必须等于1（必定有一个发生），可能的状态越多，平均下来任何一个特定状态发生的概率就越低。
香农熵：
H=1比特
3、解读
- 从通信工程师的角度看，香农度量刻画的是系统携带信息的能力
- 从另一个角度，即你感兴趣的具体对象的角度看，香农度量可以被视为这个对象所携带的信息量
