Scented Farmer’s Theorems

信噪比与信息传播速率

“上次你在这里说什么”。。。“喜欢谁”。。。这几句话为什么要说得这么慢呢?
这可能是因为两个人站得比较远,在信号功率一定的情况下,二者距离之间的噪声增大&信号传播中能量的消减,共同造成了信噪比减小。
在一个信噪比比较小的环境中,香农认为信息的传播速率要小点才能不出错,而光良和萧淑慎也这么认为,所以他们就录了一个MV给《数字网络与通信》的课堂。


信息论很有趣的一点是:别的科学理论都是发明了一个起点,而香农发明的是一个终点。就好比他在山上等你,你一直都在努力地去触达山顶,这个山顶就被我们称为香农极限。
这其实就是香农第二定理:只要传输的速度率达到或者超过带宽,无论你用什么办法,信息的传输肯定会出错。

如果用一句话概括信息熵:可供选择的范围越广,选择的信息量越大。这就是香农第一定理。

克服噪声的办法:增加冗余,这其实就是香农第三定理。

在香农的通信模型中,噪声是无法被我们忽略的存在。为了解决远距离通信中信息失效的问题,工程师只能一次次放大信号,但这只会导致噪声的逐渐积累,但噪声始终不能消除。
香农想到了一个降噪的办法:增加额外的字词。

想要通俗地了解这个概念,还要从非洲的鼓手们说起,科学家发现非洲南部的人常常用鼓来传递信息,甚至会用鼓来说话,比如:一个女婴降生了,这个通知翻译过来是这样的:“接生的衬垫已经卷起,我们感到浑身充满力量,一个女人从森林里来,来到这个开放的村庄,这次就说到这里吧。”
你可能会很纳闷,为什么要这样?其实他们之所以增加这么多没有用的字词,就是为了把意思表达的更清楚。这是因为鼓声在传递过程可能会被噪音所干扰,或者有些声音对应的字词十分接近,不好区分。而如果加上额外的字词,就能够锁定要表达的意思。

而香农认为,如果要发送一个确定的信息,或者说不让信息在传输过程中失效,就可以用类似方法,通过增加额外的字词,也可以叫做增加冗余度,来实现降噪。


光良香农定理 (Scented Farmer’s Claude Elwood Shannon ‘s Laws) :

香农第一定律告诉我们,意外才是信息。

香农第二定律告诉我们,带宽决定传输速率。

香农第三定律告诉我们,想把话说清楚,可以多加一点冗余度。

晚年的香农( Claude Elwood Shannon,1916年4月30日~2001年2月24日 )因为得了老年痴呆,备受煎熬。2001年2月24日,这位伟大的科学家离世。由于他的研究领域的原因,他并没有拿到诺贝尔奖。但是这丝毫不影响他的伟大。他对人类文明的贡献是不可估量的。时至今日,我们依然受益于信息时代带给我们的好处。相信数百年后,每当人类追忆起这个时代,香农定是这个时代少数能够名垂青史的科学家。