问题背景：
1948 年，Shannon解决了点到点可靠通信理论问题，包括：（1）信源信道分离定理： 证明了信源与信道满足无记忆或广义平稳遍历特性情况下，当码长趋于无穷时,分别设计信源和信道编码即可实现最优通信；(2）信源压缩定理：熵是无损信息压缩的极限；(3）信道容量定理：只要传输速率小于信道容量，即可通过信道编码实现可靠通信。
图1：可靠传输通信模型
Shannon在原本的信息论的定义中只定义了可靠信息传输的问题。后来1949年，Shannon和Weaver指出，通信应该包含三个层次的内容：
层次一（语法问题）：通信符号如何准确地传输；
层次二（语义问题）：传输的符号如何精确地表达期望的含义；
层次三（语用问题）：传递意义如何有效地影响期望的行为。
我们熟知的Shannon信息论主要集中在技术问题，对语义问题和语用问题尚没有定论。可靠机器推理下的信息传输问题正是语义问题，突破语义问题可能会为通信界带来颠覆性的新技术和新产业机会。
问题定义：
随着通信的不断发展，它已经成为万物互联的一个基础。通信的目的是为了精确传输发送者期望表达的含义。目前的做法是将发送者的发送信息转换成比特进行准确传输，接收者通过比特恢复发送信息从而推断发送者所期望表达的含义。语义通信则是直接通过对发送信息进行编码来精确表达期望的含义。在这个框架下，信息的语义抽取可以等效于一个编码问题，期望语义的推理可以等效于一个解码过程，需要解决的核心问题是信息的语义抽取如何影响语义推理的准确性。
图2：语义通信模型
语义通信的首要难点在于编码器编码速率与解码器解码准确率的关系问题。由经典信息论可知，从可靠传输的角度，只要编码信息熵不变，解码器就可以无损地恢复出原始信息。从 AI（artificial intelligence）和机器学习的层面看，语义通信需要解决以下问题：
(1)语义编码器的表达能力
首先，在大量应用场景的实践中，深度神经网络（DNN）表现出了远远超越“浅层”神经网络（即只有一个隐藏层的神经网络）的表达能力和实用效果，因此“深度”是非常重要的因素；其次，已有的理论研究大多数集中于“浅层”神经网络，还无法刻画“深度”的作用；最后，对具有特殊结构的神经网络（例如卷积神经网络中的pooling、batch normalization、dropout、离散参数值等）的逼近论研究仍然非常罕见。这些问题将影响编码器的表达能力。
(2)最优编码与网络容量
正如 Shannon 定理之于编码的意义，逼近论给出的结果是表达能力的理论极限，并没有指明达到极限的具体算法。究竟用何种方法才能最大地发挥出神经网络的表达能力？ 目前普遍流行的做法是采用随机梯度下降法（stochastic gradient decent，SGD）及其变种方法进行训练。但这些方法能否达到网络容量，这也是没有解决的问题。
(3)解码器与速率的关系
在满足解码准确率的前提下，信息的速率要求是什么？ 即刻画通信速率与解码器准确率之间的关系。
未来研究方向：
本节简要讨论了万物互联时代通信模型的发展状况，并提出了语义通信的概念。 以语义通信为出发点分析了语义通信中存在的挑战与问题，包括： 语义通信容量问题、语义编码能力问题以及语义表达能力问题。目前进展还非常初步，背后的基本原理仍然需要学术界和工业界更多地深入研究。面向未来，我们简要归纳语义信息论未来的研究方向：
(1)语义编码能力
逼近论考虑的网络结构很有限，并且仅给出了存在性的结果。如何通过算法实现逼近效果仍然是开放性问题。同时，逼近效果对训练数据的依赖程度也需要研究。此外，如果逼近的函数和实际的数据生成模型不匹配，其泛化能力会有何种损失也需要进一步分析。
(2)语义通信容量
逼近论考虑确定性函数的近似问题，主要用于建模分析DNN的信息提取能力。信息论则研究随机事件的逼近过程，因而可以端到端地建模深度学习，包括：数据的生成过程和DNN的信息提取过程。但信息论的信源编码部分主要针对独立或Markov信源，而信道则主要考虑离散无记忆信道。对十分复杂的数据生成模型，熵和互信息并不能有效地描述DNN的信息提取极限，故需要发展广义信息测度。同时，由于难以写出DNN所逼近的函数f，如何根据f的性质来降低数据中的信息量仍然是开放性问题。
(3)语义解码能力
统计物理方法与信息论的关系十分密切。值得注意的是Replica方法及其推广的方法在研究一些无监督学习和浅层神经网络的学习能力方面取得了较好的结果，但是当深度增加时，上述分析方法遇到了困难。因此，如何进一步推广Replica方法是一个重要问题。