Google DeepMind 和 Anthropic 的研究团队探讨了在高度压缩文本上训练大型语言模型（LLM）的想法。标准的分词 tokenizer 只能将文本压缩一小部分，而神经文本压缩器可以实现更高的压缩率。如果有可能直接在神经压缩文本上训练 LLM，这将在训练和服务效率方面带来优势，且更容易处理长文本跨度。实现这一目标的主要障碍在于，强压缩往往会产生不透明的输出，不适合学习。
特别是，通过算术编码进行压缩的文本不容易被 LLM 学习。为了克服这一问题，研究团队提出了一种新颖的压缩技术“等信息窗口”（Equal-Info Windows），它将文本分割成多个区块，每个区块压缩成相同的比特长度。利用这种方法，他们展示了对神经压缩文本的有效学习，学习效果随着规模的扩大而提高，并在易错性和推理速度基准上远远超过了字节级基准。
对于使用相同参数数量训练的模型，这一方法比分词 tokenizer 的迷惑性更差，但它的优点是序列长度更短。较短的序列长度需要较少的自回归生成步骤，从而减少了延迟。最后，他们对有助于提高可学习性的特性进行了广泛分析，并就如何进一步提高高压缩标记化器的性能提出了具体建议。
来自微软、东京大学的研究团队及其合作者提出了一种用于文本到语音（TTS）合成的鲁棒语言建模方法 RALL-E。
虽然以前基于大型语言模型（LLM）的工作在零样本 TTS 上显示出了不错的性能，但由于语言模型的自回归预测风格，这些方法往往存在鲁棒性差的问题，如不稳定的前音（奇怪的音高和节奏/持续时间）和高词错误率（WER）。据介绍，RALL-E 背后的核心理念是思维链（CoT）提示，它将任务分解成更简单的步骤，从而增强基于 LLM 的 TTS 的鲁棒性。
为了实现这一理念，RALL-E 首先预测输入文本的前音特征（音高和时长），并将其作为中间条件，预测 CoT 风格的语音 token。其次，RALL-E 利用预测的时长提示来指导 Transformer 中自注意力权重的计算，从而强制模型在预测语音 token 时关注相应的音素和前音特征。
客观和主观评估结果表明，与基线方法 VALL-E 相比，RALL-E 显著提高了零样本 TTS 的 WER，分别从 6.3%（无重排）和 2.1%（有重排）降至 2.8% 和 1.0%。此外，RALL-E 可以正确合成 VALL-E 难以合成的句子，并将错误率从 68% 降低到 4%。
来自清华大学、伊利诺伊大学香槟分校和面壁智能的研究团队及其合作者，提出了一套为推理而优化的大型语言模型（LLM）——Eurus。据介绍，经过对 Mistral-7B 和 CodeLlama-70B 的微调，Eurus 模型在一系列涵盖数学、代码生成和逻辑推理问题的基准测试中，取得了开源模型中的 SOTA。
值得注意的是，Eurus-70B 通过涵盖 5 项任务的 12 个测试的综合基准测试，在推理方面击败了 GPT-3.5 Turbo，并在 LeetCode 和 TheoremQA 两项基准测试中分别取得了 33.3% 和 32.6% 的 pass@1 准确率，以超过 13.3% 的优势超越了现有的开源模型。
Eurus 的强大性能主要归功于 UltraInteract，这是一个新近收集的大规模、高质量对齐数据集，专为复杂推理任务而设计。UltraInteract 可用于监督微调和偏好学习。对于每条指令，它都包含一棵偏好树，其中包括：（1）统一格式的具有不同规划策略的推理链；（2）与环境和评论的多轮交互轨迹；以及（3）促进偏好学习的配对数据。