对于个人博客，图床一直是一个比较麻烦的问题。个人难以承受对象储存高额的流量费；如果使用云服务器自建图床，部署和迁移都比较麻烦；如果使用一些公开的图床，很难保证安全性和持久性。本人最近在知乎上看到一篇文章，使用Github+Clouflare搭建个人图床，觉得是一个比较理想的方案，故采用了这个方案并写下这篇笔记，以便之后参考。

简介

Transformer由于二次时间复杂度和长度外推能力有限，难以高效处理长文档，本文通过实验证明SSM模型在长文档分类任务中更为有效。本文还提出了SSM-pooler模型，在性能相当的情况下，效率高出36%。即使在40%的极端场景下，SSM-pooler对输入噪声也表现出更高的鲁棒性。

简介

因为Transformer的二次时间复杂度和位置编码的扩展性有限，上下文窗口比较小，本文提出CEPE（Context Expansion with parallel encoding）并行编码上下文扩展，采用小新编码器逐块（chunk）处理输入文本，使冻结的解码器能通过cross-attention利用更长的上下文，可以使用在任何只有加码器的llm上，并且无需微调。

代码在CEPE: Preprint: Long-Context Language Modeling with Parallel Encodings。