Hello World：博客初测

引言

这是博客上的第一篇文章。用它来演示我们支持的各种内容类型。

数学公式

行内公式写法：著名的 $E = mc^2$ 描述了能量与质量的关系。

块级公式也可以用：

\nabla \cdot \mathbf{E} = \frac{\rho}{\epsilon_0}

Softmax 函数的定义：

\text{softmax}(x_i) = \frac{e^{x_i}}{\sum_{j} e^{x_j}}

代码示例

一段 Python 代码：

def attention(Q, K, V):
    d_k = Q.shape[-1]
    scores = Q @ K.transpose(-2, -1) / d_k ** 0.5
    weights = torch.softmax(scores, dim=-1)
    return weights @ V

以及一段 TypeScript：

interface Post {
  title: string
  date: string
  author: string
  content: string
}

图片

下面是一张测试用的占位图：

引用

"做出伟大工作的唯一方式，是热爱你所做的事。"

列表

来自我们研究的关键发现：

注意力机制的复杂度与序列长度呈平方关系
稀疏注意力模式可以将其降到线性
精度与效率之间的权衡取决于具体任务

首先，计算 query 与 key 的投影
然后，计算注意力分数
最后，做 softmax 归一化并与 value 相乘

结语

这篇文章确认了博客对所有类型内容的正确渲染。