HellaSwag 大模型常识推理数据集

数据集简介

HellaSwag 数据集是一个用于测试常识性自然语言推理 (commonsense NLI) 的新挑战数据集。该数据集由华盛顿大学和 Allen AI 于 2019 年推出，旨在通过构建一个对现有最先进模型具有挑战性的数据集，来探索深度预训练模型在常识推理方面的表现。相关论文成果「HellaSwag: Can a Machine Really Finish Your Sentence?」已被 ACL 2019 接受。

HellaSwag 数据集包含 70,000 个问题，尽管这些问题对人类来说非常简单（准确率超过 95%），但即使是最先进的模型也难以达到接近人类水平的性能（准确率约为 48%）。该数据集通过对抗性过滤 (Adversarial Filtering, AF) 方法构建，该方法利用一系列判别器迭代选择机器生成的错误答案，以提高数据集的难度。HellaSwag 的创建揭示了深度预训练模型的内部工作机制，并为 NLP 研究提供了一个新的发展方向，即基准测试与不断发展的最先进模型以对抗的方式共同演化，以提供更具挑战性的任务。

数据

此文件夹包含 HellaSwag 的训练、验证和未标记测试集（.jsonl格式如下）。以下是每个数据集示例包含的内容：

ind：dataset ID
activity_label：The ActivityNet or WikiHow label for this example
context：There are two formats. The full context is in ctx. When the context ends in an (incomplete) noun phrase, like for ActivityNet, this incomplete noun phrase is in ctx_b, and the context up until then is in ctx_a. This can be useful for models such as BERT that need the last sentence to be complete. However, it's never required. If ctx_b is nonempty, then ctx is the same thing as ctx_a, followed by a space, then ctx_b.
endings：a list of 4 endings. The correct index is given by label (0,1,2, or 3)
split：train, val, or test.
split_type：indomain if the activity label is seen during training, else zeroshot
source_id：Which video or WikiHow article this example came from

引用信息

@inproceedings{zellers2019hellaswag,
    title={HellaSwag: Can a Machine Really Finish Your Sentence?},
    author={Zellers, Rowan and Holtzman, Ari and Bisk, Yonatan and Farhadi, Ali and Choi, Yejin},
    booktitle ={Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics},
    year={2019}
}

public.datasets/HellaSwag 大模型常识推理数据集/version.titleV1version.current

public.datasets
/
HellaSwag 大模型常识推理数据集
/
version.title