Conceptual Captions 概念标题数据集

Conceptual Captions 是一个包含（图像-URL、标题）对的数据集，用于训练和评估机器学习图像标题系统。

下载

详情请见 http://ai.google.com/research/ConceptualCaptions 。

动机

自动图像标题制作是一项任务，即制作一个能正确反映图像视觉内容的自然语言语句（通常是一个句子）。到目前为止，这项任务使用最多的资源是 MS-COCO 数据集，其中包含约 120,000 张图片和五向图片标题注释（由付费注释者制作）。

谷歌的 Conceptual Captions 数据集拥有 300 多万张配以自然语言字幕的图片。与 MS-COCO 图像的编辑风格不同，Conceptual Captions 图像及其原始描述来自网络，因此代表了更广泛的风格。原始描述来自与网络图片相关的 HTML Alt-text 属性。研究人员开发了一个自动管道，用于提取、过滤和转换候选图片/标题对，目的是使生成的标题在简洁性、信息量、流畅性和可学习性之间达到平衡

更多详细信息请参阅本文（如果您在工作中使用或讨论该数据集，请引用本文）：

@inproceedings{sharma2018conceptual,
  title = {Conceptual Captions: A Cleaned, Hypernymed, Image Alt-text Dataset For Automatic Image Captioning},
  author = {Sharma, Piyush and Ding, Nan and Goodman, Sebastian and Soricut, Radu},
  booktitle = {Proceedings of ACL},
  year = {2018},
}

此外，我们还为概念性标题训练集中的 200 万张图片子集提供了机器生成的标签。如果您在工作中使用图像标签，请引用本文。

@article{ng2020understanding,
  title={Understanding Guided Image Captioning Performance across Domains},
  author={Edwin G. Ng and Bo Pang and Piyush Sharma and Radu Soricut},
  journal={arXiv preprint arXiv:2012.02339},
  year={2020}
}

数据集描述

概念性字幕数据集包含两个部分：训练（约 330 万个示例）和验证（约 1.6 万个示例）。详见下表 1。

表 1: Dataset stats.

			Tokens per Caption
Split	Examples	Uniqe Tokens	Mean	StdDev	Median
Train	3,318,333	51,201	10.3	4.5	9.0
Valid	15,840	10,900	10.4	4.7	9.0
Test (Hidden)	12,559	9,645	10.2	4.6	9.0

隐藏测试集

我们不会发布官方测试集（约 12.5K 个示例）。相反，我们将举办一场竞赛（见 http://ai.google.com/research/ConceptualCaptions），专门支持在盲测试集上提交和评估模型输出。

我们坚信这种设置有以下几个优点：a) 它允许使用大量无偏见的图像进行评估 b) 它保持了测试的完全盲目性，消除了对测试的拟合、作弊等怀疑 c) 它为推进 SoTA 在这项任务上的进展提供了一个干净的设置，包括为论文发表等报告可复制的结果。

图像标签

图像标签通过谷歌云视觉 API (https://cloud.google.com/vision)获取。每个图像标签都有一个机器生成的标识符 (MID)，该标识符与标签的谷歌知识图谱条目相对应，同时还有该标签在图像中出现的置信度分数。这些标签是通过运行相同的模型获得的，与 T2 导向数据集的图像标签以类似的方式呈现，请访问 https://github.com/google-research-datasets/T2-Guiding。

概念性标题的数据格式

概念性字幕训练集和验证集以 TSV（以制表符分隔的值）文本文件的形式提供，其中包含以下栏目：

Table 2: Columns in Train/Validation TSV files.

Column	Description
1	Caption. The text has been tokenized and lowercased.
2	Image URL

图像标签数据格式

训练集 2.0M 子集的图像标签是以 TSV（以制表符分隔的值）文本文件的形式提供的，其中有以下几列：

Table 3: Columns in Image Labels TSV files.

Column	Description
1	Caption. The text has been tokenized and lowercased.
2	Image URL
3	Image labels. Comma separated list in descending order of confidence.
4	MIDs. Comma separated list corresponding to the image labels list.
5	Confidence scores. Comma separated list corresponding to the image labels list.

联系我们

如果您有关于数据集、代码或出版物的技术问题，请在此资源库中创建问题。这是联系我们的最快方式。

如果您想分享反馈意见或报告问题，请发送电子邮件至 conceptual-captions@google.com

public.datasets/Conceptual Captions Dataset 图文对数据集/version.titleV2version.current

public.datasets
/
Conceptual Captions Dataset 图文对数据集
/
version.title