GB/T 33994-2026 信息与文献 WARC文件格式

ICS3524030

CCSA.14.

中华人民共和国国家标准

GB/T33994—2026/ISO285002017

:

代替GB/T33994—2017

信息与文献WARC文件格式

Informationanddocumentation—WARCfileformat

ISO285002017IDT

(:,)

2026-07-02发布2027-02-01实施

国家市场监督管理总局发布

国家标准化管理委员会

GB/T33994—2026/ISO285002017

:

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范围

1………………………1

规范性引用文件

2…………………………1

术语定义和缩略语

3、………………………1

文件和记录模型

4…………………………2

命名字段

5…………………5

记录类型

6WARC………………………10

记录分段

7…………………14

文件名称大小和压缩

8WARC、…………15

附录资料性书写记录的使用示例

A()WARC………16

附录资料性记录示例

B()WARC……………………19

附录资料性文件大小及名称建议

C()WARC………23

附录资料性压缩建议

D()………………24

参考文献

……………………25

Ⅰ

GB/T33994—2026/ISO285002017

:

前言

本文件按照标准化工作导则第部分标准化文件的结构和起草规则的规定

GB/T1.1—2020《1:》

起草

。

本文件代替信息和文献文件格式与相比除

GB/T33994—2017《WARC》,GB/T33994—2017,

结构调整和编辑性改动外主要技术变化如下

,:

更改了定义规则见第章年版的第章

———URI(4,20174);

增加了和字段见第章

———“WARC-Refers-To-Target-URI”“WARC-Refers-To-Date”(4、5.12、

5.13、6.7.2、6.7.3);

增加了的精度级别见

———WARC-Date(5.4);

删除了媒体类型的详细描述见年版的第章第章

———MIME(20178、9)。

本文件等同采用信息与文献文件格式

ISO28500:2017《WARC》。

本文件做了下列最小限度的编辑性改动

:

将部分示例替换为国内示例见附录附录

———(A、B)。

请注意本文件的某些内容可能涉及专利本文件的发布机构不承担识别专利的责任

。。

本文件由全国信息与文献标准化技术委员会提出并归口

(SAC/TC4)。

本文件起草单位首都图书馆中国科学院文献情报中心军事科学院军事科学信息研究中心

:、、、

国家图书馆中国科学技术信息研究所北京万方数据股份有限公司

、、。

本文件主要起草人毛雅君贾蔷吴振新王雪屏谢鹏真溱韩新月胡吉颖季士妍张晓丹

:、、、、、、、、、、

郝春云杨志滨杨贺

、、。

本文件及其所代替文件的历次版本发布情况为

:

年首次发布为

———2017GB/T33994—2017;

本次为第一次修订

———。

Ⅲ

GB/T33994—2026/ISO285002017

:

引言

互联网上的网站和网页每天都在不断涌现和消失近年来记忆存储组织致力于借助网络规模工

。,

具寻找最适宜采集并跟踪记录这类海量重要信息的方法与此同时记忆存储组织对保存非网络采集

,。,

的数字文件如整套电子期刊或环境感应设备生成的数据的需求也日益迫切当前业界普遍要求开发

()。

一种容器格式该格式能以简单安全的方式承载构成整体数据结构的组件数据对象用于存储管理和

,,、

交换这些数据对象或资源的类型没有任何限制包括音频压缩文件等二进制格式该容器

。()(、CAD、),

格式仅需对对象本质具备最小认知即可

。

网络存档文件格式提供了一种协议该协议将多个资源记录数据对象

WARC(WebARChive,),()

连接成一个长文件其中每个资源记录由一组简单文本标头和任意数据内容块构成这种格式能作为

,。

结构化管理和存储采自网络及其他渠道的海量数字资源的一种标准用于构建收割管理访问挖掘

、,、、、

和交换内容等各种应用其应用范围已超越传统网络存档领域延伸至原生数字资源及数字化资料的保

,,

存文件的创建方式以及资源的存储与呈现形式均取决于具体的软件和应用程序

。WARC,。

文件格式是文件格式的一种扩展相较于仅记录原始内容的格式拓展后的

WARCARC。ARC,

格式还能够承载相关的辅助内容例如分配的元数据缩减的重复数据检测记录后期对内容的

WARC,、、

转换记录以及大型资源的分段信息等

。

Ⅳ

GB/T33994—2026/ISO285002017

:

信息与文献WARC文件格式

1范围

本文件规定了信息与文献领域文件格式

WARC:

存储来自主流互联网应用层协议如和的有效载荷内容和控制信息

———(HTTP、DNSFTP);

存储与其他已存储数据如主题分类语言编码相关的任意元数据

———(、、);

支持数据压缩且保证数据记录的完整性

———,;

存储来自收割协议的全部控制信息如请求标头信息而不仅仅是响应信息

———(),;

存储与其他已存储数据相关的数据转换结果

———;

存储与其他已存储数据相关的重复监测活动当相同或者大体相似的资源出现时可减少存储

———(,

消耗

);

在不中断当前功能的情况下进行扩展

———;

支持对超长记录在所需处进行截断或分段操作

———。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中注日期的引用文

。,

件仅该日期对应的版本适用于本文件不注日期的引用文件其最新版本包括所有的修改单适用于

,;,()

本文件

。

域名实现及规范

IETFRFC1035(Domainnames—Implementationandspecification)

多用途互联网邮件扩展第部分互联网消息正文的格式

IETFRFC2045(MIME)1:[Multipur-

poseInternetMailExtensions(MIME)—PartOne:FormatofInternetMessageBodies]

分离域名解析系统信息

IETFRFC2540(DNS)[DetachedDomainNameSystem(DNS)Information]

超文本传输协议

IETFRFC2616—HTTP/1.1(HypertextTransferProtocol—HTTP/1.1)

的一种转换格式

IETFRFC3629UTF-8—ISO10646(UTF-8,atransformationformatof

ISO10646)

统一资源标识符通用语法

IETFRFC3986(URI):[UniformResourceIdentifier(URI):Generic

Syntax]

域名解析系统媒体类型

IETFRFC4027(DomainNameSystemMediaTypes)

地址架构

IETFRFC4291IPv6(IPVersion6AddressingArchitecture)

互联网消息格式

IETFRFC5322(InternetMessageFormat)

3术语定义和缩略语

、

31术语和定义

.

下列术语和定义适用于本文件

。

311

..

WARC记录WARCrecord

文件的基本组成部分文件由一序列的记录组成

WARC,WARCWARC。

1