数亿级短视频元数据公开：推动AI模型训练却踩踏法律红线
开发者 hashfunction 在开源平台 Hugging Face 上发布了一项大规模数据集，包含约 56 亿条来自 TikTok 的公共视频元数据，时间跨度自 2014 年 7 月延续至 2026 年 10 月。该数据由账号 datasocial 发布，未包含原始视频内容，仅保留文本与行为指标。
数据构成与技术实现细节
每条记录均包含视频标题、关联标签、音频标识符、屏幕文字内容、TikTok Shop 商品及卖家身份信息，以及浏览量、点赞、评论、分享、收藏与下载等多维度互动数据。整个数据集容量达 460 GB，采用 Parquet 格式按月分段存储，便于高效处理。
来源合法性存疑：绕过官方接口的逆向采集
部分字段直接继承自 TikTok 内部标记系统，如是否标注为“AI生成”或是否被移出推荐页（For You Page）。由于数据源自历史档案，早期内容中相关标记普遍为空白。值得注意的是，该数据集无需账户登录即可自由访问，截至统计已有 1,181 次下载，亦可通过指定网页在线查看。
为何吸引开发者？填补官方渠道空白
当前，官方对 TikTok 数据的开放极为有限，仅面向特定国家的高校及非营利组织提供申请通道，且流程严格。根据美国服务条款第 3.4 条，未经书面授权不得使用自动化工具提取数据。在此背景下，海量标题、标签、音频引用和互动频率数据成为训练预测传播趋势模型的关键输入，亦是理解短视频语言风格演进的重要依据。
技术路径与潜在法律风险
datasocial 声称其通过模拟安卓设备身份、逆向解析请求签名并伪造 TLS 握手，成功接入 TikTok 私有移动 API。据披露，该系统在三周内完成对 32.3 亿创作者资料、59.4 亿视频及 28 亿条评论的采集，全程无用户认证环节。
此类行为已触发法律诉讼。2025 年 10 月，Reddit 对 Perplexity 及三家数据公司提起诉讼，指控其实施“工业化规模”的内容采集用于训练大模型。今年 7 月，联邦法院驳回被告要求撤销案件的动议，尽管该案涉及 Google 搜索结果抓取，但其中提出的《数字千年版权法》（DMCA）指控表明，绕过反机器人机制的行为可能构成侵权。
许可模式与商业化布局
当前公开版本采用 CC BY-NC 4.0 许可协议，明确限定仅限研究与个人用途。商业应用、创作者信息完整版及每日更新服务则需前往官网获取，同时用于采集数据的源代码单独标价 1,699 美元出售。
尽管数据集中未直接列出用户名，但通过标题、提及人物及用户 ID 等字段仍可实现高精度关联推断。目前类似数据集已在 Hugging Face 上存在多个版本，其中一套声称源于移动 API 的 45 亿条视频数据同样免费提供非商业用途，代码则另售，形成典型的“免费展示+付费核心工具”商业模式。
