揭示生成式 AI 信任危机的四大结构性缺陷

Geo 创始人 Yaniv Tal 指出,当前 AI 输出的不可靠性并非源于算法本身,而是其训练数据所承载的互联网固有缺陷。他归纳出四个关键问题:原始信息来源在传播中被抹除、不同信源权威性被均质化处理、观点冲突被强行合并为单一结论,以及错误内容在模型间反复迭代放大。

信息溯源断裂导致真相无法回溯

当网页内容被多次抓取与重述后,原始发布者和上下文背景往往彻底消失。一条主张可能历经多个中间页面才进入训练集,最终仅以孤立陈述形式存在,使模型丧失追溯源头的能力。这种断裂使得判断信息真实性的基础不复存在。

权威性缺失引发认知偏差

在训练数据中,学术论文、企业公告与匿名论坛发帖以相同文本格式呈现,导致模型难以区分证据等级。缺乏对来源可信度的识别机制,使低质量或未经证实的内容与高权威材料获得同等权重,形成系统性认知偏移。

竞争观点被压缩为单一结论

语言模型倾向于将对立立场整合为一个连贯回答,从而掩盖专家间的实质性争议。这种“去分化”处理虽提升输出流畅度,却误导用户以为存在统一共识,实则压制了多元且合理的替代性见解。

合成内容循环加剧错误固化

由模型生成的文本再次作为训练素材输入新模型,形成自我强化的反馈环。研究表明,此类重复学习会导致“模型崩溃”——即系统逐渐偏离原始数据分布,产生与事实严重脱节的虚假模式。错误不仅持续存在,更被不断放大。

人类判断应成为可信推理的锚点

Geo 提出将主张、支撑证据与贡献者身份解耦,并建立结构化关联网络。通过记录论点之间的支持、反驳或回应关系,系统可在保留多种观点的前提下,依据评估强度进行排序,实现透明的多元共存。

基于社区的空间化治理机制

该平台以“空间”为单位组织知识领域,涵盖加密货币、健康、教育等方向。成员可提交内容,具备专业背景者可申请编辑权限。策展流程要求核实来源、建立逻辑链接,并将信息结构化录入开放图谱。

去中心化声誉体系规避单一控制

系统依托 Aragon OSx 治理框架与 GRC-20 标准,实现跨空间的知识记录流转。贡献者的信誉随行为积累,而非由中央机构授予。这一设计旨在防止权力集中,确保专业知识在不同领域间可迁移、可验证。

身份验证仍是治理核心挑战

开放治理面临 Sybil 攻击风险,即攻击者创建多个身份操控投票或排名。尽管生物识别、社交信任链与零知识证明等方案被探索,但隐私、安全性与可访问性之间仍存权衡。Geo 强调需依赖真实历史记录,而非匿名贡献,以保障责任归属。

链上数据需与人类解释区分开来

在区块链场景中,交易本身可验证,但其背后动机、控制者身份及活动意图仍属主张范畴。Geo 倡导将项目公告、市场分析等非技术性描述与具名作者绑定,即使后续被证伪也保留在记录中,避免信息被美化或删除。

权威指南呼吁溯源与人工介入

美国国家标准与技术研究院(NIST)建议追踪训练数据来源,引入人工反馈机制,并鼓励领域专家参与评估。内容来源与真实性联盟(C2PA)则提供加密签名凭证,用于验证内容修改轨迹,但不评判主张本身的真实性。