327 字
2 分钟
LLM 与开放获取
定义
LLM 与开放获取(Open Access)的博弈指:AI 训练需要海量数据,而数据源方(图书馆、档案馆、开放获取项目)面临资源压力,双方在数据获取方式上产生冲突,并探索互利合作模式。
为什么重要
- AI 训练需要大量数据,而开放获取项目的资源有限
- 传统的防御手段(CAPTCHA、速率限制)会影响正常访问,也难以完全阻止大规模爬取
- 双方有合作空间:数据提供方需要资金,AI 公司需要稳定且有授权的数据来源
典型案例:Anna’s Archive
Anna’s Archive 的 llms.txt 提供了一个有参考价值的模式:
- 被动防御 → 主动开放:与其花成本部署验证码,不如提供程序化批量接口
- 条件交换:捐赠换取 API/SFTP 访问权,数据获取变为付费服务
- 资金回馈:数据使用方提供资金,支持项目持续维护数据
可能的演变方向
- 数据即服务(DaaS):存档项目向 AI 公司提供订阅制数据管道
- 训练数据供应链商业化:通过明确授权开展数据交易
- 开源社区参与:开源模型可享受优惠或免费访问