澳大利亚监管机构对 Telegram 审核调查的一些细节
澳大利亚互联网安全监管机构 eSafety 于 2024 年 3 月启动了对 Telrgram 审核的调查。@tginfo 编辑查阅了已发布的文档。在文档中，Telegram 向该监管机构披露了阻止非法内容的系统的一些工作细节。
- 私信中的审查
- 加密对话中的审查
- 私密频道和群组中的审查
- 自动检测非法内容
- 自动系统的技术结构
- 处理用户举报
- 与组织的合作
- 永久封禁的标准
- 打击系统
- 审核团队的组成
- 举报的响应时间
- 封禁上诉的成功率
- 自动检测非法内容的统计数据
- 关于审核的其他信息
- 此外：关于 2024 年 9 月的常见问题解答更新
- 监管机构的其他评论
- 其他事实
私信中的审查
加密对话中的审查
- 即使一方提交了举报，来自加密对话的消息也不会转发给审核人员。¹
- 来自加密对话的举报不含消息文本，Telegram 使用一种“替代信号 (alternative signals)”，无法向公众披露。
私密频道和群组中的审查
- 大多数私密频道和群组对审核人员不可见，除非其中的参与者对该社区提交了举报。
- Telegram 的规则禁止在可公开查看的频道、群组、机器人等中宣传暴力和传播非法色情内容。尽管如此，Telegram 并不容忍在服务任何部分出现的非法内容。
- Telegram 代表澄清说，其规则中的“公开 (public)”指的是应用程序中任何积极审核的部分。
- 没有用户名不代表频道是私有的：对于审核人员，如果频道或群组通过邀请链接对公众开放，那么就会被思维公开的。例如，如果到私密群组的链接发布在 Telegram 一个可公开查看的部分或其他社交网络上，这样的私密社区会被认为是处于审核目的公开访问的，因为审查人员可以通过公开的链接查看其中的消息。
- 所有私密群组和频道中的照片和视频会被自动检测已知非法内容的系统扫描。
自动检测非法内容
- Telegram 可自动检测照片、视频和文本中的非法内容，但仅在某些情况下会检测。
- Telegram 不会自动扫描私信，除非参与者提交举报。
- 自动检测到的潜在极端主义内容中，有 65% 发送给审核人员进行人工审查。
- 新检测到的疑似涉及虐待儿童的材料可能立即自动处理，或者发送给审核人员进行人工审查，“根据相关模型结合其他因素作出的判断的可信度”。
Telegram 可自动检测已知的非法内容和新出现的疑似非法内容。两种内容有不同的规则：
已知内容（极端主义和虐待儿童）
- Telegram 在除私信外的所有部分自动扫描已知的照片和视频，包括私密群组和频道。
- 默认情况下 Telegram 不扫描消息中的文本。
- 如果对消息或对话提出举报，Telegram 会扫描匹配已知非法材料的文本。
新出现的疑似非法内容（极端主义和虐待儿童）
自动系统的技术结构
- Telegram 主要使用自己的签名数据库来自动检测非法内容。该数据库仅收集 Telegram 的审核人员人工确定的非法材料。
- Telegram 还定期检查欧洲刑警组织的签名数据库并集成到其系统中。
- 用于检测极端主义文本的模型和工具在大多数语言中都能较好的工作。
- Telegram 系统跟踪用户被群组管理员移除的时间、原因和频繁程度，并在某些情况下采取适当的措施；此外 Telegram 的人工智能模型在处理举报和自动决策时也会考虑这些指标。
- Telegram 使用某些信号来确定与已知被此前封禁的群组相似的新群组。
- Telegram 不适用链接黑名单。Telegram 表示：“与静态链接黑名单相比，将工作重点放在基于机器学习的分类上往往能取得更好的效果。”
- Telegram 表示它对媒体来源进行了“广泛监控”，且会审查“未注册用户和可信任组织”通过电子邮件发送给 Telegram 的链接。
- 基于多语言转换器的微调自监督多语种语言模型（fine-tuned self-supervised multilingual transformer-based language models）；
- 微调视觉转换器模型（fine-tuned vision transformer models）；
- 基于多语言转换器的端到端 ASR（自动语音识别）系统 [multilingual transformer-based end-to-end ASR (Automatic Speech Recognition) systems]；
- 基于多模态变换器的图像-文本数据集对齐模型（multimodal transformer-based models aligned on image-text datasets）；
- 基于多语言转换器的大型语言模型（multilingual transformer-based large language models）；以及
- 自定义数据聚类算法。
根据 Telegram 的说法，以上模型中的“若干个”已经在报告期结束（2024 年 2 月 29 日）钱部署，此后该公司显著扩展了 AI 和机器学习技术的使用。
处理用户举报
与组织的合作
Telegram 还指出，截至 2024 年 10 月，它“正在加入互联网观察基金会的安全计划，其中包括访问包含已知 CSAM 网站链接的 URL 列表”。
永久封禁的标准
- 以文字、图片、录音、录像或其他形式传播呼吁使用暴力的材料。Telegram 明确指出，这是指“类似具体和明确的人身伤害威胁”的材料。
- 传播可怕或令人震惊的图形材料。Telegram 给出的例子包括“酷刑细节、事故照片”或“美化或宣扬暴力或恐怖主义意识形态”的材料。
- 为恐怖组织或事业募集资金。
- 持有或管理参与上述活动的社区。
打击系统
如果属于“记者”或“研究人员”的社区或账户出于传播“合法可选研究、历史材料或新闻”的目的发表了极端主义内容，Telegram 可能：
Telegram 指出，决定的执行取决于“所发布内容在适用法律下的严重性、目的和相关性”。
审核团队的组成
Telegram 向该监管机构披露了以下数据²：
Esafety 询问了 Telegram 是否有一个快速响应团队：
举报的响应时间
封禁上诉的成功率
- 与传播极端主义内容有关的自动封禁上诉成功率为 3%。
- 基于用户举报传播极端主义内容的封禁上诉成功率为 2%。
- 与传播虐待儿童内容有关的自动封禁上诉成功率为 8%。
- 根据用户举报传播虐待儿童内容的封禁上诉成功率为 8%。
自动检测非法内容的统计数据
关于审核的其他信息
- 删除对话或频道后，审核人员会手动检查用户查找该社区时最常用的搜索词。这样做是为了将这些查询从 Telegram 的公开搜索中排除，从而限制类似内容在未来的传播和使用。
- 如果群组管理员本身不违反 Telegram 的规则（例如，如果群组暂时受到攻击者行为的影响），Telegram 审核人员可以自行决定暂时关闭群组，给管理员清除违规行为的机会。
- 反之，如果社区被用来传播被禁止的内容，无论是由管理员还是参与者发布，则其管理员和违反 Telegram 使用条款的用户都可能被永久封禁。
- 当 Tekegram 识别到传播极端主义材料的用户时，会检查“与此用户相链接的更多举报，以及用户拥有或管理的任何社区”。Telegram 表示，任何被发现传播此类材料的社区也将被删除。
- 频道的订阅者或群组的成员，如果“没有参与管理、直接传播或推广违规内容，即使他们是可能存在此类内容的社区的成员，也不会被自动封禁”。Telegram 表示，采取这种做法是为了避免对执法人员、记者、活动家和其他用户造成意外伤害，因为他们可能会因为客观原因成为此类群组的成员。
- 鉴于虐待儿童行为的严重性，任何与之相关的违规行为通常都会导致相关账户和社区被永久删除。此类群组和频道的所有者也可能被删除。
此外：关于 2024 年 9 月的常见问题解答更新
2024 年 9 月，Telegram 在官方网站上更新了一些有关审核和向执法机构披露数据的文档。@tginfo 编辑随即指出并没有重大变化，新文本只是转移了重点。
监管机构提请注意当时常见问题中的文本：“所有 Telegram 对话和群组对话都是对参与者私密的。我们不会处理与之相关的任何请求。”Telegram 则回应称，文件中的这一部分已经过时，“是由于有关 Telegram 对版权侵权的立场的声明被错误地复制到了有关 Telegram 对非法内容的立场的部分”。
Esafety 使用 archive.org 检查了文档的较旧版本，并注意到 Telegram 的陈述存在差异：即使在 Telegram 的常见问题中提到版权侵权之前，页面上就已经存在该文本了。
值得一提的是，在 2024 年 9 月底，Telegram 又对文档进行了修改，扩大了 Telegram 向当局披露用户 IP 地址和电话号码的条件列表。
监管机构的其他评论
- eSafety 认为，如果举报仅在犯罪者不在用户联系人中时可用，这可能会妨碍 Telegram 充分识别犯罪者并防止他们在平台上进一步实施有害行为，即使用户已经屏蔽了他们。
- eSafety 强调，Telegram 仅使用自己的签名数据集会增加遗漏非法内容的风险，因为即使其他在线服务已经检测到此类内容并将数字指纹添加到大型共享数据库中，此类内容仍有可能继续传播。
- eSafety 注意到，NCMEC（美国国家失踪和受虐儿童中心）和 IWF（网络观察基金会）表示，在 Telegram 首席执行官于 2024 年 8 月 27 日被捕之前，任何联系 Telegram 的尝试都被置之不理。
其他事实
- Telegram 报告说，来自澳大利亚的用户占 Telegram 每月活跃用户的 0.2％。
- Telegram 仅与执法机构共享被封禁用户的个人数据。
- 该公司每天评估所有报告中的 1% 至 5%，并将其随机分配给审核人员，以确定潜在的错误率。Telegram 表示：“错误率不达标或涉及系统性、严重或实质性错误的审核人员将被替换。”