编码与信度看板数字话语分析与智能决策 · 数据链
第 2 周 · 两把尺子量同一批话
未登录

登录课堂账号

用 W1 训练营同一套账号;登录只用于调用课堂模型额度。

i 密码只在浏览器里算成加盐哈希,再发给课堂中转站;看板本身不含任何 API Key。登录状态只保存在这台电脑。

粘贴自己的语料

一行一条。适合没带 W1 JSON、或只想用一小段文本练习的同学。

建议 12–30 条;少于 8 条算出的 α 很不稳定,只适合演示。

这页看板怎么用

90 分钟课堂路线:接入 → 设计 → 人工编码 → 机器编码 → 一致性 → 导出。

0 · 接入语料

把 W1 训练营导出的「全部学习数据(JSON)」拖进来。看板会自动抽出买家发言,手机号、邮箱、长订单号会先脱敏。也可以直接粘贴文本,或先用内置的 24 条示例跑通。

1 · 设计编码表

AI 从样本里抽 5 个候选变量;你只改最容易被同桌吵起来的那一个变量:把「什么算 / 什么不算」写清楚,再补正例、反例和「信息不足怎么办」。点「运行自检」,红项清零再冻结为 v2。

2 · 人工编码

按变量逐个点选。编码员 A 是你;编码员 B 可以是同桌,也可以留空,后面用机器编码作为 B。课堂建议先只编 2 个核心变量,每个变量 24 条。

3 · 机器编码

登录后,看板把冻结的编码表和选中的文本分批发给课堂模型,返回每个变量的编码值、置信度和原文证据。不要导入真实姓名、电话、订单号。

4 · 一致性检验

看板同时算一致率、Cohen's κ 和 Krippendorff's α,并列出分歧条目。α ≥ 0.80 可用;0.667–0.80 有争议;低于 0.667 不可用。α 不是越高越好:如果样本几乎没有差异,α 会失去意义。

5 · 导出交付

交的不是网页,是导出物:编码手册 v2 CSV、人工 / 机器编码 CSV、信度结果 CSV、分歧清单 CSV、看板 JSON 备份和 A4 报告。

常见问题

  • 登录失败:账号小写;密码区分大小写;确认用的是课堂发的账号。
  • 模型没反应:看日志里的错误码。403 = 登录失效;402/429 = 额度或频率到顶;503 = 中转站账本未就绪。
  • 网络断了:人工编码和导出照常可用;机器编码可先用「离线示例结果」继续上完一致性这一节。
  • 换电脑:导出 JSON 备份,在新电脑上「导入备份」即可续作。

AI 带我判 · 不替你判

先找原文,再对定义,最后才选决定。

i规则:AI 只追问,不直接告诉你选哪个值。你要先引用原文、说出判据;答不清时它会继续问。最后选什么,由你自己定。
至少来回 2 轮,再整理依据。

运行第二个模型前的确认

DeepSeek 与火山引擎是两家不同的服务商;这是交叉验证,不是投票。

!会发出去什么:你选中的语料文本、冻结的编码表、变量定义与正例。看板会先遮手机号、邮箱、长单号,服务端再遮一遍;但请你自己确认文本里没有真实姓名、详细地址、身份证号。
i数据去哪:第一套编码发给 DeepSeek(Flash);第二套编码发给火山方舟(豆包 Turbo)。两边只用于本次课堂编码,服务端不保存 prompt / 原文,只记账号、模型、token 与金额。

如果对数据出境有顾虑,可以取消,改用离线示例或纯人工编码;不影响你完成信度检验。

选择哪一列是语料原文

CSV 里有多列都像文本;看板不猜,避免把订单备注或客服回复当成买家发言。

会按这一列生成语料;其余列只用于显示平台、日期等元信息。