真实世界种子语料评测

门禁通过

冻结测试集不会在本轮规则开发中用于调参；因此“门禁通过”不等于所有样本完全匹配，而是各分层的 precision、recall、解析率和性能均达到配置阈值。

120/121

样本通过

100.0%

Precision

99.6%

Recall

99.8%

F1

20/20

决策正确

0

False Block

0

多余确认

0

危险放行

50.30 ms

P95

执行决策误报指标

指标	数量	比例	含义
False Block	0	0.0%	预期 allow/ask，却被 block
Unnecessary Ask	0	0.0%	预期 allow，却要求确认
Unsafe Allow	0	0.0%	预期 ask/block，却被 allow

按语言

语言	TP	FP	FN	Precision	Recall	F1
bash	154	0	1	100.0%	99.4%	99.7%
python	37	0	0	100.0%	100.0%	100.0%
node	40	0	0	100.0%	100.0%	100.0%

按语料来源

来源	TP	FP	FN	Precision	Recall	F1
public-derived	113	0	1	100.0%	99.1%	99.6%
public-snapshot	93	0	0	100.0%	100.0%	100.0%
synthetic-realistic	25	0	0	100.0%	100.0%	100.0%

按数据集分层

分层	TP	FP	FN	Precision	Recall	F1
regression	25	0	0	100.0%	100.0%	100.0%
test	16	0	1	100.0%	94.1%	97.0%
validation	190	0	0	100.0%	100.0%	100.0%

按风险类别

类别	TP	FP	FN	Precision	Recall	F1
credential_access	29	0	0	100.0%	100.0%	100.0%
data_exfiltration	19	0	0	100.0%	100.0%	100.0%
defense_evasion	14	0	1	100.0%	93.3%	96.6%
destructive_behavior	13	0	0	100.0%	100.0%	100.0%
download_execution	10	0	0	100.0%	100.0%	100.0%
dynamic_execution	17	0	0	100.0%	100.0%	100.0%
interpreter_escape	15	0	0	100.0%	100.0%	100.0%
network_egress	54	0	0	100.0%	100.0%	100.0%
persistence	14	0	0	100.0%	100.0%	100.0%
privilege_escalation	20	0	0	100.0%	100.0%	100.0%
second_stage_payload	6	0	0	100.0%	100.0%	100.0%
system_modification	20	0	0	100.0%	100.0%	100.0%

失败样本

ID / 来源	期望类别	实际类别	预期/实际决策	漏检（FN）	缺少指定 finding	禁止 finding	实际证据
`holdout-atomic-disable-journald-storage-001` redcanaryco/atomic-red-team public/atomic-red-team/disable-journald-storage.sh.txt	defense_evasion, privilege_escalation, system_modification	privilege_escalation, system_modification	未标注 / block	defense_evasion	defense.journald-storage-disable	无	`system.sensitive-config`: sudo sed -i 's/Storage=auto/Storage=none/' /etc/systemd/journald.conf `privilege.sudo`: sudo sed -i 's/Storage=auto/Storage=none/' /etc/systemd/journald.conf

生成时间：2026-07-29T01:42:28.669Z。样本只作为文本传给扫描器，评测器不执行样本。