跨端兼容智能分类模型:一次训练,全平台精准归类
|
半年前被领导按头搞这个“跨端兼容智能分类模型”,说是要解决安全日志全平台归类的痛点。当时我盯着电脑屏幕上被打回三次的标题,心想这不就是把iOS、Android、Windows、Linux的日志格式强行喂进同一个模型里吗?结果测试组小王跑来跟我说:“哥,你模型在Windows上把‘系统更新失败’全归到‘恶意攻击’里了。”我原以为只是阈值调错了,结果发现是训练集里Windows日志占比不到5%,模型直接把少见格式当异常了——这锅得怪数据采集组,他们非说Windows安全日志“没价值”,结果现在模型在主流系统上反而掉链子。 但要说这模型完全没用也不对。最让我意外的是它在移动端的适配——我们原本以为iOS和Android的日志差异大到需要分开训练,结果模型靠“特征迁移”硬是把两者归到同一类里。上周安全运营的小李还跟我说:“现在iOS的‘越狱尝试’和Android的‘root检测’能自动归到‘设备风险’里,以前得人工核对三遍。”我敢打包票,这功能能活下来,就是因为安全运营那帮人太烦核对日志了——他们宁可多花两小时处理模型误报,也不想手动归类十种不同格式的日志。这就是优胜劣汰,模型要是不能省人力,早被他们喷死了。 不过最离谱的是模型在工业控制系统上的表现。我们测试时用的是某国产PLC的日志,结果模型把“传感器数据异常”全归到“网络攻击”里。后来发现是训练集里没工业控制系统的数据,模型只能靠“异常检测”硬猜——这就像让一个只会认猫的AI去认狗,它只能把狗当“不像猫的东西”处理。更搞笑的是,领导听完汇报后发来六十秒语音,说“工业控制系统是重点,模型必须适配”。我回他:“适配可以,但得先给数据。”他沉默了十八秒,说“你们想办法”。最后还是采购组的老张出马,找合作厂商要了三个月的日志,模型才勉强能分清“设备故障”和“攻击行为”。
文章配图,仅供参考 说到数据,这模型最坑的地方就是“一次训练,全平台精准”的宣传。我们实际跑下来,发现模型在训练集覆盖的平台(比如主流手机和Windows)上准确率能到90%,但在没覆盖的平台(比如某些小众Linux发行版)上直接掉到60%。上周安全大会上,我还听到友商吐槽:“我们模型在Ubuntu上能分清‘用户登录’和‘暴力破解’,但在CentOS上连‘系统重启’和‘DDoS攻击’都分不清。”这哪是“全平台精准”,分明是“训练过的平台精准,没训练过的平台抓瞎”。但领导不管这些,他只看后台数据。上周他把我叫到审稿间,指着屏幕说:“你看,模型上线后,安全事件的分类效率提升了40%。”我盯着屏幕上跳动的数字,心想这40%里至少有20%是运营组手动修正的结果——他们现在每天要花两小时检查模型的误报,比以前手动归类还累。不过领导不管这些,他只关心“效率提升”这个关键词。后来我偷偷问运营组的小张:“你们觉得模型有用吗?”他叼着凉掉的外卖说:“有用,至少现在误报是统一的,不用像以前那样,不同平台的日志误报方式都不一样,修起来更麻烦。” 现在回头看,这模型能活下来,靠的不是“全平台精准”,而是“省人力”。安全团队最缺的就是时间,他们宁愿接受一定比例的误报,也不想把时间花在手动归类上。就像我们采购安全设备时,领导总说“要选功能最全的”,但最后用的永远是“操作最简单的”——因为安全团队没时间学复杂的功能。这模型也是一样,它可能不够完美,但至少比人工归类快,这就够了。至于“一次训练,全平台精准”?呵,等哪天模型能自己采集数据、自己调整参数,再说这话吧。 对了,上周我还发现个有意思的事:模型在分类“钓鱼邮件”时,会把带“中奖”关键词的邮件全归到“恶意攻击”,但把带“发票”关键词的邮件全归到“正常业务”。我问研发组的老王:“这逻辑谁教的?”他挠挠头说:“可能是训练集里‘中奖’邮件90%是钓鱼,‘发票’邮件90%是正常。”我点点头,心想这模型倒挺实在——它不关心邮件内容,只关心“历史数据里这类邮件的标签分布”。这算不算另一种“优胜劣汰”? 现在模型已经迭代到V2.3了,准确率比半年前高了不少,但依然会在小众系统上掉链子。不过领导已经不纠结这个了,他最近在盯另一个项目——“AI驱动的安全运营”。我听着就头大,心想这又要搞多少“看起来很美”的功能?不过算了,反正安全团队的需求永远是“省时间”,只要新项目能满足这点,哪怕误报率高点,他们也会用——就像这个分类模型一样。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |

