AI赋能中药识别:Coze工作流的实践案例
五一好啊~
昨天既然提到了 Coze五一游玩,扣子不职场,帮你出谋划策,今天就好好聊聊我和它的缘分。
甚至去年我用它作为主工具,开发了几套课程AI化的完整课件项目用于交付,今天与大家分享一下~
最开始接触 Coze 是 24 年年底。
那会儿真正进我视野的其实是飞书多维表格,当时一个特别典型的应用,就是批量处理自媒体的文章配图。提示词生成标题、选题、正文润色,多维表格全能搞定。
但有一个痛点当时它解决不了:精细化的、个性化的图片生成。
所以当时自媒体早期那一批技术比较溜的玩家,都走的是一套组合拳——
文字批量 + 图片精细化存储,整套就跑起来了。具体细节我就不展开了,反正 Coze 就是这么进我视野的——它是来补飞书多维表格"不够自动化"那一块短板的。
后来真正去碰 Coze,了解工作流节点、参数设置那些,确实门槛比其他功能要高不少,需要一些编程或者代码的基础。
但它给普通工作者带来的自由是真的大。
它当时对标的是Dify、FastGPT这种更复杂的工作流平台。再加上字节系的身份,投资和推广都很猛,整个生态都特别好。
到了 25 年,我和 @赛博小熊猫Loki 还参加过一次 Coze 的线下活动——看到 Coze 已经被嵌进各种 AI 玩具、AI 硬件里头了,开发者拿它做产品。
Coze 的生态版图一直在扩张,而且真的进入了商用的阶段。
铺垫完了,进正题。
去年 10 月到 12 月那段时间,我接了几所大学院校的课程 AI 化改造需求。简单说,就是老师正常讲教材的同时,多加一些 AI 实训课,让 AI 能真的结合他们的专业落地。
我挑一个特别有意思的案例讲——某院校的中医药专业,做中草药性状识别的课题。
整个项目我们拆成了三大模块:
今天只展开第一块。
第一模块的目标,其实是先帮学生建立几个最基础的认知:
要让学生能识别一张中草药图片,技术上其实就两件事——
第一,给到模型足够清楚的"我是干嘛的、你要找什么特征"——这就是提示词 + 药材专业词汇。
第二,给到模型一个能看图的能力——图片识别。
这两件事单独哪一件,豆包都已经够用。但要让学生形成稳定的、可控的、可复现的识别流程,单靠豆包窗口是不够的——所以我们把它包进了 Coze 工作流。
这块我们和老师讨论很久,最后决定在课件里还是把生成效果的影响因素单独拎出来强调一下。
1. 相似药材难以区分。AI 在识别形态高度相似的中草药时,容易出现混淆。比如防风和黄芪都是常用的根类中药,在外观上有非常多相似之处,模型经常翻车。
2. 图片本身的质量影响极大。拍摄的清晰度、光线、角度,都会直接影响模型识别中草药的准确性——同一味药,光线打不对,模型就给你识成另一味。
3. 大模型对少见或地域性药材识别能力有限。就像大模型这本"字典"里只收录了常用字,遇到生僻的方言用字,它就查不到读音和含义——因为它没收录这些"小众信息"。
当然其中我们也踩过相当多的坑,做了非常多模型相关的实验,放一张很初级的提示词和通用大模型识别准确率的图,就知道有多离谱了一些我们明确从老师那里拿到的药学图片,识别的一塌糊涂,还是和老师沟通后以实践AI工具为最优先,模型能力和学生的能力会逐渐提升的,准确率也会更好,也引到了我们使用模型训练的方式进行的第二大PBL模块的尝试。
我们希望学生的产出,不是模型吐一句"这是黄芪"就结束。
我们希望它出来的是这样一张卡片——
这种卡片对学生才有用,因为它对应的是专业课本里的鉴别框架,而不是 AI 给的一句标签。
精确度也是这里头要平衡的——在教学效果和识别准确率之间,取一个学生用得起来、又不至于离谱的中间值。具体细节我就不展开了。
简单说一下我们带学生走的路径:
整套打下来,学生从"对 AI 一无所知",到"能讲清楚 AI 为什么这次识别错了,下一次怎么改提示词让它对"。
这件事在去年 10-11 月份得到了老师的认可,最后是用进了教材的。
其实现在不少院校都在做类似的事情。
如果学校自己有训练能力,那是另一条路(明天讲);但就算不做训练,光是用 Coze 工作流,就已经能给学生把整条流程跑通。
而且这只是Coze 1.0的技术能实现的事,昨天刚出的Coze 2.0我们有机会再展开。这三天,先把过去 1.0 就能跑通的成果跟大家分享一下~
简单预告一下:
整个核心功能的探索和实践都是在去年 coze 1.0的时候就已经能够满足学校专业一些AI课程化的探索。
今年继续使用不同难度实现方式,满足各种实际场景需求,从豆包到coding,能抓到老鼠的就是好猫。
咱们杀鸡绝不用牛刀,主打一个易用且精准满足需求。其实还有很多可以与大家分享的主题和实际案例,如果你感兴趣,欢迎留言与我讨论~
我是刘旭,我们明天见。