思之在科技——领航下一代智能,开创AI新纪元
这篇文章“有点东西”,如果你对AI底层的进化方向感兴趣,完读会有惊喜。
1.关于我们——致力于 AI 前沿科技的探索先锋
思之在聚焦AI前沿技术探索,以范式革新解决AI灾难性遗忘、无法在线增量学习、幻觉等问题,实现AI持续学习进化,打破当前的智能上限与能力边界,为实现AGI、释放更大商业价值提供底层核心支撑。
我们以解决灾难性遗忘难题为起点,以构建可进化人工智能体系为核心路径,最终奔赴AGI通用人工智能的终极目标,致力于打造真正具备自主学习、持续积累、动态进化能力的下一代智能体系。
2.我们做什么——让AI 底层具有动态可塑性
我们认为,AI时代创业的主要增量价值,已经从互联网时代的“互联”价值,逐渐转向了“智能”本身的价值。因此,我们致力于智能表现的提升,当前阶段的核心就是提升智能的「可塑性」。当前的AI范式,带来了“博学”的智能,产生了极大的价值。但是智能的核心价值除了“广泛性”以外,还有一个重要的性质就是「可塑性」。
而基于人工神经网络(ANNs)的大语言模型(LLMs),所有的 “学习” 都只发生在发布上线前的训练阶段 —— 期间神经网络连接权重不断调整,模型从数据中提炼规律、形成能力。而模型训练完成、正式部署后,就进入了 “纯使用” 状态:只会输出 tokens,不会再更新任何网络权重,并不会像人类一样边用边学、在交互中真正成长。
我们与LLMs对话记录的信息,并不会被它以学习的方式内化吸收而产生理解,而是通过结构化工程进行存储,在后续的新对话中被检索、处理和调用,就像一本实时的“小抄”。它只会越记越多、被脚本驱动加载“小抄”到上下文中,并不会自发地、从底层变得更懂你,这与人类的记忆完全不同,这会导致一种矛盾体验:你有时觉得它记住你的信息了、有时又觉得它很不懂你。其实它只是每次聊之前先读了一遍小抄。
3.关于可进化智能课题——难而正确、价值巨大
关于可进化智能——让“无法自主进化”的“静态智能”变成“主动持续增量参数学习”的“动态智能”。 我们用5句话把它简单阐释:
1)“静态智能”是当前现状:大模型无法自主进化(持续参数学习),是一个“静态的智能”;
2)“记忆外挂”是权宜之计:大模型目前的“记忆”是“外挂”的“小抄”,不能被智能内化吸收、无法融汇贯通、无法持续理解;
3)“直接代价”是成本高昂:模型持续交互能力存在严重局限,情境记忆依赖长上下文,消耗巨量推理资源;每一代大模型需要重头训练,花费数亿美元;
4)“可能根源”是发展路径:实时学习与进化在Transformer乃至ANN 范式长期以来尚未获得令人满意的解法,我们选择了一条截然不同路径;
5)突破约束,跳出既有范式:我们已初步探索出新范式,打造“可进化智能”基础;新范式脱离了原有ANN框架,并已取得初步验证成果。
4.我们的价值观——长期主义,做正确的事,哪怕它非常难
我们深知,AGI的落地、可进化智能的实现,没有捷径可走,唯有深耕底层、攻克核心瓶颈、重构技术范式,才能实现真正的行业突破。
在获得第一笔融资之前,我们潜心学习、研究、探索了三年。曾经我们于2024年8月,使用数据分布融合的方式,在未知预训练数据条件下进行后训练,得到了彼时 CMMLU SOTA 模型,随着行业后训练范式成熟,我们认为那不是终身学习的终极解法,于是放弃该范式,继续寻找答案。迭代了上百版理论基础、进行数千次的实验后,我们已初步找到了解法路径与技术体系。(技术细节我们后续篇章陆续探讨)
这是一段看起来艰难,但回顾时充满获得感与体验感的经历。我们感受到——要创造前人未能发掘的技术路径、解决未被解决的问题,试错与迭代才是唯一捷径。
有意思的是,我们目前得出的解决问题的方向和路径,与期初判定方向的“直线距离”并不遥远,但是这得完整经历我们数千次实验、迭代,“绕地球一周”后再收敛到当前的答案上。如果不怀着开创性的态度去持续探索、自我否定再迭代,很可能会迷失在半途。
5.展望未来——我们要成为全球领先的前沿科技公司
可进化智能是我们的第一阶段目标,我们的长期目标是构建通用人工智能,并助力人类产出科研成果、提升生产力。我们的愿景是成为全球顶尖的多领域前沿科技公司。
6.关注我们|见证AI创新的每一步
我们的公众号后续将分享我们对智能、记忆、意识本质的认知,也会分享对一些人工智能前沿的解读。
欢迎热爱AI前沿技术、深耕通用智能领域的朋友关注同行,期待与各界同仁携手,共探AGI无限可能!
思之在,我思故我在!