AI三大核心要素解析
检索增强生成=检索+语言模型
知识有时效性;缺乏特定领域知识;结果难以解释,真假难辨;存在知识幻觉
检索增强:外部知识库,提供上下文context(外挂知识库--文档、知识图谱:图数据库、ES数据库、Milvus数据库)
知识更新便捷:只需更新知识库
通过用户输入,混合检索外挂知识库,合并上下文、历史聊天,构造prompt,输出给LLM,最终LLM给出回复
算法是三个核心要素中最重要的,没有算法的突破,AI不可能发展至今,算法的突破主要归功于深度学习相关进展,借鉴人类思考方式,通过多层次神经网络实现。
现在几乎所有AI算法都基于深度学习或其变种。常见算法如下
人工智能常用算法之一,使系统从数据中学习改进。常见机器学习算法包括决策树、支持向量机、朴素贝叶斯、逻辑回归、随机森林、神经网络等。
机器学习分支,模拟人脑神经元连接和信号传递。深度学习在处理大规模数据和复杂任务上表现出色,如图像识别、语音识别、自然语言处理等。常见深度学习算法包括卷积神经网络、循环神经网络、长短期记忆网络(LSTM)等。
强化学习是一种通过观察环境和采取行动来学习最优策略的算法。它通过与环境交互,根据行动结果获得奖励或惩罚,从而学习如何做出最佳决策。著名强化学习算法包括Q-learning、Deep Q-Network(DQN)、策略梯度等
生成对抗网络是一种深度学习框架,由两个对抗神经网络组成,分别是生成器(Generator)和判别器(Discriminator)。生成器学习从随机噪声生成与训练数据相似的新样本,而判别器尝试区分生成器生成的样本和真实训练数据。生成器和判别器通过对抗学习不断改进,最终生成器可以生成更逼真的样本,判别器也变得更准确。生成对抗网络常用于生成图像、语音、文本等内容,也可应用于数据增强、生成对抗攻击等领域。
除上述算法,还有许多其他AI算法,如遗传算法、支持向量回归、马尔科夫决策过程等,每种算法都有适用场景和特点。AI发展也涌现了许多新算法和技术,不断推动AI进步和应用。
算力
算力指计算机处理能力,由于深度学习算法涉及大量参数(不同功能AI算法参数数量不同
的),有的AI算法参数达几百亿。需要通过训练调整AI各参数,因此计算量大,需高性能计算机实现。同时神经网络算法可并行计算,采用支持并行计算处理器实现AI训练有优势。算力成为推动AI技术进步的重要因素。AI常用算力如下:
CPU(Central Processing Unit):计算机中央处理器,负责执行程序指令和逻辑运算。在AI中,CPU用于处理一般计算任务和控制计算机系统运行。
GPU(Graphics Processing Unit):专门用于图形处理的处理器,具有高度并行计算能力。在AI中,GPU广泛应用于深度学习任务,因为深度学习模型中的矩阵运算和神经网络计算可并行在GPU上进行,大幅加速计算。
TPU( Tensor Processing Unit ):谷歌开发的专用于加速机器学习任务的处理器。TPU针对机器学习任务需求优化,特别适用于大规模高效张量计算,如神经网络前向和反向传播。
分布式计算:一些需处理大规模数据和复杂任务场景中,AI系统利用分布式计算资源,将计算任务分配给多个计算节点并行处理,提高计算效率和处理能力,加快训练和推理速度。
云计算:云计算平台提供弹性和可扩展计算资源,使用户按需获取所需算力。通过云计算,AI开发者可根据需求动态调整计算资源规模和配置,适应不同任务和工作负载。
数据
数据用于训练AI,即AI算法通过大量数据学习AI中算法参数与配置,使AI预测结果
与实际情况越吻合。用于AI的数据越多,AI算法能力越强。这里说的数据是指经过标注的数据,不是杂乱数据。所谓经过标注的数据是指有准确答案的数据。比如要训练A!的识别手写数字能力,必须有很多写了数字图片,同时每张图片上的数字有准确标准答案。AI训练过程就是让计算机去识别图中数字并与标准答案比较,经反复调整,AI就可非常准确识别其中数字。数据在AI中不可或缺,是培养和训练机器学习和深度学习模型关键资源。数据价值体现在以下几个方面:
训练模型:数据是训练模型基础,通过大量数据训练模型可提高其准确性和性能。高质量多样化数据可帮助机器学习算法发现数据模式和规律,从而更好进行预测、分类、决策等任务。
支持决策和洞察:数据提供对现实世界深入了解和洞察,帮助人们做更明智决策。通过分析和挖掘数据,可发现潜在趋势关联和模式,为企业和组织提供业务决策依据。
创新和发现:数据促进创新和发现。通过对数据分析和挖掘,人们可发现新见解、新关系,并从中获得新想法和创新
数据