初学者指南:使用AI Toolkit和Docker运行生成式AI模型
本课程将带您探索如何借助 AI Toolkit 和 Docker,在本地设备或云端环境中运行生成式 AI 模型。
在本地部署 AI 模型具备多重好处,包括保护隐私、节省成本以及实现对模型执行的全面掌控。课程中,您将掌握如何通过 Microsoft AI Toolkit 和 Docker 来操作多种模型。
Microsoft AI Toolkit 是一套工具与库的整合方案,可帮助您将本地 AI 模型嵌入到 .NET 应用程序中,并支持多类模型类型及任务。
以下是如何在 .NET 应用程序中应用 AI Toolkit 的实例:
Docker 提供了一个能在隔离容器中运行应用程序的平台,是确保 AI 模型在稳定环境中运行的强大工具。
您可以利用 Docker 部署各类 AI 模型:
在 DockerModels-02-MEAI-Chat 和 DockerModels-02-MEAI-Chat 示例中,我们展示了如何结合 Microsoft.Extensions.AI 使用本地模型。
通过本地化运行模型,不仅可以增强对 AI 应用的掌控能力,还能有效降低运行成本。借助 Microsoft AI Toolkit 和 Docker,您可以在 .NET 应用中灵活部署多种模型。