MLC-LLM-致力于让每个人都能在移动端运行大语言模型

2023年6月6日#AI #MLC #LLM #GPT139

AI 生成的摘要

MLC-LLM是一个工具，旨在让每个人都能在移动设备上本地开发、优化和部署AI模型。它支持各种设备进行推理，提供可定制的工作流程，并可以使用Huggingface的开源模型参数构建应用。用户可以自行构建应用或使用官方提供的应用，项目可以在本地设备上运行。支持的平台包括iPhone、iPad、Android手机、苹果Silicon和x86 MacBook、AMD、Intel和NVIDIA GPU以及WebGPU。需要注意的是，下载模型参数可能会消耗较多流量，手机端使用可能会超出内存限制。此文仅为工具分享记录，与HBlog无关。

工具分享#

MLC-LLM让每个人都能在每个人的设备上本地开发、优化和部署 AI 模型。

15-MLCLLM

特点#

跨各种设备进行推理，不仅包括服务器级硬件，还包括用户的浏览器、笔记本电脑和移动应用程序。提供可重复、系统化和可定制的工作流程，使开发人员能够以生产力为中心、Python 优先的方法实施模型和优化。

用户可以自己构建基于不同模型参数的应用，模型参数来自 Huggingface 的开源模型，构建时会自动进行量化。

也可以直接使用官方编译好的应用，整个项目运行在本地设备。

平台#

官方提供的 MLC Chat app 下载：

Apple

Android

WebLLM

支持的平台包括以下：

iPhone, iPad;
Android phones;
Apple Silicon and x86 MacBooks;
AMD, Intel and NVIDIA GPUs via Vulkan on Windows and Linux;
NVIDIA GPUs via CUDA on Windows and Linux;
WebGPU on browsers (through companion project WebLLM).

由于要下载模型参数，会消耗较多流量

手机端使用可能会超内存限制

声明#

本文仅作为工具分享记录。

本文与HBlog。