MLC-LLM-致力於讓每個人都能在移動端運行大語言模型

2023年6月6日#AI #MLC #LLM #GPT139

AI 翻譯

這篇文章透過AI由簡體中文翻譯成繁體中文。查看原文

AI 生成的摘要

MLC-LLM是一款让每个人都能在移动设备上本地开发、优化和部署AI模型的工具。它支持各种设备进行推理，包括服务器级硬件、浏览器、笔记本电脑和移动应用程序。开发人员可以使用可重复、系统化和可定制的工作流程，以Python为主的方法实施模型和优化。用户可以自己构建应用，也可以使用官方提供的编译好的应用。MLC-LLM支持多种平台，包括iPhone、iPad、Android手机、苹果Silicon和x86 MacBook、AMD、Intel和NVIDIA GPU（通过Vulkan在Windows和Linux上）、NVIDIA GPU（通过CUDA在Windows和Linux上）以及浏览器上的WebGPU。需要注意的是，由于下载模型参数会消耗较多流量，手机端使用可能会超内存限制。此文仅为工具分享记录，与HBlog无关。

工具分享#

MLC-LLM讓每個人都能在每個人的設備上本地開發、優化和部署 AI 模型。

15-MLCLLM

特點#

跨各種設備進行推理，不僅包括伺服器級硬體，還包括使用者的瀏覽器、筆記型電腦和移動應用程式。提供可重複、系統化和可定制的工作流程，使開發人員能夠以生產力為中心、Python 優先的方法實施模型和優化。

使用者可以自己構建基於不同模型參數的應用，模型參數來自 Huggingface 的開源模型，構建時會自動進行量化。

也可以直接使用官方編譯好的應用，整個專案運行在本地設備。

平台#

官方提供的 MLC Chat app 下載：

Apple

Android

WebLLM

支持的平台包括以下：

iPhone, iPad;
Android phones;
Apple Silicon and x86 MacBooks;
AMD, Intel and NVIDIA GPUs via Vulkan on Windows and Linux;
NVIDIA GPUs via CUDA on Windows and Linux;
WebGPU on browsers (through companion project WebLLM).

由於要下載模型參數，會消耗較多流量

手機端使用可能會超內存限制

声明#

本文僅作為工具分享記錄。

本文與HBlog。