Có nhiều LLM (Large language models) khác nhau mà bạn có thể chạy local trên PC của mình. Nhưng khi nói đến smartphone, hơi khó làm. Bạn phải chạy một mô hình ngôn ngữ nhỏ hoặc có một thiết bị cao cấp có đủ sức mạnh xử lý để giải quyết LLM. Dù bằng cách nào, bạn vẫn có thể chat với các mô hình ngôn ngữ cục bộ và offline. Đây là mọi thứ bạn cần biết về việc chạy LLM cục bộ trên Android.
Cách chạy local offline LLM trên Android
Các mô hình ngôn ngữ lớn rất lớn và đòi hỏi khả năng tính toán cao. Nhưng ngay cả khi thiết bị Android của bạn có đủ tài nguyên để chạy SLM (mô hình ngôn ngữ nhỏ) cũng như LLM, bạn vẫn cần một ứng dụng cho phép bạn thử nghiệm chúng với giao diện thân thiện với người dùng.
Đây là lúc ứng dụng như MLC Chat phát huy tác dụng. Hãy dùng các bước bên dưới để chạy LLM cục bộ trên Android của bạn bằng ứng dụng Chat MLC.
Bước 1: Cài đặt ứng dụng MLC Chat
- Ứng dụng Chat MLC | Liên kết tải xuống
- Đầu tiên, nhấp vào liên kết ở trên và tải xuống APK cho ứng dụng MLC Chat. Khi được nhắc, hãy nhấn vào Vẫn tải xuống .
- Cài đặt ứng dụng MLCChat. Sau khi hoàn tất, hãy mở nó.
Bước 2: Tải xuống LLM
Trên ứng dụng MLCChat, bạn sẽ có danh sách các mẫu có sẵn mà bạn có thể tải xuống. Nhấn vào liên kết tải xuống bên cạnh mẫu bạn thích và đợi nó tải xuống.
Bước 3: Chạy LLM đã cài đặt
Sau khi tải xuống, hãy nhấn vào biểu tượng chat bên cạnh để bắt đầu chat. Đợi mô hình khởi tạo. Khi đã sẵn sàng, hãy tiếp tục và bắt đầu chat với AI.
Lưu ý rằng từ danh sách các kiểu máy có sẵn trên ứng dụng MLCChat, sẽ có một số kiểu máy, chẳng hạn như Llama3, yêu cầu nhiều sức mạnh xử lý. Nhưng bạn luôn có thể cài đặt các mô hình và kiểm tra xem chúng có chạy đủ mượt không. Nếu không, hãy thử một mô hình ngôn ngữ nhỏ hơn.
Trong thử nghiệm của mình (trên Nothing Phone 1), Gemma-2b không tải được, trong khi Llama3 đã tắt giao diện người dùng hệ thống. Những cái hoạt động tốt là Llama-2 và Phi-2. Sự khác biệt chính giữa LLM và các mô hình ngôn ngữ nhỏ hơn khác là lượng thông tin mà chúng được đào tạo (các tham số). Vì vậy, hãy chọn kiểu máy theo nhu cầu và khả năng của thiết bị Android của bạn.
Mình hy vọng bạn có thể cài đặt và chạy LLM trên thiết bị Android của mình cục bộ.
