Phi-3 của Microsoft cuối cùng cũng đã xuất hiện và đã chứng tỏ tốt hơn nhiều so với các mẫu mới ra mắt gần đây như Llama 3 và Mixtral trên nhiều mặt. Nhờ kích thước nhỏ bé, Phi-3 có thể dễ dàng chạy cục bộ trên PC Windows. Đây là cách bạn có thể làm như vậy bằng cách dùng Ollama và LM Studio.
Mục lục
Cách chạy Phi-3 của Microsoft trên Windows bằng Ollama
Ollama là một khung phần mềm cho phép bạn chạy và thử nghiệm LLM. Đây là cách dùng nó để chạy cục bộ Phi-3 của Microsoft trên Windows.
Bước 1: Tải và cài đặt Ollama
Đầu tiên chúng ta hãy tải và cài đặt Ollama. Đây là cách thực hiện:
- Ollama cho Windows | Liên kết tải xuống
- Dùng liên kết được đề cập ở trên và nhấp vào Tải xuống cho Windows (Preview) .
- Sau khi tải về, hãy chạy tập tin cài đặt.
- Bấm vào Cài đặt và cài đặt Ollama.
Bước 2: Chạy lệnh Phi-3 và tải xuống LLM
Tiếp theo, chúng ta hãy tải xuống mẫu Phi-3 bằng Ollama.
- Mở Ollama.com và nhấp vào Models .
- Cuộn xuống và nhấp vào phi3 . Nếu ban đầu bạn không nhìn thấy nó, bạn cũng có thể tìm kiếm nó.
- Tại đây copy lệnh tải phi3.
- Tiếp theo, mở Command Prompt (hoặc bất kỳ ứng dụng terminal nào bạn chọn) từ Start Menu.
- Ở đây, dán lệnh đã sao chép.
- Nhấn Enter và đợi Phi-3 tải xuống máy.
- Sau khi thấy thông báo “Gửi tin nhắn”, bạn đã sẵn sàng bắt đầu chat với AI không cần Internet.
Bước 3: Bắt đầu chat với Phi-3 LLM của Microsoft
Bạn có thể bắt đầu chat ngay trong ứng dụng đầu cuối. Chỉ cần gõ Câu lệnh và nhấn Enter. Dưới đây là một số lĩnh vực mình đã thử nghiệm :
Cách chạy Phi-3 của Microsoft trên Windows bằng LM Studio
Nếu bạn không thích chat với Phi-3 của Microsoft trên Windows bằng ứng dụng đầu cuối của mình và muốn có giao diện dành riêng cho nó thì không có gì tốt hơn LM Studio. Đây là cách thiết lập Phi-3 trên LM Studio và bắt đầu chat AI.
Bước 1: Cài đặt LM Studio
- Studio LM | Liên kết tải xuống
- Dùng liên kết ở trên và nhấp vào LM Studio cho Windows để tải xuống.
- Sau khi tải xuống, hãy chạy trình cài đặt và để LM Studio cài đặt.
Bước 2: Tải xuống file gguf Phi-3
Bạn sẽ không thể tìm kiếm và tải xuống Phi-3 từ chính LM Studio. Bạn sẽ cần lấy riêng file guff Phi-3. Đây là cách thực hiện:
- File Guff Phi-3-Mini | Liên kết tải xuống
- Dùng liên kết được cung cấp ở trên và nhấp vào Files .
- Tại đây, bạn sẽ tìm thấy hai phiên bản của mẫu Phi-3. Chọn một. Vì mục đích của mình, mình đang chọn phiên bản nhỏ hơn.
- Bấm vào Tải xuống .
- Sau đó lưu nó ở một vị trí thuận tiện.
Bước 3: Nạp Phi-3
Tiếp theo, chúng ta sẽ tải mô hình Phi-3 đã tải xuống. Thực hiện theo các bước để làm như vậy:
- Mở LM Studio và nhấp vào Mô hình của tôi ở bên trái.
- Hãy lưu ý đến ‘Thư mục mô hình cục bộ’. Đây là nơi chúng ta cần di chuyển file guff Phi-3 đã tải xuống. Bấm vào Hiển thị trong File Explorer để mở thư mục.
- Tại đây, tạo một thư mục mới có tên Microsoft .
- Trong thư mục Microsoft, tạo một thư mục khác có tên Phi-3 .
- Dán file guff Phi-3 đã tải xuống vào thư mục Phi-3.
- Khi bạn đã di chuyển file guff Phi-3, nó cũng sẽ xuất hiện trong LM Studio.
Bạn có thể cần phải khởi động lại LM Studio để nó nhận ra Phi-3 trong thư mục của nó. - Để tải mô hình Phi-3, hãy nhấp vào tùy chọn AI Chat ở bên trái.
- Bấm vào Chọn mẫu để tải .
- Và chọn mẫu Phi-3.
- Đợi nó tải. Sau khi hoàn tất, bạn có thể bắt đầu chat với Phi-3. Tuy nhiên, mình khuyên bạn nên chuyển mô hình sang GPU để CPU không phải chịu áp lực quá mức. Để làm như vậy, bên dưới “System Nhắc” ở bên phải, nhấp vào Advanced Configuration > Hardware Setting .
- Trong phần ‘Tăng tốc GPU’, nhấp vào Tối đa .
- Bấm vào Tải lại mô hình để áp dụng cấu hình .
- Sau khi tải mô hình, bạn có thể bắt đầu chat với Phi-3.
Bước 4: Bắt đầu chat với Phi-3 LLM của Microsoft
Và đó là về nó. Hãy tiếp tục và nhập Câu lệnh. Bất kể bạn có kết nối Internet hay không, giờ đây bạn có thể chat cục bộ với mẫu Phi-3 của Microsoft trên PC Windows của mình.
Câu hỏi thường gặp
Hãy xem xét một số câu hỏi thường gặp về việc chạy cục bộ Phi-3 của Microsoft trên PC Windows.
Làm sao khắc phục Ollama bị kẹt khi tải Phi-3?
Nếu bạn gặp sự cố khi tải Phi-3 qua Ollama trên command, bạn chỉ cần nhập lại lệnh ollama run phi3. Quá trình tải xuống sẽ tiếp tục từ thời điểm nó được thực hiện trước đó.
Mình hy vọng hướng dẫn này đã giúp bạn chạy cục bộ mô hình Phi-3 của Microsoft trên PC Windows thông qua Ollama và LM Studio.
