ChatGPT và GPT-4 hiện đã giới thiệu hỗ trợ cho các plug-in của bên thứ ba, giúp giới thiệu rất nhiều cách sáng tạo Content mới để sử dụng AI. Tuy nhiên, đây không phải là cách duy nhất để tận dụng tối đa ChatGPT, có rất nhiều công cụ nguồn mở do cộng đồng phát triển có thể giúp bạn làm được nhiều việc hơn với ChatGPT nếu bạn đang muốn sử dụng phiên bản miễn phí của nó.
Một cách để làm điều này là sử dụng Vlog , một công cụ giúp bạn chuyển đổi tài liệu thành video mà sau đó bạn có thể chat và thảo luận với ChatGPT. Vì vậy, nếu bạn đang tìm cách lấy lời thoại (Transcript) từ video bằng AI thì đây là công cụ hoàn hảo dành cho bạn. Đây là cách bạn có thể sử dụng Vlog để chuyển đổi video thành tài liệu và chat với ChatGPT về điều tương tự.
Mục lục
Tại sao nên chuyển đổi video thành file tài liệu PDF bằng ChatGPT ?
Chuyển đổi video thành file tài liệu có một vài lợi ích. Bạn có thể tạo mô tả chi tiết về video được cung cấp bằng cách sử dụng Vlog, sau đó ChatGPT có thể phân tích mô tả này để có các kết quả khác nhau. Bạn có thể tạo tóm tắt, suy đoán và mô tả về các phần khác nhau của video, phân tích các chi tiết ẩn, v.v. Vlog là một công cụ do cộng đồng phát triển được lưu trữ trên GitHub sử dụng các Model được đào tạo trước, bao gồm BLIP2, GRIT và Whisper.
BLIP2 được sử dụng để phân tích hình ảnh trong video, trong khi GRIT được sử dụng để phân tích môi trường. Mặt khác, Whisper được sử dụng để kiểm tra và phân tích âm thanh trong video và tạo tài liệu của bạn theo đó. Các mô hình này đã được đào tạo trước và toàn bộ dự án có sẵn để tải xuống trên GitHub. Nhà phát triển cũng có bản demo HuggingFace mà bạn có thể sử dụng để kiểm tra và phân tích khả năng của Vlog.
Chuyển đổi video thành file tài liệu PDF bằng ChatGPT (Vlog) (2 phương pháp)
Về cơ bản, có hai cách để sử dụng Vlog, bạn có thể dùng thử bản demo được lưu trữ trên HugggingFace hoặc cài đặt cục bộ trên PC của mình. Cài đặt cục bộ trên PC của bạn có một số yêu cầu; tuy nhiên, TekZone.vn sẽ hướng dẫn bạn trong toàn bộ quá trình. Sau khi được cài đặt cục bộ, Vlog có thể giúp chuyển đổi video của bạn thành một tài liệu toàn diện mà sau đó bạn có thể cung cấp cho ChatGPT để bạn có thể giúp phân tích và thảo luận về video đó. Thực hiện theo phương pháp ưa thích dưới đây để giúp bạn sử dụng Vlog trên PC của mình.
Phương pháp 1: Thử bản HuggingFace
Nếu bạn chỉ muốn kiểm tra khả năng của Vlog trước khi cài đặt cục bộ trên PC của mình, thì bạn có thể dùng thử HuggingFace, bản demo này có thể giúp bạn dùng thử một bộ video được tải lên trước. Thực hiện theo các bước dưới đây để giúp bạn trong quá trình này. Bắt đầu nào.
Truy cập platform.openai.com . Bây giờ hãy đăng nhập vào tài khoản OpenAI của bạn bằng một trong các tùy chọn được hiển thị trên màn hình của bạn.
Khi bạn đã đăng nhập, hãy nhấp vào hình đại diện hồ sơ của bạn ở góc trên cùng bên phải của màn hình.
Nhấp vào Xem khóa API .
Bây giờ hãy nhấp vào + Tạo khóa bí mật mới .
Đặt tên cho khóa API của bạn theo sở thích. Tek Zone khuyên bạn nên chọn một tên giúp bạn dễ dàng xác định khóa trong tương lai. Đối với hướng dẫn này, chúng tôi sẽ đặt tên cho khóa Vlog key test .
Sau khi được đặt tên, hãy nhấp vào Tạo khóa bí mật .
Khóa API mới hiện sẽ được tạo cho tài khoản của bạn. Nhấp vào biểu tượng Sao chép bên cạnh nó để sao chép khóa vào khay nhớ tạm của bạn.
Sau khi sao chép, hãy truy cập hugface.co/spaces/TencentARC/VLog trong trình duyệt của bạn. Đây là bản demo HuggingFace cho Vlog. Bây giờ, dán khóa đã sao chép vào góc trên cùng bên phải trong hộp văn bản có tiêu đề Nhập khóa API OpenAI và nhấn Enter .
Như đã đề xuất, hãy nhấn Enter sau khi bạn đã dán khóa.
Bây giờ khóa sẽ được gửi và nếu mọi việc suôn sẻ, bạn sẽ thấy thông báo cho khóa OpenAI đã gửi thành công(y) .
Tiếp theo, hãy bắt đầu bằng cách chọn một video mẫu mà bạn muốn chuyển đổi trong phần Ví dụ ở bên phải của bạn.
Bây giờ, video sẽ hiển thị bên dưới video_input bên trái của bạn.
Nhấp vào Tạo tài liệu video để chuyển đổi video thành tài liệu.
Bây giờ, một tài liệu sẽ được tạo cho video của bạn và tự động được cung cấp cho ChatGPT.
Sau khi hoàn tất, hãy nhập truy vấn của bạn trong Chatbot và nhấn Enter. Vì chúng tôi đã sử dụng video Lý thuyết Big Bang cho hướng dẫn này, hãy xem liệu ChatGPT có thể giúp chúng tôi xác định những cái tên được đề cập trong video này hay không. Vì vậy, chúng ta đặt câu hỏi sau đây.
“Liệt kê tất cả những cái tên được đề cập trong video”
Khi bạn nhập truy vấn của mình, ChatGPT sẽ xử lý yêu cầu với thời gian ước tính được hiển thị ở góc trên cùng bên phải. Khi quá trình hoàn tất, bạn sẽ thấy một phản hồi hợp lệ, trong trường hợp của chúng tôi là như sau.
Và đó là cách bạn có thể kiểm tra và dùng thử bản trình diễn Vlog được lưu trữ trên HuggingFace để hiểu được khả năng của công cụ.
Phương pháp 2: Cài đặt Vlog cục bộ và phân tích video của bạn
Nếu bạn đang muốn sử dụng Vlog trên PC, thì đây là cách bạn có thể cài đặt và thiết lập. TekZone.vn đang sử dụng Ubuntu cho hướng dẫn này nhưng quá trình này cũng sẽ tương tự trên các nền tảng khác. Thực hiện theo các bước dưới đây để giúp bạn trong quá trình này.
Lưu ý: Tek Zone khuyên bạn nên tránh sử dụng Vlog trên Windows ngay bây giờ trừ khi bạn sẵn sàng khắc phục lỗi cài đặt delectron2. Đây là một công cụ nhận dạng hình ảnh từ Facebook được Vlog sử dụng để xác định các yếu tố trong video của bạn hiện không được hỗ trợ chính thức trên Windows.
Yêu cầu
- GPU Nvidia với driver mới nhất
- Linux (rất khuyến khích)
Khi bạn có thể đáp ứng các yêu cầu này, bạn có thể sử dụng các bước bên dưới để thiết lập và sử dụng Vlog.
Bước 1: Cài đặt Git
Trước tiên chúng ta cần cài đặt Git trên PC của bạn. Thực hiện theo các bước bên dưới để giúp bạn cài đặt Git trên PC Windows của mình.
Trong một số trường hợp, Git có thể đã được cài đặt trên PC Linux của bạn. Khởi chạy Terminal bằng cách nhấn Ctrl + Alt + T trên Ubuntu và sử dụng lệnh sau để kiểm tra xem Git đã được cài đặt chưa.
git --version
Nếu bạn được thông báo về số phiên bản có liên quan thì Git đã được cài đặt. Tuy nhiên, nếu bạn nhận được thông báo tương tự như thông báo bên dưới, thì bạn có thể sử dụng lệnh sau để cài đặt các bản cập nhật trước tiên.
sudo apt update
Nhập mật khẩu của bạn khi bạn được nhắc.
Bây giờ hãy sử dụng lệnh sau để nhận và cài đặt Git.
sudo apt install git
Hệ điều hành của bạn bây giờ sẽ yêu cầu quyền cài đặt các phụ thuộc cần thiết. Nhập y và nhấn Enter.
Bây giờ Git sẽ được tải xuống và cài đặt trên PC của bạn. Quá trình này có thể mất một chút thời gian tùy thuộc vào băng thông mạng khả dụng. Sau khi hoàn tất, hãy sử dụng lệnh bên dưới để kiểm tra xem mọi thứ đã được thiết lập chính xác chưa. Bạn sẽ nhận được số phiên bản Git hiện được cài đặt nếu mọi thứ đang hoạt động như dự định.
git --version
Và thế là xong! Bây giờ chúng tôi có thể tải xuống và thiết lập các phụ thuộc cần thiết khác trên PC của bạn.
Bước 2: Cài đặt Wget
Bây giờ chúng ta cần cài đặt Wget. Điều này sẽ giúp chúng tôi cài đặt Python 3.8 cũng như mô hình được đào tạo trước theo yêu cầu của Vlog. Thực hiện theo các bước dưới đây để giúp bạn trong quá trình này.
Mở Terminal trên PC của bạn. Nếu bạn đang dùng Ubuntu, bạn có thể làm như vậy bằng cách nhấn Ctrl + Alt + T trên bàn phím. Sau khi mở, hãy sử dụng lệnh sau để kiểm tra xem Wget đã được cài đặt trên PC của bạn chưa.
wget --version
Nếu Wget đã được cài đặt thì bạn sẽ được hiển thị thông tin về nó, nếu không, bạn có thể sử dụng lệnh bên dưới để cài đặt nó trên PC của mình.
sudo apt install wget
Nhập mật khẩu của bạn khi bạn được nhắc.
Bây giờ Wget sẽ được cài đặt trên PC của bạn. Như bạn có thể thấy nó đã có sẵn ở cuối của tôi, đó là lý do tại sao không có gì mới được cài đặt.
Và thế là xong! Bây giờ chúng tôi có thể cài đặt Python 3.8 bằng bước tiếp theo trên PC của bạn.
Bước 3: Cài đặt Python 3.8
Bây giờ chúng ta cần cài đặt Python 3.8. Wget sẽ giúp chúng tôi trong quá trình này. Làm theo các bước sau để cài đặt Python 3.8.
Mở Terminal trên PC của bạn. Nếu đang dùng Ubuntu, bạn có thể sử dụng shortcut Ctrl + Alt + T. Sau khi khởi chạy, hãy sử dụng lệnh sau để kiểm tra và cập nhật tất cả các gói.
sudo apt update
Nhập mật khẩu của bạn khi bạn được nhắc.
Bây giờ sử dụng lệnh sau để cài đặt các phụ thuộc cần thiết.
sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libsqlite3-dev libreadline-dev libffi-dev libbz2-dev
Các phụ thuộc cần thiết bây giờ sẽ được cài đặt. Nhấn y rồi Enter sau khi bạn được nhắc.
Quá trình này sẽ mất một khoảng thời gian tùy thuộc vào băng thông mạng có sẵn.
Khi mọi thứ đã được cài đặt, hãy sử dụng lệnh này để tải xuống gói Python 3.8.
wget https://www.python.org/ftp/python/3.8.0/Python-3.8.0.tgz
Bản phát hành Python hiện sẽ được tải xuống PC của bạn. Sau khi hoàn tất, hãy sử dụng lệnh sau để giải nén gói.
tar -xf Python-3.8.0.tgz
Bây giờ điều hướng đến thư mục giải nén bằng lệnh sau.
cd Python-3.8.0
Sau khi hoàn tất, hãy sử dụng lệnh sau để kiểm tra và xác minh xem mọi thứ có được thiết lập như dự định trên PC của bạn hay không../configure --enable-optimizations
Khi quá trình hoàn tất, hãy sử dụng lệnh sau để bắt đầu quá trình xây dựng. Thay thế [Count] bằng số lõi CPU hiện có trên PC của bạn.
make -j [Count]
Quá trình xây dựng cũng sẽ mất một khoảng thời gian tùy thuộc vào tài nguyên có sẵn trên PC của bạn. Khi quá trình xây dựng hoàn tất, hãy sử dụng lệnh sau để cài đặt nó trên PC của bạn.
sudo make altinstall
Khi quá trình đã hoàn tất, hãy sử dụng lệnh sau để kiểm tra xem mọi thứ có hoạt động như dự định không.
python3.8 --version
Bây giờ bạn có thể sử dụng lệnh sau để đóng Terminal trên PC của mình.
exit
Và thế là xong! Bây giờ chúng ta có thể tiến hành bước tiếp theo là cài đặt và thiết lập Anaconda trên PC của bạn.
Bước 4: Cài đặt Anaconda
Đây là cách bạn có thể cài đặt Anaconda trên PC của mình. Thực hiện theo các bước sau để giúp bạn trong quá trình này.
Đầu tiên, điều hướng đến thư mục Tải xuống của bạn bằng lệnh sau.
cd ~/Downloads
Mở Terminal trên PC của bạn bằng shortcut Ctrl + Alt + T. Bây giờ hãy tải xuống curl bằng lệnh sau. Nhập mật khẩu của bạn khi được nhắc.
sudo apt install curl
Tiếp theo, sử dụng lệnh sau để tải xuống tập lệnh cài đặt Anaconda.
curl https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh -o Anaconda.sh
Tập lệnh bây giờ sẽ được tải xuống trong thư mục Tải xuống . Quá trình này có thể mất một chút thời gian tùy thuộc vào tốc độ mạng của bạn.
Khi quá trình đã hoàn tất, hãy sử dụng lệnh sau để chạy tập lệnh cài đặt.
bash ./Anaconda.sh
Bây giờ nhấn Enter để tiếp tục theo yêu cầu.
Nhấn Enter nhiều lần cho đến khi bạn được yêu cầu nhập yes . Nhập tương tự và nhấn Enter.
Để cài đặt Anaconda ở vị trí mặc định, nhấn Enter. Bạn cũng có thể chọn chỉ định một vị trí khác nếu cần. Khi quá trình cài đặt hoàn tất, hãy nhập yes và nhấn Enter để khởi tạo Anaconda.
Anaconda bây giờ sẽ được khởi tạo. Bây giờ chúng ta cần thêm Anaconda vào các biến đường dẫn của bạn. Sử dụng lệnh dưới đây để làm tương tự.
nano ~/.bashrc
Bây giờ hãy sử dụng lệnh sau để thêm Anaconda vào các biến đường dẫn. Thay thế [Path] bằng vị trí bạn đã cài đặt Anaconda. Nếu bạn đã cài đặt nó ở cùng một vị trí, bạn có thể sử dụng đường dẫn này “/home/[username]/anaconda3″. Đảm bảo bạn thay thế [username] bằng tên người dùng trên PC của mình.
export PATH='$PATH:[Path]/bin'
Khi bạn đã hoàn tất, nhấn Ctrl + O trên bàn phím của bạn. Nhấn Enter khi đường dẫn file mặc định xuất hiện.
Bây giờ nhấn Ctrl + X.
Và thế là xong! Bây giờ chúng tôi đã sẵn sàng để thiết lập và sử dụng Vlog trên PC của bạn.
Bước 5: Thiết lập Vlog
Bây giờ mọi thứ đã được cài đặt và thiết lập, cuối cùng chúng ta có thể thiết lập và sử dụng Vlog trên PC của bạn. Thực hiện theo các bước dưới đây để giúp bạn trong quá trình này.
Mở Terminal trên PC của bạn bằng shortcut Ctrl + Alt + T. Sau khi mở, hãy sử dụng lệnh sau để tắt Anaconda tạm thời.
conda deactivate
Bây giờ điều hướng đến thư mục tải xuống của bạn bằng lệnh sau.
cd ~/Downloads
Tiếp theo, sử dụng lệnh để sao chép Vlog trong Tải xuống của bạn.
git clone https://github.com/showlab/VLog
Khi dự án được sao chép, hãy sử dụng lệnh sau để điều hướng đến thư mục của dự án.
cd Vlog
Tiếp theo, sử dụng lệnh này để tạo một thư mục mới có tên là các điểm kiểm tra.
mkdir checkpoints
Bây giờ điều hướng đến cùng một thư mục bằng lệnh sau.
cd checkpoints
Cuối cùng chúng ta có thể tải xuống mô hình được đào tạo trước. Sử dụng lệnh này để tải xuống mô hình được đào tạo trước.
wget -c https://datarelease.blob.core.windows.net/grit/models/grit_b_densecap_objectdet.pth
Đợi mô hình tải xuống. Quá trình này có thể mất một chút thời gian tùy thuộc vào tốc độ mạng hiện tại và băng thông khả dụng của bạn.
Sau khi quá trình hoàn tất, hãy sử dụng lệnh sau để chuyển lại thư mục Vlog trong thư mục Tải xuống của bạn.
cd ~/Downloads/Vlog
Bây giờ chúng ta cần kích hoạt lại Anaconda. Sử dụng lệnh sau để thực hiện tương tự trên PC của bạn.
conda activate
Sau khi kích hoạt, bạn sẽ thấy (base) trong dòng tiếp theo. Bạn vẫn nên ở trong thư mục Vlog. Bây giờ sử dụng lệnh này để tạo một môi trường mới.
conda create -n vlog python=3.8
Bây giờ hãy nhấn y khi bạn được nhắc xác nhận lựa chọn của mình.
Một môi trường mới bây giờ sẽ được tạo ra. Kích hoạt môi trường mới tạo bằng lệnh sau.
conda activate vlog
Sau khi được kích hoạt, điều tương tự sẽ hiển thị trong dòng tiếp theo. Bây giờ sử dụng lệnh sau để cài đặt các phụ thuộc cần thiết.
pip install -r requirements.txt
Tất cả các yêu cầu bây giờ sẽ được cài đặt. Quá trình này có thể mất một chút thời gian vì delectron2 là một trong những phần phụ thuộc có file khá lớn cũng như các phần phụ thuộc khác như pytorch, v.v.
Lưu ý: Nếu bạn gặp phải tốc độ tải xuống cực kỳ chậm, hãy sử dụng lệnh này “conda update -n base conda-package-xử lý” và thử lại. Điều này sẽ giúp khắc phục các vấn đề về tốc độ tải xuống, đặc biệt là với Pytorch. Ngoài ra, pip có thể tải xuống nhiều phiên bản của các công cụ khác nhau để tìm những phiên bản phù hợp với các yêu cầu khác. Điều này là bình thường và bạn không nên làm gián đoạn quá trình này.
Khi quá trình đã hoàn tất, bạn sẽ thấy một cái gì đó như thế này.
Bây giờ bạn có thể sử dụng lệnh này để đóng terminal.
exit
Và thế là xong! Bây giờ chúng tôi đã sẵn sàng chuyển đổi video của mình thành tài liệu để có thể sử dụng video đó với ChatGPT.
Bước 6: Sử dụng Vlog để tạo tài liệu
Trước tiên, chúng tôi cần lấy nguồn khóa API mở của bạn để chúng tôi có thể sử dụng nó với Vlog. Thực hiện theo các bước dưới đây để giúp bạn trong quá trình này.
Mở trình duyệt của bạn và truy cập platform.openai.com . Đăng nhập vào tài khoản của bạn bằng phương pháp ưa thích của bạn.
Bây giờ hãy nhấp vào hình đại diện hồ sơ của bạn ở góc trên cùng bên phải.
Nhấp vào Xem khóa API .
Bây giờ hãy nhấp vào + Tạo khóa bí mật mới .
Đặt cho khóa API của bạn một tên dễ nhận biết. Đối với hướng dẫn này, chúng tôi sẽ chỉ đặt tên cho nó là kiểm tra khóa Vlog .
Nhấp vào Tạo khóa bí mật sau khi hoàn tất.
Bây giờ, hãy nhấp vào biểu tượng sao chép bên cạnh khóa khi nó đã được tạo. Không đóng tab hoặc hộp thoại vì phím sẽ không hiển thị lại. Ngoài ra, bạn có thể ghi lại phím ở vị trí dễ lấy.
Sau khi sao chép, hãy mở Terminal bằng cách nhấn Ctrl + Alt + T trên bàn phím của bạn. Sau khi mở, hãy sử dụng lệnh sau để kích hoạt môi trường Vlog mà chúng tôi đã tạo ở bước trước.
conda activate vlog
Sau khi được kích hoạt, hãy điều hướng đến thư mục Vlog của bạn mà chúng tôi đã tạo trong thư mục Tải xuống trước đó bằng lệnh sau.
cd ~/Downloads/Vlog
Bây giờ gõ như sau. Thay thế [key] bằng khóa OpenAI mà chúng tôi đã tạo trước đó và [Path] bằng đường dẫn đến video bạn muốn chuyển đổi. Vlog đi kèm với một video ví dụ trong thư mục ví dụ, vì vậy chúng tôi sẽ chỉ sử dụng video đó cho ví dụ này.
python main.py --video_path [Path] --openai_api_key [key]
Khi bạn đã hoàn tất, hãy nhấn Enter.
Lưu ý: Đảm bảo tên video của bạn không có bất kỳ khoảng trắng nào trong đó. Nếu đúng như vậy, chúng tôi khuyên bạn nên đổi tên giống như vậy trước khi thử chạy lệnh trên.
Video của bạn bây giờ sẽ được xử lý và chuyển đổi thành tài liệu. Quá trình này có thể mất một chút thời gian tùy thuộc vào tốc độ mạng và tài nguyên sẵn có của bạn.
Sau khi quá trình hoàn tất, tài liệu đã chuyển đổi của bạn sẽ được lưu ở cùng vị trí với video của bạn. Và đó là cách bạn có thể chuyển đổi video thành tài liệu bằng Vlog.
Bước 7: Sử dụng tài liệu với ChatGPT
Như đã thảo luận ở trên, tài liệu được chuyển đổi giờ đây sẽ có sẵn trong cùng thư mục với video của bạn. Nếu bạn mày mò một chút với Vlog, bạn cũng có thể chat trực tiếp với ChatGPT trong terminal. Hiện tại, chúng ta hãy xem cách bạn có thể sử dụng tài liệu đã chuyển đổi này để cung cấp cho ChatGPT trong tương lai để bạn có thể tiếp tục thảo luận về video.
Mở chat.openai.com trong trình duyệt của bạn và đăng nhập vào tài khoản của bạn nếu cần.
Sau khi đăng nhập, hãy sao chép và dán nội dung của tài liệu video đã chuyển đổi, sau đó là truy vấn của bạn và nhấn Enter. Hãy để ChatGPT tóm tắt video cho ví dụ này.
Như bạn có thể thấy ChatGPT đã tóm tắt video cùng với bản dịch hộp thoại.
Và thế là xong! Mỗi khi bạn cần thông tin từ video trong tương lai, bạn có thể chỉ cần cung cấp tài liệu này cho ChatGPT thay vì phải chuyển đổi nhiều lần trên PC của mình.
Chúng tôi hy vọng bài đăng này đã giúp bạn dễ dàng chuyển đổi video thành tài liệu để sử dụng với ChatGPT. Nếu bạn gặp phải bất kỳ vấn đề nào hoặc có bất kỳ câu hỏi nào khác, vui lòng liên hệ với chúng tôi bằng cách sử dụng các nhận xét bên dưới.
