BERT là mô hình ngôn ngữ AI được Google tạo ra trước Bard, nó phục vụ với nhiều mục đích khác và đã hoạt động nhiều năm trước khi Open Al ra mắt ChatGPT. Google là công ty trí tuệ nhân tạo, xây dựng AI vào Android, loa thông minh Nest,… Mỗi lần bạn truy cập Google Assistant thì sẽ nhận được một câu trả lời của Al. Trong bài viết này, Tekzone sẽ giới thiệu đến bạn Mô hình ngôn ngữ Bert Google, cùng nhau tìm hiểu nhé!
1. BERT có nghĩa là gì?
BERT là viết tắt của Bidirectional Encoder Representations from Transformers. Tên đầy đủ không hữu ích lắm trừ khi bạn quen với thuật ngữ AI. Cách dễ nhất để giải thích nó là chia nhỏ từng thuật ngữ một.
- Hai chiều có nghĩa là quá trình hoạt động theo hai hướng. Khi quét một câu, BERT tìm kiếm các liên kết từ ở bên trái và bên phải. Khi đọc từ trái sang phải, mình hiểu rằng các từ liên quan có thể tồn tại ở cả hai bên. BERT cũng biết điều đó.
- Bộ mã hóa là một cách gói gọn thông tin một cách nhỏ gọn và hữu ích. BERT mã hóa dữ liệu theo cách phù hợp với mục đích riêng của nó.
- BERT sử dụng cách biểu diễn ngôn ngữ bên trong để đơn giản hóa và tăng tốc độ xử lý. Google Dịch sử dụng quy trình tương tự khi dịch giữa hơn một trăm ngôn ngữ tự nhiên. AI tạo ra một ngôn ngữ nội bộ tạo điều kiện thuận lợi cho quá trình này.
- Máy biến áp là một khái niệm AI cực kỳ quan trọng. Đó là một mạng lưới thần kinh bao gồm hai lớp. Các lớp chú ý xác định những gì cần tập trung vào bằng cách gán trọng số cho phần dữ liệu phù hợp nhất. Các lớp chuyển tiếp nguồn cấp dữ liệu chuyển tiếp dữ liệu về phía trước để tìm hiểu các mẫu phức tạp.
2. Bert khác với Bard như thế nào?
Google đã sử dụng AI trong nhiều năm, nhưng BERT là một trong những mô hình ngôn ngữ đầu tiên được phát hành dưới dạng nguồn mở, sau GPT-1 của OpenAI. Generative Pre-training Transformer 1 của OpenAI đã sử dụng khái niệm biến áp AI 2017 của Google. BERT không chấp nhận đầu vào của người dùng, nó hoạt động ngầm để cải thiện kết quả Google Search.
Bard là AI mới nhất của Google, một chatbot trả lời các câu hỏi và làm theo lệnh của người dùng. Đó là một mô hình ngôn ngữ lớn tương tự như GPT-4 của OpenAI hoặc Bing của Microsoft. Google ra mắt Bard vào tháng 2 năm 2023. Không giống như BERT, Bard không phải là một dự án nguồn mở. Nếu bạn muốn tìm hiểu thêm về Google Bard và cách nó hoạt động, mình có một bài viết giải thích những gì Bard có thể làm .
3. BERT được đào tạo như thế nào?
Google trained BERT về các bài viết trên Wikipedia và Toronto BookCorpus, một bộ sưu tập sách online miễn phí. Loại dữ liệu này được gọi là văn bản không được gắn nhãn và BERT sử dụng phương pháp học không giám sát. AI nhìn thấy văn bản ở dạng thô mà không có sự nhập liệu của con người hoặc gợi ý về ý nghĩa hoặc cấu trúc. Google đã tinh chỉnh mô hình xử lý ngôn ngữ tự nhiên (NLP), chẳng hạn như trả lời câu hỏi, hiểu cảm xúc và nhận biết con người và tổ chức.
Khi Google phát hành BERT vào năm 2018, nó đã vượt qua các mô hình trước đó một cách đáng kể. Google đã cung cấp cho BERT một bản cập nhật quan trọng vào tháng 10 năm 2019 và bắt đầu sử dụng nó để cải thiện kết quả tìm kiếm.
4. Google sử dụng BERT như thế nào?
Google hiện sử dụng BERT chạy trên Google Cloud TPU để cải thiện khả năng của Google Search m trong việc hiểu truy vấn và cung cấp kết quả tìm kiếm phù hợp nhất. Google search có thể hiểu các câu hỏi đàm thoại dài có chứa các giới từ như “for” và “to” nhờ khả năng hiểu hai chiều của BERT có tính đến ảnh hưởng của các từ xung quanh.
Google Search thu thập và lập chỉ mục dữ liệu từ hàng tỷ trang web đa dạng. Hiểu ngôn ngữ, ngữ cảnh và chủ đề là rất quan trọng để tìm được danh sách có liên quan và hiển thị các chi tiết quan trọng nhất. Google đã đưa ra một ví dụ hay trong bài đăng trên blog của mình về việc tích hợp BERT vào tìm kiếm.
Khi tìm kiếm “2019 brazil traveler to usa need a visa”, BERT nhận ra giới từ “to” gợi ý kết quả sẽ hiển thị danh sách về một người Brazil nhận được thị thực để đến thăm Hoa Kỳ. Các kết quả tìm kiếm trước đó hiển thị không chính xác thông tin về một công dân Hoa Kỳ đang nhận được thị thực thị thực đi Brazil. Giờ đây, Google search hiểu được toàn bộ truy vấn thay vì chỉ xác định các từ khóa phù hợp.
Một ví dụ khác là “do estheticians stand a lot at work”, cho thấy nhận thức về ngữ cảnh của từ khóa. Trước đây, Google search khớp với cụm từ “stand-alone”, nhưng BERT nhận ra chính xác câu hỏi là về việc các chuyên gia thẩm mỹ đứng trên đôi chân của mình khi làm việc. Google kết thúc bài đăng trên blog đó bằng cách thừa nhận rằng “Search is not a solved problem”.
Biểu đồ mua sắm của Google được giới thiệu vào năm 2020, sử dụng AI để cải thiện việc tìm kiếm sản phẩm. Vào năm 2021, Google đã giới thiệu Mô hình hợp nhất đa nhiệm (MUM), mô tả nó mạnh hơn BERT 1.000 lần. Multisearch ra mắt vào năm 2022, cho phép bạn tinh chỉnh tìm kiếm hình ảnh bằng từ khóa văn bản.
Tin tức mới nhất và lớn nhất về Google AI là Bard, một chatbot mà bạn có thể truy cập tại bard.google.com. Tuy nhiên, kết quả của Bard có thể không chính xác nên bạn vẫn cần Google Search. Để tìm hiểu thêm về chatbot, hãy xem hướng dẫn về các mô hình ngôn ngữ lớn. Năm nay, Google cũng đưa AI tổng quát vào tìm kiếm với trải nghiệm AI-powered Search experience (SGE) mới . Bạn có thể thấy bảng điều khiển Generative AI ở đầu kết quả tìm kiếm có tổng quan về văn bản, hình ảnh và video.
Vì những tiến bộ AI của Google trực tiếp trên đám mây nên bạn có thể truy cập công nghệ mạnh mẽ này bằng điện thoại Android, iPhone, máy tính hoặc Chromebook đẹp. Tuy nhiên, BERT vẫn được sử dụng và tiếp tục đóng vai trò quan trọng trong Google Search.
