Mở trang bán laptop bây giờ, gần như máy nào cũng gắn thêm chữ "AI": Copilot+ PC, Core Ultra, Ryzen AI, kèm thông số NPU bao nhiêu TOPS. Nhiều người đọc xong vẫn không biết NPU là cái gì, máy đã có CPU và GPU rồi thì cần thêm nó để làm gì, và nó có đáng để bỏ thêm tiền hay không. Bài này giải thích từ gốc: ba con chip khác nhau ở cách làm việc ra sao, TOPS nghĩa là gì, NPU đang thực sự làm được gì trên laptop, và khi nào bạn nên quan tâm tới nó.
NPU là gì?
NPU là viết tắt của Neural Processing Unit, bộ xử lý dành riêng cho mạng nơ-ron. Đây là một khối mạch nằm ngay trong con chip xử lý của laptop, cạnh nhân CPU và nhân đồ hoạ GPU, chứ không phải một linh kiện cắm rời.
Nhiệm vụ của NPU rất hẹp: chạy suy luận AI (inference), tức là đưa dữ liệu vào một mô hình đã huấn luyện sẵn để lấy kết quả. Ví dụ: nhận diện khuôn mặt trong khung hình webcam để làm mờ phông nền, lọc tiếng ồn khỏi giọng nói, chuyển giọng nói thành phụ đề, hay chạy một mô hình ngôn ngữ cỡ nhỏ ngay trên máy.
Vì chỉ làm một loại việc, NPU được thiết kế tối giản cho đúng loại việc đó, và nhờ vậy làm nhanh mà tốn rất ít điện.
Điện thoại đã có NPU từ nhiều năm trước, ví dụ Neural Engine trên chip Apple hay Hexagon trên chip Snapdragon. Laptop Windows chỉ thực sự phổ biến NPU từ thế hệ Intel Core Ultra (Meteor Lake) và AMD Ryzen 7040/8040 trở đi.
Bên trong mạng nơ-ron là gì mà cần chip riêng?
Để hiểu vì sao cần NPU, phải nhìn vào việc AI thực chất đang tính toán gì. Một mô hình AI, dù là nhận diện ảnh hay mô hình ngôn ngữ, phần lớn thời gian chỉ làm đi làm lại một phép: nhân hai ma trận số rồi cộng dồn kết quả (gọi là phép nhân-cộng, multiply-accumulate). Một lần xử lý ảnh có thể cần hàng tỉ phép như vậy.
Các phép tính này có ba đặc điểm:
- Rất nhiều nhưng rất giống nhau: không có rẽ nhánh phức tạp, không cần "suy nghĩ" xem bước tiếp theo làm gì.
- Không cần độ chính xác cao: suy luận AI thường chạy tốt với số nguyên 8 bit (INT8) hoặc thậm chí 4 bit, thay vì số thực 32 bit như tính toán khoa học.
- Chủ yếu tốn công di chuyển dữ liệu: đọc trọng số mô hình từ bộ nhớ thường tốn điện hơn cả phép nhân.
Con chip nào sinh ra cho đúng ba đặc điểm này sẽ thắng về hiệu suất trên mỗi watt. Đó chính là NPU.
Ảnh die shot ở trên của chip Intel thế hệ 12 cho thấy một con chip laptop thực chất là nhiều khối chuyên môn ghép lại: nhân CPU hiệu năng cao, nhân CPU tiết kiệm điện, nhân đồ hoạ, khối media, và một khối nhỏ tên GNA 3.0, tiền thân của NPU, chỉ dùng cho vài tác vụ âm thanh. Từ Core Ultra trở đi, khối AI này được làm lớn hơn hẳn và trở thành NPU thực thụ.
CPU, GPU và NPU khác nhau chỗ nào?
Cách dễ hình dung nhất là coi ba con chip như ba kiểu nhân viên.
- CPU là vài chuyên gia rất giỏi. Mỗi người làm được mọi loại việc, xử lý logic phức tạp, rẽ nhánh nhanh, nhưng số người ít (thường 8–16 nhân). Đưa họ hàng tỉ phép nhân giống hệt nhau thì phí tài năng và chậm.
- GPU là một đội hàng nghìn công nhân, mỗi người chỉ làm việc đơn giản nhưng làm song song cùng lúc. Sinh ra để tô màu từng điểm ảnh trong game, nên cũng rất hợp để nhân ma trận. Đổi lại, đội này ăn rất nhiều điện.
- NPU là một dây chuyền chuyên dụng chỉ đúc đúng một loại sản phẩm: phép nhân-cộng cho mạng nơ-ron. Không linh hoạt bằng GPU, nhưng với đúng việc đó thì tốn điện ít hơn nhiều.
| Tiêu chí | CPU | GPU | NPU |
|---|---|---|---|
| Số nhân/đơn vị tính | Ít (khoảng 8–24) | Rất nhiều | Mảng nhân-cộng chuyên dụng |
| Mạnh nhất ở | Logic, rẽ nhánh, tác vụ tuần tự | Đồ hoạ, tính toán song song lớn | Suy luận AI liên tục |
| Độ linh hoạt | Cao nhất | Cao | Thấp, chỉ hợp với mô hình AI |
| Mức tiêu thụ điện cho AI | Trung bình, hiệu quả thấp | Cao | Thấp nhất |
| Kiểu dữ liệu AI ưa thích | FP32, INT8 qua lệnh mở rộng | FP16, FP8, INT8 | INT8, INT4, FP16 |
| Ví dụ việc AI hợp | Mô hình rất nhỏ, xử lý trước/sau | Tạo ảnh, chạy LLM lớn, huấn luyện | Làm mờ phông webcam, khử ồn, phụ đề trực tiếp |
Điều quan trọng: NPU không thay thế CPU hay GPU. Trên một laptop AI, cả ba cùng làm việc. Hệ điều hành và phần mềm sẽ chọn đẩy tác vụ AI sang con chip phù hợp nhất.
Ngay cả CPU cũng có "AI"
CPU đời mới không hề bất lực với AI. Chúng có các bộ lệnh như VNNI hay AMX của Intel để tăng tốc phép nhân INT8. Intel công bố riêng phần CPU của Lunar Lake đạt khoảng 5 TOPS cho tác vụ AI.
Con số 5 TOPS đó cho thấy vì sao cần NPU: cùng một con chip, phần NPU của Lunar Lake được Intel công bố tới 48 TOPS, gấp gần 10 lần phần CPU.
TOPS là gì và đọc con số này thế nào?
TOPS (Tera Operations Per Second) là số nghìn tỉ phép tính mỗi giây. Với NPU, các hãng gần như luôn đo bằng phép tính INT8 ở xung nhịp tối đa, tức là một con số đỉnh lý thuyết.
Một vài mốc theo số liệu hãng công bố:
| Chip | Hiệu năng NPU công bố |
|---|---|
| Intel Core Ultra Series 1 (Meteor Lake) | khoảng 11 TOPS |
| AMD Ryzen 8040 (XDNA thế hệ 1) | tới 16 TOPS |
| Qualcomm Snapdragon X Elite | 45 TOPS |
| Intel Core Ultra 200V (Lunar Lake) | 48 TOPS |
| AMD Ryzen AI 300 (XDNA 2) | 50 TOPS (bản PRO tới 55 TOPS) |
| Qualcomm Snapdragon X2 Elite | 80 TOPS |
Chỉ trong khoảng một thế hệ, NPU của AMD tăng từ 16 lên 55 TOPS như slide trên. Cú nhảy này không ngẫu nhiên: Microsoft đặt ngưỡng tối thiểu 40 TOPS cho NPU để laptop được gắn nhãn Copilot+ PC.
Một số quảng cáo ghi "tổng 100+ TOPS" bằng cách cộng NPU, GPU và CPU. Ví dụ Intel nói Lunar Lake đạt tới 120 TOPS cho cả nền tảng, trong đó GPU chiếm 67 TOPS. Ngưỡng 40 TOPS của Copilot+ PC chỉ tính riêng NPU. Khi so máy, hãy hỏi đúng con số NPU.
TOPS cũng không nói hết tất cả. Tốc độ thực tế còn phụ thuộc băng thông RAM, dung lượng RAM, phần mềm điều khiển (driver, runtime) và việc mô hình có được tối ưu cho đúng NPU đó hay không. Một NPU 45 TOPS có phần mềm tốt có thể chạy nhanh hơn NPU 50 TOPS thiếu tối ưu.
NPU thực sự làm được gì trên laptop?
Đây là phần nhiều người thất vọng nhất, nên cần nói thẳng: NPU hiện tại chủ yếu làm những việc nhỏ, chạy liên tục, chạy nền. Chính vì chạy liên tục nên tiết kiệm điện mới quan trọng.
Những tính năng phổ biến dùng NPU trên Windows:
- Windows Studio Effects: làm mờ phông nền, tự căn khung hình theo người, chỉnh ánh mắt nhìn vào camera, lọc tạp âm giọng nói. Hoạt động trong mọi ứng dụng gọi video vì xử lý ngay ở tầng camera và micro.
- Live Captions có dịch: tạo phụ đề trực tiếp cho bất kỳ âm thanh nào phát trên máy, có thể dịch sang tiếng Anh, không cần mạng.
- Recall, Click to Do, tìm kiếm ngữ nghĩa: các tính năng riêng của Copilot+ PC, cần NPU từ 40 TOPS.
- Ứng dụng bên thứ ba: một số phần mềm chỉnh ảnh, chỉnh video, họp trực tuyến đã có tuỳ chọn chạy bộ lọc AI trên NPU.
Còn những việc AI "nặng" như tạo ảnh bằng Stable Diffusion hay chạy mô hình ngôn ngữ lớn vài chục tỉ tham số thì GPU rời vẫn là lựa chọn mạnh hơn hẳn. Một card đồ hoạ laptop cao cấp có hiệu năng AI cao hơn NPU nhiều lần, chỉ là tốn điện và nóng hơn nhiều.
NPU không làm AI nhanh nhất. Nó làm AI rẻ nhất về điện năng, để các tính năng AI có thể bật suốt cả ngày mà không làm cạn pin.
Vì sao tiết kiệm điện lại quan trọng đến vậy?
Thử hình dung bạn họp trực tuyến hai tiếng với phông nền làm mờ. Nếu việc tách người khỏi phông chạy trên GPU hoặc CPU, quạt sẽ quay, máy nóng lên, và pin tụt nhanh hơn rõ rệt. Đẩy việc đó sang NPU thì CPU và GPU được nghỉ, máy mát và yên tĩnh hơn.
Lý do nằm ở thiết kế: NPU đặt bộ nhớ đệm sát các đơn vị nhân-cộng để hạn chế việc chạy ra RAM lấy dữ liệu, dùng kiểu số ít bit, và bỏ đi mọi mạch điều khiển phức tạp mà CPU/GPU phải có để linh hoạt. Kết quả là số phép tính AI trên mỗi watt cao hơn hẳn.
Trên Windows 11, mở Task Manager, chọn thẻ Performance. Máy có NPU và driver đầy đủ sẽ hiện thêm mục NPU bên cạnh CPU, GPU. Bật hiệu ứng làm mờ phông trong Windows Studio Effects rồi quan sát biểu đồ NPU nhảy lên.
Có nên mua laptop có NPU?
Nếu bạn mua laptop mới từ thời điểm này, phần lớn chip tầm trung trở lên đã có sẵn NPU, nên câu hỏi thực tế là có nên trả thêm tiền cho NPU mạnh hay không. Một vài tiêu chí:
- [ ]Bạn họp trực tuyến nhiều, cần phông mờ, khử ồn mà vẫn giữ pin lâu: NPU có ích rõ rệt.
- [ ]Bạn muốn dùng các tính năng Copilot+ PC: cần NPU từ 40 TOPS trở lên.
- [ ]Bạn chạy AI nặng (tạo ảnh, LLM lớn, dựng video có AI): ưu tiên GPU rời và RAM nhiều, NPU chỉ là phụ.
- [ ]Bạn chủ yếu soạn văn bản, lướt web, xem phim: NPU gần như không tạo khác biệt, đừng trả thêm chỉ vì chữ "AI".
- [ ]Máy định dùng lâu năm: chọn NPU mạnh và tối thiểu 16 GB RAM để sẵn sàng cho phần mềm AI chạy cục bộ trong tương lai.
Mô hình AI phải nằm trong RAM mới chạy được. Microsoft yêu cầu Copilot+ PC có tối thiểu 16 GB RAM. NPU mạnh mà RAM ít thì vẫn bị giới hạn ở các mô hình nhỏ.
Tóm tắt nhanh
- NPU là bộ xử lý chuyên chạy suy luận AI, nằm chung trong chip laptop cùng CPU và GPU.
- CPU linh hoạt nhưng ít nhân, GPU song song mạnh nhưng tốn điện, NPU hẹp việc nhưng hiệu quả điện năng cao nhất cho AI.
- TOPS là hiệu năng đỉnh lý thuyết, thường đo bằng INT8; khi so máy chỉ nên so con số của riêng NPU.
- Copilot+ PC yêu cầu NPU từ 40 TOPS và RAM từ 16 GB.
- NPU hợp tác vụ AI nhẹ chạy liên tục; AI nặng vẫn nên dựa vào GPU rời.
Câu hỏi thường gặp
Laptop không có NPU có chạy được AI không?
Có. CPU và GPU vẫn chạy được các mô hình AI, kể cả ChatGPT hay Copilot bản web vì chúng chạy trên máy chủ. Chỉ một số tính năng AI chạy cục bộ của Windows, như nhóm tính năng Copilot+ PC, mới bắt buộc phải có NPU đủ mạnh.
NPU có giúp chơi game nhanh hơn không?
Gần như không. Game dựa vào GPU, còn các công nghệ nâng khung hình bằng AI như DLSS chạy trên nhân AI riêng bên trong GPU chứ không chạy trên NPU.
NPU 50 TOPS có chắc nhanh hơn NPU 45 TOPS?
Không chắc. TOPS là con số đỉnh lý thuyết. Tốc độ thực phụ thuộc phần mềm có được tối ưu cho NPU đó không, băng thông RAM và driver. Chênh lệch vài TOPS thường không đáng để quyết định mua máy.
MacBook có NPU không?
Có, Apple gọi là Neural Engine và đã đưa vào chip M-series từ M1. macOS dùng nó cho các tính năng như nhận dạng chữ trong ảnh, xử lý giọng nói và Apple Intelligence.
