Генеральний директор Perplexity Аравінд Шрінівас вийшов на сцену Computex 2026 у Тайбеї 2 червня разом із генеральним директором Intel Ліп-Бу Таном, щоб анонсувати те, що компанія називає першим гібридним локально-серверним оркестратором інференсу. Система, яка з'явиться в Perplexity Computer у липні, автоматично вирішує, які частини завдання ШІ запускати на вашій машині, а які — перенаправляти до більш потужних моделей у хмарі — не вимагаючи від вас вибору.
«Сьогодні ми анонсуємо наступний крок для персонального комп'ютера: перший гібридний локально-серверний оркестратор інференсу», — заявили Perplexity. «Він вирішує, яка робота має виконуватися на вашому пристрої, а яка — надсилатися хмарним агентам, автоматично направляючи кожну частину завдання в потрібне місце».
«Правильна мета для системи ШІ — забезпечити найбільшу цінність токена на ват для кожного користувача», — написали Perplexity в офіційному анонсі. Три конкуруючі фактори ускладнюють це: точність вимагає найпотужніших моделей, конфіденційність вимагає, щоб деякі дані ніколи не покидали вашу машину, а вартість вимагає, щоб ви не витрачали обчислювальні ресурси передової моделі на завдання, з яким може впоратися менша.
Рішення, яке Perplexity називає "гібридним агентивним інференсом", вирішує всі три проблеми одночасно. Компактна модель працює локально на вашому пристрої та діє як регулювальник — визначаючи, яка інформація достатньо чутлива, щоб залишатися локальною, а які завдання потребують повної потужності хмарної передової моделі.
«Гібридний агентивний інференс призначений для роботи, яка включає конфіденційні дані, але потребує потужного ШІ. Такі речі, як фінансові записи, медична інформація та особисті файли», — пояснила компанія. «Компактна модель працює локально на вашому пристрої, щоб визначити, коли конфіденційні дані також повинні зберігатися локально. Тим часом, робота, яка потребує повної потужності передової моделі, виконується на сервері».
Чи варто вам цим перейматися?
Інференс — процес запуску навченої моделі ШІ для генерування відповіді — це обчислювальна робота, яка відбувається щоразу, коли ви надсилаєте запит чат-боту. Зараз майже вся вона відбувається на віддалених серверах, що належать компаніям ШІ. Це означає, що ваші фінансові документи, медичні запити та приватні нотатки подорожують на чужий комп'ютер, перш ніж ви отримаєте відповідь.
Ось чому ви бачите режими «Авто» або «низького мислення» у вашому чат-боті. Компанії ШІ завжди намагатимуться змусити користувачів направляти взаємодії в найдешевшому для них режимі.
Шрінівас був прямолінійний щодо цього. В інтерв'ю Bloomberg Television на Computex він відкрито заявив: «Ви не хочете, щоб всі ваші обчислення були централізовані на серверах, а все працювало через найбільші моделі. Деякі люди витрачають півмільярда доларів на місяць. Насправді вам потрібна ефективна цінність на ват для кожного користувача». Передача роботи з інференсу на апаратне забезпечення користувача зменшує ці витрати — для Perplexity.
Локальний інференс є найкращим для цих компаній, оскільки він значно скорочує витрати, але має велику перевагу для користувачів ШІ: він зберігає дані на вашій машині. Компроміс завжди полягав у потужності: менші моделі, що працюють локально, менш потужні, ніж великі, що знаходяться в центрах обробки даних.
Оркестратор Perplexity намагається поєднати обидва підходи. Прості завдання — узагальнення вже написаного документа, форматування тексту, легка класифікація — виконуються локально. Складні міркування направляються в хмару, ідеально без чутливих частин вашого завдання. Компанія стверджує, що це відбувається автоматично, під час виконання завдання, непомітно для користувача. Чи буде маршрутизація настільки ж надійною на практиці, як це звучить у демо на Computex, є питанням, на яке дасть відповідь липневий запуск.
Варто зробити одне уточнення: це не Perplexity надає відкриту локальну модель, яку ви контролюєте. Локальний компонент — це компактна модель, яку Perplexity розгортає як частину свого застосунку. Хмарний компонент все ще маршрутизується через сервери Perplexity. Користувачі, які хочуть повністю офлайн-налаштування з самостійним хостингом — таке, яке пропонують проєкти на кшталт MiniCPM5-1B — тут цього не знайдуть.
Цифри надають цьому контексту додаткову інформацію. Дохід Perplexity зріс зі 100 мільйонів до 500 мільйонів доларів, тоді як кількість співробітників збільшилася лише на 34%, як оголосив Шрінівас у квітні. Компанія, яка маршрутизує запити між моделями, які вона не навчає, має сильні стимули підтримувати обчислювальні витрати якомога нижчими. Перекладання частини навантаження інференсу на пристрої користувачів — мільярди ПК, що вже перебувають в обігу — це ефективний спосіб зробити це. Аргумент щодо конфіденційності реальний, але він зручно узгоджується з фінансовим.
Хто ще це робить
Кожен великий гравець у сфері ШІ зараз рухається до інференсу на пристрої або гібридного інференсу. Apple Intelligence виконує найчутливішу обробку локально на чіпах M-серії. Microsoft Foundry Local досягла загальної доступності у квітні 2026 року, дозволяючи повний інференс ШІ на Windows, macOS та Linux без залежності від хмари.
Nvidia анонсувала RTX Spark на тому ж Computex, де Perplexity зробила свій анонс, орієнтуючись на локальний інференс великих мовних моделей (LLM) на ноутбуках та настільних комп'ютерах. Підхід Google, як повідомив Decrypt, був більш суперечливим — Chrome таємно встановлював модель Gemini Nano об'ємом 4 ГБ без згоди користувача, а кнопка "Режим ШІ", яку більшість користувачів насправді бачать, її навіть не використовує.
Відмінність Perplexity полягає в шарі оркестрації. Замість того, щоб просити користувачів заздалегідь вибрати локальний або хмарний варіант, система вирішує для кожного завдання в реальному часі. Шрінівас заявив, що підхід є "чіп-агностичним" — демо на Computex працювало на Intel Core Ultra Series 3, але процесори Nvidia також підтримуються. Ця функція наразі є ексклюзивною для програми Perplexity для ПК з Windows, а ширший графік розгортання ще не підтверджено.
