Чи Amazon Echo "завжди слухає" та надсилає дані в хмару?

Кілька джерела новин , такі як Intellihub і CEPRO , здається, припускають , що Echo додому помічник Амазонок постійно слухає розмови і відправляє їх через Інтернет до серверів Амазонки. CEPro заявляє, що:

Промовляючи ключову фразу, яку Амазонка називає «неспокійним словом», Ехо оживає і починає слухати команди. За замовчуванням слово пробудження - Alexa.

Якщо ви перечитали це останнє речення, це може не мати сенсу, особливо якщо ви знаходитесь у полі безпеки. За словами Амазонки, Ехо слухає команди лише після того, як почує своє слово пробудження. Звідки це знати, коли ви сказали неспане слово, якщо воно вже не слухало?

Стаття Intellihub схожа за своїм настроєм:

Пристрій "Amazon Echo", динамік Bluetooth, який постійно прослуховується, який підключається до таких служб потокового передавання музики, як Pandora та Spotify на звук голосу людини, може бути легко зламаний і використаний державними установами, такими як ФБР, для прослуховування розмов.

(Зверніть увагу , що я не особливо зосереджено на вивчення хакерства аспекту цього питання, так як це, ймовірно , буде занадто багато для одного питання. Моє основна увага приділяється завжди на аспект , і це посилає дані чи весь час .)

Жодна стаття не здається особливо бажаючою розкривати джерело своїх тверджень, що наводить на думку, що вони в кращому випадку недоведені, або кліки в гіршому випадку.

Чи Echo завжди записує та надсилає дані в хмару, або вищезазначені твердження є необґрунтованими? Як обробляє дані Amazon Echo, якщо не завжди надсилає дані на сервери в хмарі?

Так, це завжди слухає. Ні, це не завжди надсилається до хмари.

Очевидно, що пристрій повинен постійно слухати, щоб виявити неспальне слово. Однак це робиться за технологією під назвою.

1. Як Amazon Echo та Echo Dot розпізнають слово неспання?

Amazon Echo та Echo Dot використовують критерії визначення ключових слів на пристрої для виявлення неспального слова. Коли ці пристрої виявляють слово пробудження, вони передають аудіо в хмару , включаючи частку секунди аудіо перед будним словом.

( Echo FAQ )

Так, на думку Amazon, виявлення неспокійних слів відбувається на пристрої. Це можна дуже легко перевірити, заборонивши пристрою проникати в Інтернет у вашому маршрутизаторі. Точка Echo / Echo все одно розпізнає слово пробудження, але світловий дзвінок стане червоним, і пристрій скаже, що він не має підключення до Інтернету. Отже, ми можемо дуже просто переконатись, що розпізнавання слів пробудження насправді робиться локально .

Лише після виявлення слова пробудження пристрій зв’язується із хмарною службою Alexa.

За словами Amazon, пристрій надходить у хмару лише тоді, коли світле кільце синє, і воно зовсім не слухає, коли ви його вимкнено, а світловий кільце блищає суцільним червоним кольором. Звичайно, обережні люди можуть перевірити це за допомогою таких мережевих інструментів, як Wireshark, щоб переконатися, що це дійсно лише тоді.

Чи Echo завжди записує та надсилає дані в хмару, або вищезазначені твердження є необґрунтованими?

Ні при відправці. Але так на записі.

В даний час я розробляю апаратний клієнт Alexa для компанії. Пристрій завжди слухає. Але вам доведеться поставити на ньому механізм пробудження слів, щоб він "прокинувся" з режиму пасивного прослуховування і перейшов у активний режим "слухати команду".

Прошивка буде надсилати заяви лише після того, як пробуджує слово (переключиться в активний режим) у хмару, щоб обробити їх як команди.

• Що стосується пристрою, ви не хочете відправляти кожну заяву, яку він потрапляє у хмару, на обробку, оскільки це зажадає занадто велику пропускну здатність та потужність.
• Що стосується Amazon, вони також не хочуть, щоб кожен клієнт Alexa надсилав все, що чує, тому що це зайняло б величезну кількість пропускної здатності. Крім того, це призведе до надто великої кількості пов'язаних між собою даних, які б заважали постійному навчанню системи. Уявіть, що намагаєтеся дізнатися, що говорить ваш вчитель (дійсні команди), коли всі в класі говорять одночасно (кожен інший вислів, який не є командою).

Як Amazon Echo обробляє дані, якщо не завжди надсилає дані на сервери в хмарі?

У пасивному режимі пристрій має внутрішній механізм пробудження слів, який весь час слухає слово пробудження. Поки я тестував Alexa в Raspberry Pi, для цього мені довелося ввести або двигун Sensory, або KITT.AI. Насправді, коли я випробував прототип клієнтського коду Alexa для моєї машини Linux, він повинен був бути "push-to-talk", оскільки не було механізму пробудження слів.

Промовляючи ключову фразу, яку Амазонка називає «неспокійним словом», Ехо оживає і починає слухати команди. За замовчуванням слово пробудження - Alexa.

Якщо ви перечитали це останнє речення, це може не мати сенсу, особливо якщо ви знаходитесь у полі безпеки. За словами Амазонки, Ехо слухає команди лише після того, як почує своє слово пробудження. Звідки це знати, коли ви сказали неспане слово, якщо воно вже не слухало?

Echo активно слухає ключове слово і приймає слова, вимовлені після ключового слова, для обробки NLU. Ось моє розуміння, як відлуння досягає цього акуратного подвигу.

Echo створений на цифровому медіапроцесорі Texas Instruments DM3725 .

Цей TI SoC має дві ключові частини всередині: перший - ARM Cortex-A8 MPU, а другий - TMS320DM64x + DSP. Ядро ARM має працювати під управлінням Linux, а DSP працює з прошивкою.

Під час роботи в режимі очікування ядро ​​ARM переводиться на мінімально можливий стан живлення і Linux повністю припиняється. У цей час активована оперативна пам'ять DSP і 64 КБ на мікросхемі. Прошивка DSP обробляє шум, що надходить з мікрофона, і намагається визначити, чи вимовляється ключове слово (наприклад, Alexa). Як тільки він виявить ключове слово, DSP надсилає перерву для пробудження ядра ARM, яке, в свою чергу, відновлює Linux. Але пам’ятайте, що в той час як Linux прокидається людина, яка сказала, що Alexa продовжував би говорити (як, наприклад, "Алекса, що зараз?" ). DSP буферизує "який час?" частина на чіп оперативної пам'яті. А коли відновлено Linux, Linux отримує захищену мову і використовує можливість обробки природних мов (частково локальних, частково хмарних), щоб зрозуміти, що говорить людина.

Як ви бачите, дизайн повністю створений для того, щоб не мати найменшої потужності та уникати необхідності включати хмару для виявлення ключових слів та початкового буферизації. Власне кажучи, утримання ядра ARM при мінімальних потужностях гарантує, що кремній нагрівається найменше при простої, таким чином, приносячи довгий термін служби вашому пристрою.

Я покидаю обговорення спроб зламати відлуння, оскільки питання було наступним:

розпізнавання слів неспання справді робиться локально.

Так.

Дивіться, наприклад, наскільки приватним є новий Amazon Echo? (Є ще багато подібних, які можна знайти з мінімальними зусиллями)

Як і Сірі, Amazon Echo працює у «хмарі», що працює на веб-сервісах Amazon. Тому обробка, необхідна для "розуміння" вашої команди, не обробляється на самому пристрої

Однак,

Зрештою, це завжди слухає, тож чи не слід нас турбувати про Великого Брата?

Ні, каже Амазонка. Технічний гігант каже, що не слухає і не записує приватні розмови вдома. Якщо когось це турбує, вони можуть скористатися вбудованим пультом для натискання кнопки відключення звуку, яка вимикає пристрій "завжди слухаючого", тому воно не буде працювати, поки ви знову не активуєте мікрофон.