Voice assistants on mobile devices continue to prove to be subject to hacking in ways that developers did not thought. A new method of attacking mobile devices has been demonstrated by a team of researchers at the University of Michigan, the attack is called “SurfingAttack”, and makes it possible to attack/control the device when it is simply placed on a surface, such as a table. The contact with a surface allows ultrasonic vibrations produced by equipment in contact with the structure (table), allowing the device to think that they are voice commands from the user. These ultrasonic vibrations are not heard by the human ear, making it imperceptible to the user that the attack is taking place.
Paper https://surfingattack.github.io/papers/NDSS-surfingattack.pdf
Demonstração
Attack under a realistic scenario https://www.youtube.com/watch?v=zgr-oM2YJHs
Long distance https://www.youtube.com/watch?v=5zfQuQ5KNNY
Mais exemplos https://www.youtube.com/channel/UClZmfJ2lrKVVIw4u0iePG9Q/videos
Abstract: With recent advances in artificial intelligence and natural language processing, voice has become a primary method for human-computer interaction. It has enabled game-changing new technologies in both commercial sectors and military sectors, such as Siri, Alexa, Google Assistant, and voice-controlled naval warships. Recently, researchers have demonstrated that these voice assistant systems are susceptible to signal injection at the inaudible frequencies. To date, most of the existing works focus primarily on delivering a single command via line-of-sight ultrasound speaker or extending the range of this attack via speaker array. However, besides air, sound waves also propagate through other materials where vibration is possible. In this work, we aim to understand the characteristics of this new genre of attack in the context of different transmission media. Furthermore, by leveraging the unique properties of acoustic transmission in solid materials, we design a new attack called SurfingAttack that would enable multiple rounds of interactions between the voice-controlled device and the attacker over a longer distance and without the need to be in line-of-sight. By completing the interaction loop of inaudible sound attack, SurfingAttack enables new attack scenarios, such as hijacking a mobile Short Message Service (SMS) passcode, making ghost fraud calls without owners’ knowledge, etc. To accomplish SurfingAttack, we have solved several major challenges. First, the signal has been specially designed to allow omni-directional transmission for performing effective attacks over a solid medium. Second, the new attack enables multi-round interaction without alerting the legitimate user at the scene, which is challenging since the device is designed to interact with users in physical proximity rather than sensors. To mitigate this newly discovered threat, we also provide discussions and experimental results on potential countermeasures to defend against this new threat.
(text from the paper)
______________________________________________________________________
PORTUGUÊS | PORTUGUESE
SurfingAttack: Ataque interativo oculto em assistentes de voz de dispositivos móveis usando ondas ultrassónicas guiadas
Os assistentes de voz dos dispositivos móveis continuam a revelar-se estarem sujeitos a “hacking” de formas que os desenvolvedores não idealizaram ser possível. Um novo método de ataque aos dispositivos móveis foi demonstrado por uma equipa de investigadores da Universidade de Michigan, o ataque é chamado de “SurfingAttack”, e torna possível atacar/controlar o dispositivo quando este simplesmente está colocado numa superfície, como uma mesa. O contacto com uma superfície, permite que vibrações ultrassónicas produzidas por um equipamento em contacto com a estrutura (ex. mesa), permitem ao dispositivo pensar que são comandos de voz do utilizador. Estas vibrações ultrassónicas não são ouvidas pelo ouvido humano, tornando impercetível ao utilizador que o ataque está a acontecer.
Resumo: Com os recentes avanços na inteligência artificial e no processamento de linguagem, a voz tornou-se o principal método de interação humano-computador. Permitindo novas tecnologias revolucionárias nos setores comercial e militar, como Siri, Alexa, Google Assistant de controlados por voz. Recentemente, os investigadores demonstraram que esses sistemas de assistente de voz são suscetíveis à injeção de sinal nas frequências inaudíveis. Até ao momento, a maioria dos trabalhos existentes concentra-se principalmente no fornecimento de um único comando via alto-falante de ultrassom de linha de visão ou na ampliação do alcance desse ataque por meio de um conjunto de alto-falantes. No entanto, além do ar, as ondas sonoras também se propagam por outros materiais onde a vibração é possível. Neste trabalho, objetivamos entender as características desse novo género de ataque no contexto de diferentes meios de transmissão. Além disso, aproveitando as propriedades exclusivas da transmissão acústica em materiais sólidos, projetamos um novo ataque chamado SurfingAttack, que permitiria várias interações entre o dispositivo controlado por voz e o atacante a uma distância sem a necessidade de estar alinhado com um ponto de vista. Ao concluir o ciclo de interação do ataque sonoro inaudível, o SurfingAttack permite novos cenários de ataque, como sequestrar uma senha móvel do serviço de mensagens curtas (SMS), fazer chamadas sem o conhecimento dos proprietários, etc. Para realizar o SurfingAttack, resolvemos vários grandes desafios. Primeiro, o sinal foi especialmente projetado para permitir a transmissão omnidirecional para realizar ataques eficazes em um meio sólido. Segundo, o novo ataque permite a interação em várias interações, sem alertar o utilizador no local, o que é desafiador, pois o dispositivo foi projetado para interagir com os utilizadores em proximidade física, em vez de sensores. Para mitigar essa ameaça recém-descoberta, também fornecemos discussões e resultados experimentais sobre possíveis contramedidas para se defender contra essa nova ameaça.
______________________________________________________________________
FRENCH | FRANÇAIS
SurfingAttack: Attaque cachée interactive sur les assistants vocaux utilisant des ondes guidées par ultrasons
Les assistants vocaux sur les appareils mobiles continuent de faire l'objet de piratage d'une manière que les développeurs ne pensaient pas. Une nouvelle méthode d'attaque des appareils mobiles a été démontrée par une équipe de chercheurs de l'Université du Michigan, l'attaque s'appelle «SurfingAttack», et permet d'attaquer / contrôler l'appareil lorsqu'il est simplement placé sur une surface, comme une table. Le contact avec une surface permet des vibrations ultrasoniques produites par des équipements en contact avec la structure (table), permettant à l'appareil de penser qu'il s'agit de commandes vocales de l'utilisateur. Ces vibrations ultrasoniques ne sont pas entendues par l'oreille humaine, ce qui rend imperceptible pour l'utilisateur que l'attaque a lieu.
Résumé: Avec les progrès récents de l'intelligence artificielle et du traitement du langage naturel, la voix est devenue une méthode principale d'interaction homme-machine. Il a permis de nouvelles technologies révolutionnaires dans les secteurs commerciaux et militaires, tels que Siri, Alexa, Google Assistant et les navires de guerre navals à commande vocale. Récemment, des chercheurs ont démontré que ces systèmes d'assistance vocale sont susceptibles d'injecter des signaux aux fréquences inaudibles. À ce jour, la plupart des travaux existants se concentrent principalement sur la fourniture d'une seule commande via un haut-parleur à ultrasons en ligne de visée ou sur l'extension de la portée de cette attaque via un réseau de haut-parleurs. Cependant, outre l'air, les ondes sonores se propagent également à travers d'autres matériaux où des vibrations sont possibles. Dans ce travail, nous visons à comprendre les caractéristiques de ce nouveau genre d'attaque dans le contexte de différents supports de transmission. En outre, en tirant parti des propriétés uniques de la transmission acoustique dans les matériaux solides, nous concevons une nouvelle attaque appelée SurfingAttack qui permettrait de multiples cycles d'interactions entre l'appareil à commande vocale et l'attaquant sur une plus longue distance et sans avoir besoin d'être en ligne - de vue. En complétant la boucle d'interaction d'une attaque sonore inaudible, SurfingAttack permet de nouveaux scénarios d'attaque, tels que le détournement d'un mot de passe SMS (Short Message Service) mobile, des appels de fraude fantôme à l'insu des propriétaires, etc. Pour accomplir SurfingAttack, nous avons résolu plusieurs défis majeurs . Premièrement, le signal a été spécialement conçu pour permettre une transmission omnidirectionnelle pour effectuer des attaques efficaces sur un support solide. Deuxièmement, la nouvelle attaque permet une interaction multi-round sans alerter l'utilisateur légitime sur les lieux, ce qui est difficile car l'appareil est conçu pour interagir avec les utilisateurs à proximité physique plutôt qu'avec des capteurs. Pour atténuer cette menace nouvellement découverte, nous fournissons également des discussions et des résultats expérimentaux sur les contre-mesures potentielles pour se défendre contre cette nouvelle menace.
______________________________________________________________________
SPANISH | ESPAÑOL
SurfingAttack: ataque oculto interactivo en asistentes de voz usando ondas guiadas ultrasónicas
Los asistentes de voz en dispositivos móviles continúan demostrando estar sujetos a piratería de formas que los desarrolladores no pensaron. Un equipo de investigadores de la Universidad de Michigan ha demostrado un nuevo método para atacar dispositivos móviles, el ataque se llama "SurfingAttack", y permite atacar / controlar el dispositivo cuando simplemente se coloca en una superficie, como una mesa. El contacto con una superficie permite vibraciones ultrasónicas producidas por equipos en contacto con la estructura (tabla), lo que permite que el dispositivo piense que son comandos de voz del usuario. Estas vibraciones ultrasónicas no son escuchadas por el oído humano, lo que hace que sea imperceptible para el usuario que el ataque está teniendo lugar.
Resumen: Con los recientes avances en inteligencia artificial y procesamiento del lenguaje natural, la voz se ha convertido en un método primario para la interacción humano-computadora. Ha permitido nuevas tecnologías que cambian el juego en los sectores comerciales y militares, como Siri, Alexa, Google Assistant y los buques de guerra navales controlados por voz. Recientemente, los investigadores han demostrado que estos sistemas de asistente de voz son susceptibles a la inyección de señal en las frecuencias inaudibles. Hasta la fecha, la mayoría de los trabajos existentes se centran principalmente en entregar un solo comando a través de un altavoz de ultrasonido de línea de vista o extender el alcance de este ataque a través del conjunto de altavoces. Sin embargo, además del aire, las ondas de sonido también se propagan a través de otros materiales donde es posible la vibración. En este trabajo, nuestro objetivo es comprender las características de este nuevo género de ataque en el contexto de diferentes medios de transmisión. Además, al aprovechar las propiedades únicas de la transmisión acústica en materiales sólidos, diseñamos un nuevo ataque llamado SurfingAttack que permitiría múltiples rondas de interacciones entre el dispositivo controlado por voz y el atacante a una distancia más larga y sin la necesidad de estar en línea. en vista. Al completar el bucle de interacción del ataque de sonido inaudible, SurfingAttack permite nuevos escenarios de ataque, como secuestrar un código de acceso móvil del Servicio de mensajes cortos (SMS), hacer llamadas de fraude fantasma sin el conocimiento de los propietarios, etc. Para lograr SurfingAttack, hemos resuelto varios desafíos importantes . Primero, la señal ha sido especialmente diseñada para permitir la transmisión omnidireccional para realizar ataques efectivos sobre un medio sólido. En segundo lugar, el nuevo ataque permite la interacción multi-ronda sin alertar al usuario legítimo en la escena, lo cual es un desafío ya que el dispositivo está diseñado para interactuar con usuarios en proximidad física en lugar de sensores. Para mitigar esta amenaza recién descubierta, también brindamos debates y resultados experimentales sobre posibles contramedidas para defenderse de esta nueva amenaza.
_______________________________________________________________________
GERMAN | DEUTSCHE
SurfingAttack: Interaktiver versteckter Angriff auf Sprachassistenten mit ultraschallgeführten Wellen
Sprachassistenten auf Mobilgeräten sind weiterhin auf eine Weise gehackt, die Entwickler nicht gedacht haben. Ein Forscherteam der University of Michigan hat eine neue Methode zum Angriff auf mobile Geräte demonstriert. Der Angriff heißt „SurfingAttack“ und ermöglicht es, das Gerät anzugreifen / zu steuern, wenn es einfach auf einer Oberfläche platziert wird, z ein Tisch. Der Kontakt mit einer Oberfläche ermöglicht Ultraschallschwingungen, die von Geräten erzeugt werden, die mit der Struktur in Kontakt stehen (Tabelle), so dass das Gerät denken kann, dass es sich um Sprachbefehle des Benutzers handelt. Diese Ultraschallschwingungen werden vom menschlichen Ohr nicht gehört, so dass der Benutzer nicht wahrnehmen kann, dass der Angriff stattfindet.
Zusammenfassung: Mit den jüngsten Fortschritten in der künstlichen Intelligenz und der Verarbeitung natürlicher Sprache ist Sprache zu einer primären Methode für die Mensch-Computer-Interaktion geworden. Es hat bahnbrechende neue Technologien sowohl im kommerziellen als auch im militärischen Bereich wie Siri, Alexa, Google Assistant und sprachgesteuerte Seekriegsschiffe ermöglicht. Kürzlich haben Forscher gezeigt, dass diese Sprachassistenzsysteme für eine Signalinjektion bei den unhörbaren Frequenzen anfällig sind. Bisher konzentrieren sich die meisten vorhandenen Arbeiten hauptsächlich darauf, einen einzelnen Befehl über einen Ultraschalllautsprecher mit Sichtverbindung zu liefern oder die Reichweite dieses Angriffs über ein Lautsprecherarray zu erweitern. Neben Luft breiten sich Schallwellen jedoch auch durch andere Materialien aus, bei denen Vibrationen möglich sind. In dieser Arbeit wollen wir die Eigenschaften dieses neuen Angriffsgenres im Kontext verschiedener Übertragungsmedien verstehen. Indem wir die einzigartigen Eigenschaften der akustischen Übertragung in festen Materialien nutzen, entwickeln wir einen neuen Angriff namens SurfingAttack, der mehrere Interaktionsrunden zwischen dem sprachgesteuerten Gerät und dem Angreifer über eine größere Distanz und ohne die Notwendigkeit einer Linie ermöglicht. von Sicht. Durch das Abschließen der Interaktionsschleife für unhörbare Soundangriffe ermöglicht SurfingAttack neue Angriffsszenarien, z. B. das Entführen eines SMS-Passcodes (Mobile Short Message Service), das Tätigen von Geisterbetrugsanrufen ohne Wissen der Eigentümer usw. Um SurfingAttack durchzuführen, haben wir mehrere große Herausforderungen gelöst . Erstens wurde das Signal speziell entwickelt, um eine omnidirektionale Übertragung für effektive Angriffe über ein festes Medium zu ermöglichen. Zweitens ermöglicht der neue Angriff eine mehrrundige Interaktion, ohne den legitimen Benutzer vor Ort zu alarmieren. Dies ist eine Herausforderung, da das Gerät eher für die Interaktion mit Benutzern in physischer Nähe als für Sensoren ausgelegt ist. Um diese neu entdeckte Bedrohung abzumildern, bieten wir auch Diskussionen und experimentelle Ergebnisse zu möglichen Gegenmaßnahmen zur Abwehr dieser neuen Bedrohung an.
______________________________________________________________________
ITALIAN | ITALIANO
SurfingAttack: Interactive Hidden Attack on Voice Assistants Using Ultrasonic Guided Waves
Gli assistenti vocali sui dispositivi mobili continuano a dimostrarsi soggetti a pirateria informatica in modi che gli sviluppatori non pensavano. Un nuovo metodo di attacco ai dispositivi mobili è stato dimostrato da un team di ricercatori dell'Università del Michigan, l'attacco si chiama "SurfingAttack" e consente di attaccare / controllare il dispositivo quando viene semplicemente posizionato su una superficie, come un tavolo. Il contatto con una superficie consente vibrazioni ultrasoniche prodotte dalle apparecchiature a contatto con la struttura (tabella), consentendo al dispositivo di pensare di essere comandi vocali dell'utente. Queste vibrazioni ultrasoniche non sono udite dall'orecchio umano, il che rende impercettibile per l'utente che l'attacco sta avvenendo.
Riassunto: con i recenti progressi nell'intelligenza artificiale e nell'elaborazione del linguaggio naturale, la voce è diventata il metodo principale per l'interazione uomo-computer. Ha consentito nuove tecnologie rivoluzionarie in entrambi i settori commerciali e militari, come Siri, Alexa, Google Assistant e navi da guerra navali a comando vocale. Di recente, i ricercatori hanno dimostrato che questi sistemi di assistenza vocale sono suscettibili all'iniezione del segnale alle frequenze impercettibili. Ad oggi, la maggior parte delle opere esistenti si concentra principalmente sull'immissione di un singolo comando tramite l'altoparlante a ultrasuoni in linea di vista o sull'estensione del raggio di questo attacco tramite array di altoparlanti. Tuttavia, oltre all'aria, le onde sonore si propagano anche attraverso altri materiali dove è possibile la vibrazione. In questo lavoro, miriamo a comprendere le caratteristiche di questo nuovo genere di attacco nel contesto di diversi mezzi di trasmissione. Inoltre, sfruttando le proprietà uniche della trasmissione acustica in materiali solidi, progettiamo un nuovo attacco chiamato SurfingAttack che consentirebbe più cicli di interazioni tra il dispositivo a comando vocale e l'attaccante su una distanza più lunga e senza la necessità di essere in linea- of-sight. Completando il ciclo di interazione di un attacco sonoro impercettibile, SurfingAttack abilita nuovi scenari di attacco, come il dirottamento di un passcode SMS (Mobile Short Service Service), l'esecuzione di chiamate fraudolente fantasma senza conoscenza dei proprietari, ecc. Per realizzare SurfingAttack, abbiamo risolto diverse sfide importanti . Innanzitutto, il segnale è stato appositamente progettato per consentire la trasmissione omnidirezionale per eseguire attacchi efficaci su un supporto solido. In secondo luogo, il nuovo attacco consente l'interazione a più round senza avvisare l'utente legittimo sulla scena, il che è una sfida poiché il dispositivo è progettato per interagire con gli utenti in prossimità fisica piuttosto che con i sensori. Per mitigare questa nuova minaccia scoperta, forniamo anche discussioni e risultati sperimentali su potenziali contromisure per difendersi da questa nuova minaccia.
_______________________________________________________________________
RUSSIAN | РУССКИЙ
SurfingAttack: интерактивная скрытая атака на голосовых помощников с использованием ультразвуковых волн
Голосовые помощники на мобильных устройствах продолжают подвергаться взлому способами, о которых разработчики не думали. Группа исследователей из Мичиганского университета продемонстрировала новый метод атаки на мобильные устройства. Эта атака называется «SurfingAttack» и позволяет атаковать / контролировать устройство, когда оно просто находится на поверхности, например стол. Контакт с поверхностью допускает ультразвуковые колебания, создаваемые оборудованием, контактирующим со структурой (столом), позволяя устройству думать, что это голосовые команды от пользователя. Эти ультразвуковые колебания не слышны человеческим ухом, что делает его незаметным для пользователя, когда происходит атака.
Аннотация: С недавними достижениями в области искусственного интеллекта и обработки естественного языка голос стал основным методом взаимодействия человека с компьютером. Это позволило изменить новые технологии в коммерческих и военных секторах, таких как Siri, Alexa, Google Assistant и военно-морские корабли с голосовым управлением. Недавно исследователи продемонстрировали, что эти системы голосового ассистента чувствительны к подаче сигнала на неслышимых частотах. На сегодняшний день большинство существующих работ сосредоточено, прежде всего, на подаче одной команды через ультразвуковой динамик в пределах прямой видимости или расширении диапазона этой атаки с помощью массива динамиков. Однако, помимо воздуха, звуковые волны распространяются и через другие материалы, где возможна вибрация. В этой работе мы стремимся понять характеристики этого нового жанра атаки в контексте различных сред передачи. Кроме того, используя уникальные свойства акустической передачи в твердых материалах, мы разрабатываем новую атаку, называемую SurfingAttack, которая позволила бы несколько раундов взаимодействия между устройством с голосовым управлением и атакующим на более длинном расстоянии и без необходимости находиться на линии. визирования. Завершив цикл взаимодействия неслышимой звуковой атаки, SurfingAttack обеспечивает новые сценарии атаки, такие как захват мобильного пароля службы коротких сообщений (SMS), совершение мошеннических звонков без ведома владельцев и т. Д. Чтобы выполнить SurfingAttack, мы решили несколько основных задач. , Во-первых, сигнал был специально разработан, чтобы позволить всенаправленную передачу для выполнения эффективных атак по твердой среде. Во-вторых, новая атака обеспечивает возможность многократного взаимодействия без предупреждения законного пользователя на месте, что является сложной задачей, поскольку устройство предназначено для взаимодействия с пользователями в физической близости, а не с датчиками. Чтобы смягчить эту недавно обнаруженную угрозу, мы также предоставляем обсуждения и экспериментальные результаты о возможных контрмерах для защиты от этой новой угрозы.
______________________________________________________________________
TURKISH | TÜRK
SurfingAttack: Ultrasonik Kılavuzlu Dalgalar Kullanarak Sesli Yardımcılara Etkileşimli Gizli Saldırı
Mobil cihazlardaki ses yardımcıları, geliştiricilerin düşünmedikleri şekillerde saldırıya maruz kaldıklarını kanıtlamaya devam ediyor. Michigan Üniversitesi'ndeki bir araştırmacı ekibi tarafından mobil cihazlara saldırmanın yeni bir yöntemi gösterildi, saldırı “SurfingAttack” olarak adlandırılıyor ve cihaza basit bir yüzeye yerleştirildiğinde cihaza saldırmayı / kontrol etmeyi mümkün kılıyor. bir masa. Bir yüzeyle temas, yapı (masa) ile temas halinde olan ekipman tarafından üretilen ultrasonik titreşimlere izin vererek cihazın kullanıcının sesli komutları olduğunu düşünmesini sağlar. Bu ultrasonik titreşimler insan kulağı tarafından duyulmaz, bu da kullanıcının saldırının gerçekleştiğini fark etmez hale getirir.
Özet: Yapay zeka ve doğal dil işlemedeki son gelişmelerle ses, insan-bilgisayar etkileşimi için birincil yöntem haline gelmiştir. Hem ticari sektörlerde hem de Siri, Alexa, Google Asistan ve ses kontrollü deniz savaş gemileri gibi askeri sektörlerde oyun değiştiren yeni teknolojiler sağladı. Son zamanlarda, araştırmacılar bu sesli yardımcı sistemlerin duyulamayan frekanslarda sinyal enjeksiyonuna duyarlı olduklarını gösterdiler. Şimdiye kadar, mevcut çalışmaların çoğu öncelikle görüş hattı ultrason hoparlörü aracılığıyla tek bir komut vermeye veya bu saldırı aralığını hoparlör dizisi aracılığıyla genişletmeye odaklanıyor. Bununla birlikte, havanın yanı sıra, ses dalgaları titreşimin mümkün olduğu diğer malzemelerden de yayılır. Bu çalışmada, bu yeni saldırı türünün özelliklerini farklı iletim ortamları bağlamında anlamayı hedefliyoruz. Ayrıca, katı malzemelerdeki akustik iletimin benzersiz özelliklerinden yararlanarak, ses kontrollü cihaz ile saldırgan arasında daha uzun bir mesafede ve hatta olmaya gerek kalmadan birden fazla etkileşim turu sağlayacak SurfingAttack adlı yeni bir saldırı tasarlıyoruz. Görüş mesafesinde. Sesli olmayan ses saldırısının etkileşim döngüsünü tamamlayarak, SurfingAttack mobil Kısa Mesaj Servisi (SMS) şifresini ele geçirme, sahiplerin bilgisi olmadan hayalet sahtekarlığı çağrıları yapma vb. Gibi yeni saldırı senaryolarını etkinleştirir. . İlk olarak, sinyal, katı bir ortam üzerinde etkili saldırılar gerçekleştirmek için çok yönlü iletim sağlamak için özel olarak tasarlanmıştır. İkincisi, yeni saldırı olay yerinde meşru kullanıcıyı uyarmadan çok yönlü etkileşime izin verir, bu da cihaz sensörler yerine fiziksel yakınlıktaki kullanıcılarla etkileşim kurmak üzere tasarlandığından zordur. Bu yeni keşfedilen tehdidi azaltmak için, bu yeni tehdide karşı korunmak için olası önlemlere ilişkin tartışmalar ve deneysel sonuçlar da sunuyoruz.
______________________________________________________________________
UKRAINIAN | УКРАЇНСЬКИЙ
SurfingAttack: Інтерактивна прихована атака на голосових помічників за допомогою ультразвукових керованих хвиль
Голосові помічники на мобільних пристроях продовжують виявляти свою хакерську діяльність так, як розробники не думали. Нова методика атаки мобільних пристроїв була продемонстрована командою дослідників з Мічиганського університету, атака називається «SurfingAttack», і дає можливість атакувати / керувати пристроєм, коли його просто розміщують на поверхні, наприклад стіл. Контакт з поверхнею дозволяє ультразвукові коливання, що виробляються обладнанням, що контактує зі структурою (таблицею), дозволяють пристрою думати, що це голосові команди від користувача. Ці ультразвукові коливання не чуються людським вухом, що робить його непомітним для користувача, що напад відбувається.
Анотація: З недавніми досягненнями в галузі штучного інтелекту та обробки природних мов голос став основним методом взаємодії людина-комп'ютер. Це дозволило змінити нові технології в іграх як у комерційних секторах, так і у військових секторах, таких як Siri, Alexa, Google Assistant та військово-морські кораблі, що управляються голосом. Нещодавно дослідники продемонстрували, що ці системи голосових асистентів сприйнятливі до введення сигналу на нечутних частотах. На сьогоднішній день більшість існуючих робіт орієнтовані насамперед на надання єдиної команди за допомогою ультразвукового динаміка прямолінійного огляду або на розширення дальності цієї атаки через колонку динаміків. Однак, крім повітря, звукові хвилі поширюються і через інші матеріали, де можлива вібрація. У цій роботі ми прагнемо розібратися в характеристиках цього нового жанру нападу в контексті різних засобів масової інформації. Крім того, використовуючи унікальні властивості акустичної передачі в твердих матеріалах, ми розробляємо нову атаку під назвою SurfingAttack, яка б дала змогу здійснити багаторазові взаємодії між пристроєм, керованим голосом та зловмисником, на більшу відстань і без необхідності знаходитись у лінії зв'язку. зір. Завершивши цикл взаємодії нечутної звукової атаки, SurfingAttack дає можливість створити нові сценарії атак, такі як викрадення пароля мобільного сервісу коротких повідомлень (SMS), здійснення дзвінків із фальшивими приводами без відома власників тощо. Для виконання SurfingAttack ми вирішили кілька основних проблем . По-перше, сигнал був спеціально розроблений, щоб дозволити всенаправлену передачу для здійснення ефективних атак над твердим середовищем. По-друге, нова атака забезпечує багатосторонню взаємодію без попередження законного користувача на місці події, що є складним завданням, оскільки пристрій призначений для взаємодії з користувачами у фізичній близькості, а не з датчиками. Щоб пом'якшити цю нововиявлену загрозу, ми також надаємо дискусії та експериментальні результати щодо потенційних контрзаходів для захисту від цієї нової загрози.
______________________________________________________________________
CHINESE | 中文
SurfingAttack：使用超声波导波对语音助手进行交互式隐藏式攻击
移动设备上的语音助手继续被证明会遭受开发人员未曾想到的黑客攻击。密歇根大学的一组研究人员演示了一种攻击移动设备的新方法，这种攻击称为“ SurfingAttack”，可以将设备简单地放置在表面上，例如，对设备进行攻击/控制。一张桌子。与表面的接触允许与结构（桌子）接触的设备产生的超声波振动，使设备认为它们是来自用户的语音命令。这些超声波振动不会被人耳听到，从而使用户无法察觉发生了攻击。
摘要：随着人工智能和自然语言处理的最新进展，语音已成为人机交互的主要方法。它在Siri，Alexa，Google Assistant和语音控制的海军军舰等商业领域和军事领域启用了改变游戏规则的新技术。最近，研究人员已经证明，这些语音助手系统很容易在听不见的频率处注入信号。迄今为止，大多数现有工作主要集中在通过视线超声扬声器发出单个命令或通过扬声器阵列扩展这种攻击的范围。但是，除空气外，声波还会通过其他可能传播振动的材料传播。在这项工作中，我们旨在了解这种新型攻击在不同传输媒体环境下的特征。此外，通过利用固体材料中声音传输的独特属性，我们设计了一种新的名为SurfingAttack的攻击，该攻击可在语音控制设备和攻击者之间进行更长距离的多轮交互，而无需排队。视野。通过完成听不见的声音攻击的交互循环，SurferingAttack启用了新的攻击方案，例如劫持了移动短消息服务（SMS）密码，在所有者不知情的情况下进行虚假欺诈呼叫等。为了完成SurfingAttack，我们解决了几个主要挑战。首先，该信号经过特殊设计，可以进行全方位传输，以便在固体介质上执行有效的攻击。其次，新攻击可以进行多轮互动，而不会在现场提醒合法用户，这是具有挑战性的，因为该设备旨在与物理附近的用户互动而不是与传感器互动。为了减轻这种新发现的威胁，我们还提供了讨论和实验结果，以研究防御这种新威胁的潜在对策。
______________________________________________________________________
JAPANESE | 日本語
SurfingAttack：超音波ガイド波を使用した音声アシスタントへのインタラクティブな隠し攻撃
モバイルデバイスの音声アシスタントは、開発者が考えもしなかった方法でハッキングの対象になることが引き続き証明されています。ミシガン大学の研究者チームによって、モバイルデバイスを攻撃する新しい方法が実証されています。この攻撃は「SurfingAttack」と呼ばれ、デバイスを表面に置くだけでデバイスを攻撃/制御できるようにします。テーブル。表面との接触により、構造物（テーブル）に接触している機器によって超音波振動が発生し、デバイスがユーザーからの音声コマンドであると考えることができます。これらの超音波振動は人間の耳には聞こえないため、攻撃が行われていることはユーザーにはわかりません。
要約：人工知能と自然言語処理の最近の進歩により、音声は人間とコンピューターの相互作用の主要な方法になりました。 Siri、Alexa、Google Assistant、音声制御の海軍艦艇など、商業部門と軍事部門の両方でゲームを変える新しいテクノロジーを実現しました。最近、研究者たちは、これらの音声アシスタントシステムが聞き取れない周波数での信号注入の影響を受けやすいことを実証しました。これまで、既存の作品のほとんどは、主に見通し超音波スピーカーを介して単一のコマンドを配信するか、スピーカーアレイを介してこの攻撃の範囲を拡大することに重点を置いています。ただし、空気に加えて、音波は振動が可能な他の材料にも伝播します。この作業では、さまざまな伝送メディアのコンテキストでこの新しい攻撃のジャンルの特性を理解することを目指しています。さらに、固体材料の音響伝送のユニークな特性を活用することにより、SurfingAttackという新しい攻撃を設計します。視界。聞こえないサウンド攻撃の相互作用ループを完了することにより、SurfingAttackは、モバイルショートメッセージサービス（SMS）パスコードのハイジャック、所有者の知らないうちにゴースト詐欺の呼び出しなどの新しい攻撃シナリオを可能にします。 。第一に、信号は、固体媒体上で効果的な攻撃を実行するための無指向性伝送を可能にするように特別に設計されています。第二に、新しい攻撃により、現場の正当なユーザーに警告することなくマルチラウンドの対話が可能になります。この新たに発見された脅威を緩和するために、この新しい脅威から防御するための潜在的な対策に関する議論と実験結果も提供します。
______________________________________________________________________
ARABIC | عربى
SurfingAttack: الهجوم التفاعلي الخفي على المساعدين الصوتيين باستخدام الموجات فوق الصوتية الموجهة
يظل المساعدون الصوتيون على الأجهزة المحمولة عرضة للاختراق بطرق لم يفكر بها المطورون. لقد أظهر فريق من الباحثين في جامعة ميشيغان طريقة جديدة لمهاجمة الأجهزة المحمولة ، ويطلق على هذا الهجوم "SurfingAttack" ، ويجعل من الممكن مهاجمة / التحكم في الجهاز عندما يتم وضعه ببساطة على سطح ، مثل طاولة. يتيح الاتصال بالسطح الاهتزازات فوق الصوتية التي تنتجها المعدات في اتصال مع الهيكل (الجدول) ، مما يتيح للجهاز التفكير في أنها أوامر صوتية من المستخدم. لا تسمع الأذن البشرية هذه الاهتزازات بالموجات فوق الصوتية ، مما يجعل من غير الممكن للمستخدم أن يحدث الهجوم.
الخلاصة: مع التطورات الحديثة في الذكاء الاصطناعي ومعالجة اللغة الطبيعية ، أصبح الصوت وسيلة أساسية للتفاعل بين الإنسان والحاسوب. لقد مكّن التقنيات الجديدة المتغيرة للعبة في كل من القطاعات التجارية والقطاعات العسكرية ، مثل
Siri و Alexa و Google Assistant والسفن الحربية البحرية التي يتحكم فيها الصوت. لقد أثبت الباحثون مؤخرًا أن أنظمة المساعدة الصوتية هذه عرضة لحقن الإشارة عند الترددات غير المسموعة. حتى الآن ، تركز معظم الأعمال الحالية في المقام الأول على تقديم أمر واحد عبر مكبر صوت الموجات فوق الصوتية في خط البصر أو توسيع نطاق هذا الهجوم عبر مجموعة السماعات. ومع ذلك ، إلى جانب الهواء ، تنتشر الموجات الصوتية أيضًا من خلال مواد أخرى يكون فيها الاهتزاز ممكنًا. في هذا العمل ، نهدف إلى فهم خصائص هذا النوع الجديد من الهجوم في سياق وسائط نقل مختلفة. علاوة على ذلك ، من خلال الاستفادة من الخصائص الفريدة للإرسال الصوتي في المواد الصلبة ، نقوم بتصميم هجوم جديد يسمى SurfingAttack من شأنه أن يتيح جولات متعددة من التفاعلات بين الجهاز الذي يتحكم فيه الصوت والمهاجم على مسافة أطول ودون الحاجة إلى أن يكون في خط مشهد. من خلال إكمال حلقة التفاعل الخاصة بالهجوم الصوتي غير المسموع ، يُمكّن SurfingAttack سيناريوهات هجوم جديدة ، مثل اختطاف رمز مرور خدمة الرسائل القصيرة (SMS) على الهاتف المحمول ، وإجراء مكالمات الاحتيال الخفية دون علم المالكين ، وما إلى ذلك. ولتحقيق SurfingAttack ، تم حل العديد من التحديات الرئيسية . أولاً ، تم تصميم الإشارة خصيصًا للسماح بنقل الحركة متعددة الاتجاهات لتنفيذ هجمات فعالة عبر وسيط صلب. ثانيًا ، يُمكّن الهجوم الجديد من التفاعل متعدد الجوانب دون تنبيه المستخدم الشرعي في مكان الحادث ، وهو أمر صعب نظرًا لأن الجهاز مصمم للتفاعل مع المستخدمين على مقربة جسديًا بدلاً من أجهزة الاستشعار. لتخفيف هذا التهديد الذي تم اكتشافه مؤخرًا ، نوفر أيضًا مناقشات ونتائج تجريبية حول التدابير المضادة المحتملة للدفاع ضد هذا التهديد الجديد.
______________________________________________________________________
KOREAN | 한국
SurfingAttack : 초음파 유도 파를 이용한 음성 어시스턴트에 대한 대화식 숨겨진 공격
모바일 장치의 음성 도우미는 개발자가 생각하지 못한 방식으로 해킹을 계속 받고 있습니다. 미시간 대학교 (University of Michigan)의 연구팀이 모바일 장치를 공격하는 새로운 방법을 시연했으며,이 공격을 "SurfingAttack"라고하며, 장치를 표면에 놓을 때 장치를 공격 / 제어 할 수 있습니다. 테이블. 표면과의 접촉은 구조물 (테이블)과 접촉하는 장비에 의해 생성 된 초음파 진동을 허용하여 장치가 사용자의 음성 명령이라고 생각할 수있게합니다. 이러한 초음파 진동은 사람의 귀에는 들리지 않으므로 공격이 발생하고 있음을 사용자가 인식 할 수 없습니다.
초록 : 최근 인공 지능 및 자연어 처리가 발전함에 따라 음성은 인간과 컴퓨터의 상호 작용을위한 주요 방법이되었습니다. 시리 (Siri), 알렉사 (Alexa), 구글 어시스턴트 (Google Assistant), 음성 제어 해군 군함과 같은 상업 부문과 군사 부문 모두에서 게임을 바꾸는 새로운 기술을 가능하게했다. 최근에, 연구자들은 이러한 음성 어시스턴트 시스템이들을 수없는 주파수에서 신호를 주입하기 쉽다는 것을 증명했습니다. 현재까지 대부분의 기존 작업은 주로 가시선 초음파 스피커를 통해 단일 명령을 제공하거나 스피커 배열을 통해이 공격 범위를 확장하는 데 중점을 둡니다. 그러나 공기 이외에도 음파는 진동이 가능한 다른 재료를 통해 전파됩니다. 이 작업에서 우리는 다른 전송 매체의 맥락에서이 새로운 공격 장르의 특성을 이해하는 것을 목표로합니다. 또한, 견고한 재질의 음향 전송의 고유 한 특성을 활용하여 SurfingAttack이라는 새로운 공격을 설계하여 음성 제어 장치와 공격자 사이에 여러 번의 상호 작용을 가능하게하여 원거리에있을 필요없이 더 먼 거리에서 시력. 비가 청 사운드 공격의 상호 작용 루프를 완료함으로써 SurfingAttack는 모바일 SMS (Short Message Service) 암호를 가로 채거나 소유자 모르게 고스트 사기 전화를 거는 등 새로운 공격 시나리오를 가능하게합니다. SurfingAttack을 달성하기 위해 몇 가지 주요 과제를 해결했습니다. . 첫째,이 신호는 견고한 매체에 대한 효과적인 공격을 수행하기 위해 전 방향 전송이 가능하도록 특별히 설계되었습니다. 둘째, 새로운 공격은 현장에서 합법적 인 사용자에게 알리지 않고 다자간 상호 작용을 가능하게합니다.이 장치는 센서가 아닌 물리적 인 근접에서 사용자와 상호 작용하도록 설계 되었기 때문에 어렵습니다. 새로 발견 된이 위협을 완화하기 위해이 새로운 위협으로부터 방어하기위한 잠재적 대책에 대한 토론과 실험 결과도 제공합니다.
______________________________________________________________________
GREEK | Ελληνικά
SurfingAttack: Διαδραστική κρυφή επίθεση σε φωνητικούς βοηθούς που χρησιμοποιούν υπερηχητικά κατευθυνόμενα κύματα
Οι βοηθοί φωνής σε κινητές συσκευές συνεχίζουν να αποδίδονται σε πειρατεία με τρόπους που οι προγραμματιστές δεν σκέφτονται. Μια νέα μέθοδος επίθεσης κινητών συσκευών έχει αποδειχθεί από μια ομάδα ερευνητών του Πανεπιστημίου του Michigan, η επίθεση ονομάζεται "SurfingAttack" και καθιστά δυνατή την επίθεση / έλεγχο της συσκευής όταν απλώς τοποθετείται σε μια επιφάνεια, όπως ένα τραπέζι. Η επαφή με μια επιφάνεια επιτρέπει την δόνηση υπερήχων που παράγεται από εξοπλισμό που έρχεται σε επαφή με τη δομή (πίνακας), επιτρέποντας στη συσκευή να σκέφτεται ότι είναι φωνητικές εντολές από το χρήστη. Αυτές οι υπερηχητικές δονήσεις δεν ακούγονται από το ανθρώπινο αυτί, καθιστώντας απαρατήρητη στο χρήστη ότι η επίθεση λαμβάνει χώρα.
Περίληψη: Με τις πρόσφατες εξελίξεις στην τεχνητή νοημοσύνη και την επεξεργασία της φυσικής γλώσσας, η φωνή έχει γίνει πρωταρχική μέθοδος αλληλεπίδρασης ανθρώπου-ηλεκτρονικού υπολογιστή. Έχει επιτρέψει νέες τεχνολογίες που αλλάζουν το παιχνίδι τόσο σε εμπορικούς τομείς όσο και σε στρατιωτικούς τομείς, όπως ο Siri, ο Alexa, ο Βοηθός Google και τα πολεμικά πλοία που ελέγχονται με φωνή. Πρόσφατα, οι ερευνητές έχουν αποδείξει ότι αυτά τα συστήματα φωνητικού βοηθήματος είναι ευαίσθητα στην ένεση σήματος στις ακούσιες συχνότητες. Μέχρι σήμερα, τα περισσότερα από τα υπάρχοντα έργα επικεντρώνονται κατά κύριο λόγο στην παράδοση μιας μόνο εντολής μέσω ηχείου υπερήχων ή στην επέκταση της εμβέλειας αυτής της επίθεσης μέσω συστοιχίας ηχείων. Ωστόσο, εκτός από τον αέρα, τα ηχητικά κύματα διαδίδονται επίσης μέσω άλλων υλικών όπου είναι δυνατή η δόνηση. Σε αυτό το έργο, στοχεύουμε να κατανοήσουμε τα χαρακτηριστικά αυτού του νέου είδους επίθεσης στο πλαίσιο διαφορετικών μέσων μετάδοσης. Επιπλέον, εκμεταλλευόμενοι τις μοναδικές ιδιότητες της ακουστικής μετάδοσης σε στερεά υλικά, σχεδιάζουμε μια νέα επίθεση που ονομάζεται SurfingAttack, η οποία θα επέτρεπε πολλαπλούς κύκλους αλληλεπιδράσεων μεταξύ της φωνητικά ελεγχόμενης συσκευής και του επιτιθέμενου σε μεγαλύτερη απόσταση και χωρίς να χρειάζεται να είναι σε γραμμή- από-θέαμα. Με την ολοκλήρωση του βρόχου αλληλεπίδρασης ακουστικής επίθεσης, το SurfingAttack επιτρέπει νέα σενάρια επίθεσης, όπως αεροπειρατεία ενός κωδικού πρόσβασης SMS (SMS), πραγματοποίηση κλήσεων απάτης φάντασμα χωρίς γνώση των ιδιοκτητών κλπ. Για να επιτύχουμε το SurfingAttack, επιλύσαμε αρκετές σημαντικές προκλήσεις . Πρώτον, το σήμα έχει σχεδιαστεί ειδικά για να επιτρέπει παντοδιακή μετάδοση για την εκτέλεση αποτελεσματικών επιθέσεων σε ένα στερεό μέσο. Δεύτερον, η νέα επίθεση καθιστά δυνατή τη διεξαγωγή πολλών στρογγυλών αλληλεπιδράσεων χωρίς να προειδοποιεί το νόμιμο χρήστη στη σκηνή, γεγονός που προκαλεί προβλήματα, καθώς η συσκευή έχει σχεδιαστεί για να αλληλεπιδρά με τους χρήστες στη φυσική εγγύτητα και όχι στους αισθητήρες. Για να μετριάσουμε αυτή την απειλή που ανακαλύφθηκε πρόσφατα, παρέχουμε επίσης συζητήσεις και πειραματικά αποτελέσματα σχετικά με πιθανά αντίμετρα για την υπεράσπιση αυτής της νέας απειλής.
______________________________________________________________________
NETHERLANDS | NEDERLAND
SurfingAttack: interactieve verborgen aanval op stemassistenten met behulp van ultrasone geleide golven
Spraakassistenten op mobiele apparaten blijken nog steeds te worden gehackt op manieren die ontwikkelaars niet dachten. Een nieuwe methode voor het aanvallen van mobiele apparaten is aangetoond door een team van onderzoekers aan de Universiteit van Michigan, de aanval heet "SurfingAttack" en maakt het mogelijk om het apparaat aan te vallen / te besturen wanneer het eenvoudig op een oppervlak wordt geplaatst, zoals een tafel. Het contact met een oppervlak maakt ultrasone trillingen mogelijk die worden geproduceerd door apparatuur in contact met de structuur (tabel), waardoor het apparaat kan denken dat het spraakopdrachten van de gebruiker zijn. Deze ultrasone trillingen worden niet gehoord door het menselijk oor, waardoor het voor de gebruiker niet waarneembaar is dat de aanval plaatsvindt.
Samenvatting: Met recente vorderingen in kunstmatige intelligentie en natuurlijke taalverwerking is stem een primaire methode geworden voor interactie tussen mens en computer. Het heeft baanbrekende nieuwe technologieën mogelijk gemaakt in zowel commerciële sectoren als militaire sectoren, zoals Siri, Alexa, Google Assistant en spraakgestuurde oorlogsschepen. Onlangs hebben onderzoekers aangetoond dat deze spraakassistent-systemen gevoelig zijn voor signaalinjectie bij de onhoorbare frequenties. Tot op heden richten de meeste van de bestaande werken zich primair op het leveren van een enkel commando via directe echografie-luidspreker of het uitbreiden van het bereik van deze aanval via luidsprekerarray. Naast lucht verspreiden geluidsgolven zich echter ook door andere materialen waar trillingen mogelijk zijn. In dit werk willen we de kenmerken van dit nieuwe aanvalsgenre begrijpen in de context van verschillende transmissiemedia. Verder, door gebruik te maken van de unieke eigenschappen van akoestische transmissie in solide materialen, ontwerpen we een nieuwe aanval genaamd SurfingAttack die meerdere ronden van interacties mogelijk maakt tussen het spraakgestuurde apparaat en de aanvaller over een langere afstand en zonder in de rij te hoeven staan- uit het zicht. Door de interactielus van een onhoorbare geluidsaanval te voltooien, maakt SurfingAttack nieuwe aanvalscenario's mogelijk, zoals het kapen van een mobiele Short Message Service (SMS) -code, spookfraudeoproepen zonder medeweten van de eigenaar, enz. Om SurfingAttack te bereiken, hebben we verschillende grote uitdagingen opgelost . Ten eerste is het signaal speciaal ontworpen om omni-directionele transmissie mogelijk te maken voor het uitvoeren van effectieve aanvallen op een solide medium. Ten tweede maakt de nieuwe aanval multi-round interactie mogelijk zonder de legitieme gebruiker ter plaatse te waarschuwen, wat een uitdaging is omdat het apparaat is ontworpen om te communiceren met gebruikers in fysieke nabijheid in plaats van sensoren. Om deze nieuw ontdekte dreiging te verminderen, bieden we ook discussies en experimentele resultaten over mogelijke tegenmaatregelen om tegen deze nieuwe dreiging te verdedigen.
______________________________________________________________________
ROMANIA | ROMÂNIA
SurfingAttack: atac ascuns interactiv asupra asistenților vocali folosind unde ghidate cu ultrasunete
Asistenții vocali de pe dispozitivele mobile continuă să se dovedească a fi supuși hackingului în moduri în care dezvoltatorii nu au crezut. O nouă metodă de atac a dispozitivelor mobile a fost demonstrată de o echipă de cercetători de la Universitatea din Michigan, atacul se numește „SurfingAttack” și face posibilă atacarea / controlul dispozitivului atunci când este așezat pur și simplu pe o suprafață, cum ar fi o masa. Contactul cu o suprafață permite vibrații ultrasonice produse de echipamentele în contact cu structura (tabelul), permițând dispozitivului să creadă că sunt comenzi vocale de la utilizator. Aceste vibrații cu ultrasunete nu sunt auzite de urechea umană, ceea ce face imperceptibil pentru utilizator că atacul are loc.
Rezumat: Cu progresele recente ale inteligenței artificiale și procesarea limbajului natural, vocea a devenit o metodă principală pentru interacțiunea om-calculator. A permis noile tehnologii care schimbă jocurile atât în sectoarele comerciale, cât și în sectoarele militare, precum Siri, Alexa, Google Assistant și navele de război navale controlate prin voce. Recent, cercetătorii au demonstrat că aceste sisteme de asistență vocală sunt susceptibile la injecții de semnal la frecvențele inaudibile. Până în prezent, majoritatea lucrărilor existente se concentrează în principal pe livrarea unei singure comenzi prin difuzorul cu ultrasunete liniară sau pe extinderea gamei acestui atac prin intermediul difuzoarelor. Cu toate acestea, pe lângă aer, undele sonore se propagă și prin alte materiale unde vibrațiile sunt posibile. În această lucrare, ne propunem să înțelegem caracteristicile acestui nou gen de atac în contextul diferitelor suporturi de transmisie. Mai mult, valorificând proprietățile unice ale transmisiei acustice în materiale solide, proiectăm un nou atac numit SurfingAttack, care ar permite mai multe runde de interacțiuni între dispozitivul controlat vocal și atacatorul pe o distanță mai lungă și fără a fi necesar să fie în linie. de-vedere. Prin completarea buclei de interacțiune a atacului de sunet inaudibil, SurfingAttack permite noi scenarii de atac, cum ar fi deturnarea unui cod de acces mobil SMS (Short Message Service), efectuarea de apeluri de fraudă fantomă fără cunoștințele proprietarilor, etc. Pentru a realiza SurfingAttack, am rezolvat câteva provocări majore . În primul rând, semnalul a fost proiectat special pentru a permite transmiterea omnidirecțională pentru efectuarea de atacuri eficiente pe un mediu solid. În al doilea rând, noul atac permite interacțiunea multirundă fără a avertiza utilizatorul legitim la fața locului, ceea ce este provocator, deoarece dispozitivul este proiectat să interacționeze cu utilizatorii în apropiere fizică, mai degrabă decât cu senzori. Pentru a atenua această amenințare recent descoperită, oferim, de asemenea, discuții și rezultate experimentale cu privire la potențialele contramăsuri de apărare împotriva acestei noi amenințări.
