Desain Pengalaman Imersif: Wawasan dan Teknik dari Ahli

Bagaimana desainer dapat menarik orang ke dunia virtual, digital, atau fisik produk Anda? Bawa UX ke level baru dengan perspektif ahli tentang desain pengalaman imersif ini.

Dipandu sendiri. Diciptakan bersama. Multisensorik. Nonlinear. Ini hanyalah beberapa kualitas yang dikaitkan dengan desain pengalaman imersif, disiplin luas yang mencakup augmented reality (AR), virtual reality (VR), arsitektur interior, desain suara, storytelling visual, dan banyak lagi. Direktur kreatif Inggris Alex McDowell menciptakan frasa "desain imersif" pada tahun 2007 untuk menggambarkan pendekatannya dalam menciptakan pengalaman VR, tetapi pemahaman saat ini tentang istilah tersebut dapat diterapkan pada pengalaman yang dirancang apa pun yang berusaha menarik orang ke dalam dunia—baik itu dunia virtual, digital, fisik, atau kombinasi dari ketiganya.

Apa yang mungkin tampak esoteris pada tahun 2007 kini telah menjadi arus utama: Orang-orang secara rutin mengaburkan batas antara berbagai "dunia" dengan permainan online multipemain masif, filter AR di media sosial, dan audio spasial di AirPods. Bagi merek dan produk yang bertujuan untuk menarik pengguna baru, berfokus pada desain imersif terasa kurang seperti fiksi ilmiah dan lebih seperti standar.

Dalam diskusi tanya jawab ini, dua ahli Toptal berbagi contoh pengalaman imersif dan ide mereka tentang bagaimana membuatnya menjadi hidup dalam praktik. Dwayne Grech memiliki lebih dari 15 tahun pengalaman membantu menciptakan desain imersif seperti antarmuka AR/VR, dinding sentuh, dan pemetaan proyeksi untuk merek seperti Nike, Bank of America, dan kota Las Vegas. Selama 25 tahun karier desainnya, Clarke Noone telah berkolaborasi dalam pengalaman omnichannel untuk klien seperti Google, Manchester United, dan Formula 1.

Percakapan ini telah diedit untuk kejelasan dan panjangnya.

Untuk memulai, bagaimana Anda mendefinisikan "desain pengalaman imersif" dalam konteks pekerjaan Anda sendiri?
Dwayne Grech: Ini adalah tantangan yang berkelanjutan, dan ini terus berkembang. Saya melihat istilah ini sebagai payung di atas berbagai disiplin ilmu yang biasanya ada secara terpisah selama proyek berlangsung. Misalnya, Anda memiliki kampanye global yang datang dari pengiklan: Kami biasanya harus mengundang arsitek, pencerita, perusahaan produksi, desainer set, pengembang, dan mereka semua memiliki jadwal, tujuan, dan gaya mereka sendiri. Dan kami sangat kesulitan, di balik layar, untuk mencoba menyatukan mereka. Anda tidak merasakan proses organik dari A sampai Z.

Sekarang, di bawah payung desain imersif, kami memiliki arsitek, futuris, pencerita, dan animator yang bekerja sama. Ini tentang berpikir secara holistik: Bagaimana kita mendapatkan manfaat dari berbagai disiplin ilmu sekaligus? Jika ini adalah diagram Venn yang rumit, kami berada di persimpangan komunikasi, arsitektur, psikologi, penceritaan, dan animasi. Ini menarik karena memungkinkan desainer seperti saya bermain di kotak pasir yang beragam dan memiliki banyak alat, daripada menjadi terbatas.

Clarke Noone: Anda bukan hanya desainer UI atau UX lagi. Anda mempertimbangkan pengalaman multisensorik dan membawa elemen haptik dan audio spasial. Meski begitu, prinsip dasar desain yang telah kita sempurnakan selama beberapa dekade masih berlaku untuk ruang imersif—Anda tetap membutuhkan alur UX yang intuitif dan pola UI yang kohesif yang dibangun dari pustaka komponen yang terawat dengan baik.

Saya sangat senang dengan semua ini karena saya bisa terlibat dalam minat utama saya: musik, desain, dan permainan. Memiliki arena tempat saya bisa membawa semua elemen saling terkait ini ke dalam proses ide saya sangat memuaskan.

Grech: Desainer sering berbicara tentang membawa audiens sebagai aktor kolaboratif ke dalam penceritaan, bukan audiens sebagai pengamat pasif. Ada aspek keterlibatan audiens/pengguna dalam VR, tetapi setiap kali audiens menjadi bagian dari penceritaan, itulah imersif. Anda tidak akan menonton film. Anda ada di dalam film.

Noone: Dwayne tepat sekali. VR itu imersif. Namun pemetaan proyeksi interaktif juga bisa imersif. Keajaiban membungkus audiens dalam pengalaman multisensorik yang membawa mereka ke tujuan lain—nyata atau imajiner—dan menciptakan dunia baru ini hanya dengan menggunakan laptop modern sungguh mendebarkan.

Kesimpulan utama tentang mendefinisikan desain imersif mengatakan untuk menyatukan praktik yang berbeda dan menggabungkan prinsip desain tradisional dengan pengalaman multisensorik.

Bisakah Anda membahas proyek pertama di mana Anda berhasil menggunakan prinsip desain imersif untuk menciptakan pengalaman yang menarik?
Noone: Saya mengerjakan proyek untuk Arthrolense, membawa operasi lutut ke dalam augmented reality (AR). Dua ahli bedah lutut terkenal dunia datang dengan konsep menggunakan kit HoloLens untuk mengubah proses operasi lutut, yang merupakan operasi yang sangat sulit untuk dilakukan. Jika Anda melakukannya dengan salah, pasien mungkin tidak bisa berjalan lagi. Meskipun telah disempurnakan dengan teknologi modern, ketika Anda mengebor lutut dan membuat sayatan, selalu ada elemen perkiraan. Mereka ingin menghilangkan perkiraan dengan dapat melihat seluruh operasi melalui HoloLens dan menggunakan augmented reality (AR) untuk menghitung sayatan dengan presisi submilimeter.

Meskipun produk akhirnya adalah mengambil scan lutut dan dapat melihatnya dalam 3D dari semua sudut, prinsip-prinsip untuk desain UI dan UX 2D juga diterapkan. Dalam hal UI di layar, ahli bedah akan memulai operasi dengan iPad. Itu akan mengatur semua pengukuran untuk dimasukkan ke dalam HoloLens, yang kemudian akan membuat mesh dari lutut menggunakan angka-angka tersebut. Ini adalah proyek desain imersif pertama yang saya kerjakan, dan menarik untuk melihat seberapa banyak pekerjaan sebelumnya sebagai "hanya" seorang desainer UI/UX masih relevan.

Grech: Terjun pertama saya ke dalam desain pengalaman imersif yang sebenarnya adalah pada tahun 2017 ketika saya bekerja untuk dewan pariwisata Las Vegas. Mereka datang kepada saya dan tim saya berkata, “Kami perlu mengubah persepsi generasi muda tentang Las Vegas. Ini bukan lagi tentang perjudian. Ini tentang pengalaman, hiburan, seni, dan budaya.” Hal-hal ini tidak benar-benar identik dengan Vegas, jadi mereka membutuhkan pendekatan yang berbeda.

Saat itu, ada demam teknologi di sekitar 4D cinema. Kami menggabungkan konsep 4D dengan pemetaan proyeksi. Kami menggunakan pemetaan proyeksi untuk menciptakan dunia bertekstur kompleks yang mengubah ruang, dan menambahkan aroma, hujan, dan semprotan air—itu adalah permainan yang benar-benar baru, di luar apa yang bisa Anda dapatkan di bioskop 4D. Orang-orang terkejut dengan efeknya, dan ketika mereka keluar dari ruangan, mereka berkata, "Wow, saya tidak tahu Vegas bisa melakukan itu!" Ini adalah contoh sempurna dari pengalaman imersif yang membantu mengubah persepsi merek.

Kesimpulan utama tentang contoh proyek awal mengklaim bahwa prinsip UI dan UX tradisional masih berlaku dalam desain imersif.

Apa yang Anda pikirkan tentang masa depan desain imersif dalam ritel? Bagaimana ini dapat membantu ruang fisik yang lebih kecil menciptakan pengalaman yang lebih besar?
Noone: Ini sangat menarik. Kami melihatnya dalam merek besar seperti Canada Goose, tetapi juga dalam toko fisik independen kecil. Apa yang diinginkan pelanggan dari pengalaman ritel mereka semakin berubah. Ini bukan lagi hanya tentang membeli produk di dalam toko—ini tentang pengalaman yang terkait dengan produk tersebut.

Canada Goose adalah contoh bagus dari desain ritel imersif yang menciptakan rasa koneksi dan transformasi. Mereka tidak menjual jaket kepada Anda. Mereka menjual pengalaman. Anda masuk ke dalam pengalaman AR multisensorik yang terinspirasi oleh Arktik di mana Anda mencobanya dan melihat bagaimana jaket yang berbeda bekerja di lingkungan yang ekstrem. Saya menganggap pendekatan semacam itu akan semakin umum seiring dengan semakin sulitnya menarik perhatian pengguna.

Noone: Pengalaman seperti ini juga membantu mendorong perilaku pembelian. Jika Anda berada di toko ritel yang hanya menampilkan produk, dan Anda melihat produk di layar, Anda mungkin tertarik atau tidak. Namun, jika Anda menempatkan pelanggan di ruang imersif dan mereka merasakan dinginnya Arktik, mereka akan memiliki ikatan emosional yang sangat kuat dengan produk tersebut—ini bukan hanya tentang deskripsi atau presentasi produk.

Ketika orang-orang merasakan pengalaman bersama, itu membangun komunitas mereka, yang menghasilkan daya tahan yang lebih kuat dari segi ikatan emosional. Mereka bisa pergi ke tempat lain dengan membeli jaket, tetapi mereka hanya mendapatkan pengalaman di Elements Room.

Grech: Ini benar-benar inti dari desain imersif yang menarik dalam ruang ritel. Ini adalah cara untuk menjual kepada orang-orang tanpa meminta mereka membeli. Sebaliknya, Anda memberi mereka cerita. Dan melalui cerita tersebut, penjualan muncul sebagai bagian dari pengalaman, bukan alasan untuk pengalaman tersebut.

Noone: Apakah desain imersif dapat diterapkan ke ruang ritel yang lebih kecil, seperti toko pop-up atau butik khusus?

Grech: Sebenarnya, ini mungkin ruang ritel yang paling diuntungkan dari desain imersif, justru karena mereka tidak memiliki ruang besar atau kehadiran merek besar untuk diandalkan. Mereka perlu menawarkan sesuatu yang lebih, sesuatu yang mendalam. Misalnya, butik dapat menawarkan pengalaman AR di mana pelanggan dapat “mencoba” pakaian atau aksesori dengan perangkat genggam mereka dan melihat bagaimana mereka cocok atau bahkan “merasa” di berbagai lingkungan.

Ini juga merupakan kesempatan untuk menciptakan pengalaman unik yang mungkin tidak tersedia di tempat lain. Misalnya, Anda bisa memiliki instalasi pemetaan proyeksi yang mengubah ruang kecil menjadi tempat-tempat yang berbeda berdasarkan pakaian atau barang dagangan yang ditampilkan. Dengan demikian, Anda tidak hanya menjual produk; Anda menjual pengalaman yang tidak dapat ditemukan di toko ritel besar.

Kesimpulan utama tentang desain imersif dalam ritel menyatakan bahwa ruang ritel yang lebih kecil dapat lebih diuntungkan dari pengalaman imersif dengan menciptakan keterlibatan emosional yang unik dan interaktif.

Teknologi mana yang Anda lihat paling menjanjikan untuk masa depan desain pengalaman imersif?
Noone: Salah satu hal terbesar yang saya lihat adalah kemajuan dalam audio spasial. Dulu, kita hanya bisa bermimpi tentang audio yang merespons gerakan kita, tetapi sekarang kita memiliki perangkat seperti Apple AirPods Pro yang dapat melacak kepala dan menciptakan pengalaman audio yang benar-benar imersif. Teknologi ini dapat mengubah cara kita berinteraksi dengan dunia di sekitar kita, terutama dalam ruang imersif seperti AR dan VR.

Saya juga melihat potensi besar dalam perkembangan baru di AR. AR semakin mendekati kematangan, dan kami sudah melihat perangkat seperti HoloLens dan Magic Leap yang mengubah cara kami berinteraksi dengan informasi digital di dunia nyata. Kemajuan ini bisa menjadi kunci dalam menciptakan pengalaman ritel yang lebih menarik dan personal.

Grech: Teknologi sentuhan juga sangat menarik. Sentuhan memberi kita kesempatan untuk merasakan dunia digital dalam cara yang lebih nyata. Misalnya, kami dapat menggunakan teknologi haptic untuk membuat pengalaman VR lebih realistis dengan memberikan umpan balik taktil saat pengguna berinteraksi dengan objek di dunia virtual. Ini bisa digunakan dalam segala hal mulai dari game hingga terapi fisik.

Saya juga sangat tertarik dengan teknologi AI generatif. Ini bisa memungkinkan kita untuk menciptakan pengalaman yang benar-benar dinamis dan disesuaikan dengan pengguna individu. Misalnya, AI bisa digunakan untuk mengubah lingkungan virtual berdasarkan preferensi atau emosi pengguna saat itu. Ini membawa desain imersif ke tingkat yang benar-benar baru di mana pengalaman menjadi benar-benar personal dan unik.

Kesimpulan utama tentang teknologi masa depan menyatakan bahwa teknologi audio spasial, AR, haptic, dan AI generatif memiliki potensi besar untuk mendorong desain pengalaman imersif ke tingkat yang lebih tinggi.