JVCKENWOOD ra mắt sáng tác nhạc và video thông qua AI kích hoạt bằng sóng não tại CEATEC 2024: Trải nghiệm độc đáo và tương tác!

Tại CEATEC 2024, chúng tôi đã đến thăm JVCKENWOOD gian hàngtrong đó có ba khu vực theo chủ đề xung quanh “Kết nối con người, thời gian và không gian để kiến ​​tạo tương lai.” Điều này phù hợp với triết lý của công ty là “mang lại sự phấn khích và an tâm cho mọi người trên khắp thế giới” thông qua công nghệ tiên tiến để làm phong phú thêm cuộc sống. JVCKENWOOD trưng bày các giải pháp video, âm thanh và không dây tiên tiến được thiết kế để tạo ra giá trị mới cho tương lai. Khu vực đầu tiên được dán nhãn của công ty “Ấn tượng – Khu vui chơi giải trí,” * trình diễn công nghệ nổi bật sử dụng cả năm giác quan—thị giác, thính giác, xúc giác, khứu giác và vị giác—mang đến trải nghiệm đa giác quan, sâu sắc.

Kết xuất 3D gian hàng JVCKENWOOD cho CEATEC 2024 – hình ảnh được cung cấp bởi JVCKENWOOD

AI tạo ra âm nhạc và video dựa trên phản ứng cảm xúc tiềm thức của bạn

Tại “Khu vực giải trí ấn tượng” của gian hàng JVCKENWOOD* chúng tôi đã trải nghiệm một bản demo sáng tạo kết hợp khả năng phát hiện sóng não, giác quan của con người và AI để tạo ra âm nhạc và video được cá nhân hóa. Những người tham gia được tiếp xúc với các tác nhân kích thích, chẳng hạn như các video được chuẩn bị trước, được thiết kế để khơi gợi phản ứng cảm xúc. Sau đó, tai nghe sóng não sẽ phát hiện những cảm xúc được tạo ra và AI sử dụng dữ liệu này để soạn nhạc và chiếu hình ảnh tương ứng trong thời gian thực. Kết quả được mô tả là “nhạc và video bạn đã tạo” sẽ được phát lại. AI phân loại sâu hơn các phản ứng tiềm thức của người tham gia, tự động tạo ra âm nhạc và hình ảnh phản ánh trạng thái cảm xúc của họ, mang lại trải nghiệm tương tác độc đáo.

Công nghệ đằng sau việc tạo video và âm nhạc do AI tạo ra dựa trên cảm xúc hoạt động như thế nào?

Suguru Goto, Phó Giáo sư Khoa Sáng tạo Âm nhạc và Môi trường tại Đại học Nghệ thuật Tokyo, đã trình bày một bản demo được phát triển bởi nhóm các nhà nghiên cứu với sự hỗ trợ của JVCKENWOOD. Suguru Goto, đồng thời là nhà soạn nhạc và nghệ sĩ truyền thông, giới thiệu cách sử dụng sáng tạo công nghệ giao diện não-máy tính để sáng tạo nghệ thuật tại gian hàng JVCKENWOOD.

Bản demo hoạt động như thế nào?

Nhóm nghiên cứu đã sử dụng một Tai nghe Emotiv Insight EEG được thiết kế để giúp các nhà nghiên cứu và kỹ sư phát triển các giải pháp sáng tạo cho giao diện não-máy tính trong nhiều lĩnh vực khác nhau. Đã đích thân thử nghiệm một số Các sản phẩm Emotiv trong những ngày đầu ra mắt, tôi có thể đảm bảo tính mạnh mẽ của các công cụ phần cứng hỗ trợ sóng não, đã trở thành giải pháp đáng tin cậy trong việc phát triển giao diện dựa trên khoa học thần kinh.

Khi chúng tôi đến phần demo, tai nghe đã được hiệu chỉnh theo sóng não của người tham gia. Theo Suguru Goto, hệ thống chỉ cần vài phút để hiệu chỉnh cho mỗi người dùng mới. Quá trình bắt đầu bằng một buổi thiền ngắn, sau đó người tham gia xem một số video được chuẩn bị trước được thiết kế để kích hoạt các phản ứng cảm xúc cụ thể.. Tai nghe Emotiv Insight ghi lại sóng não trong các hoạt động này trong khi phần mềm do AI điều khiển diễn giải dữ liệu.

Suguru Goto giải thích rằng sóng não được phân tích bằng thuật toán học máy, phân loại dữ liệu thành 28 trạng thái cảm xúc. Các trạng thái này được sắp xếp trên mặt phẳng Descartes, với trục X (theo chiều ngang) từ khó chịu (khó chịu) đến khoái cảm, và trục Y (dọc) từ tỉnh táo (kích thích) đến buồn ngủ. Anh ấy cũng cho tôi xem một chiếc máy tính bảng hiển thị một sự trình bày đồ họa về cách phần mềm còn chia 28 trạng thái cảm xúc này thành 64 phần nhỏcung cấp cái nhìn chi tiết hơn về phản ứng cảm xúc của người tham gia.

28 trạng thái cảm xúc, được chia thành 64 phần, được tổ chức trên mặt phẳng Descartes, với trục X (theo chiều ngang) từ khó chịu (khó chịu) đến khoái cảm và trục Y (dọc) từ tỉnh táo (kích thích) đến buồn ngủ.

Sau khi người tham gia hoàn thành phần video, hệ thống tự động tạo ra âm nhạc và video dựa trên phản ứng cảm xúc của anh ấy. Cuộc trình diễn này nêu bật cách dữ liệu sóng não, kết hợp với trí tuệ nhân tạo, có thể tạo ra nội dung nghe nhìn được cá nhân hóa dựa trên tiềm thức, mang đến cái nhìn thoáng qua về tiềm năng của công nghệ giao diện não-máy tính trong các lĩnh vực sáng tạo.

Đối với bản demo tại CEATEC, âm thanh được phát qua loa gỗ JVCKENWOODvà Video do AI tạo ra được hiển thị trên màn hình lớn.

Ý tưởng nghệ thuật của dự án, đã chia sẻ với tôi trong một video riêng tư, liên quan đến việc hiển thị các video kích hoạt cảm xúc trên màn hình đối diện với người tham gia, trong khi hình ảnh do AI tạo ra được chiếu lên sàn trong phòng tối nơi người đó đang ngồi.

Ngoài nghệ thuật dựa trên AI: Mở ra những khả năng vô hạn cho sức khỏe con người

Mặc dù đây là một dự án nghiên cứu nghệ thuật ấn tượng, Phó giáo sư Suguru Goto chỉ ra rằng mang lại tiềm năng đáng kể cho các ứng dụng liên quan đến sức khỏe, đặc biệt là chăm sóc sức khỏe tâm thần.

Tôi biết rằng mục tiêu chính của Emotiv là cung cấp các công cụ phần cứng và phần mềm dựa trên EEG chất lượng cao để cho phép các nhà nghiên cứu phát triển các giải pháp cải thiện sức khỏe nhận thức và tinh thần. Điều này bao gồm việc tạo ra các phương pháp tiếp cận sáng tạo theo liệu pháp phản hồi thần kinh bằng âm nhạc.

Loa SP-WS02BT làm bằng gỗ JVCKENWOOD – âm thanh phát rất tuyệt

Ngoài kích thích video, các đầu vào giác quan khác—chẳng hạn như âm thanh, vị giác và khứu giác—cũng có thể kích hoạt phản ứng cảm xúc ở người tham gia. Ví dụ: người tham gia có thể giữ một JVCKENWOOD “Loa Ôm” (xem ảnh), vrung động đồng bộ với âm thanh, hoặc eHãy tận hưởng hương thơm của gỗ từ những chiếc loa được chế tác từ nhiều loại gỗ tự nhiên. Những kích thích này có thể bổ sung cho video và âm nhạc do AI tạo ra từ dữ liệu sóng não.

“Hug Loa” – hình ảnh lịch sự của JVCKENWOOD

Mặc dù chúng tôi chưa trải nghiệm bản demo cho các kích thích giác quan khác tại gian hàng, nhưng tôi tin chắc rằng chúng sẽ hoạt động liền mạch với cùng thiết lập demo và phần mềm do AI điều khiển, tạo ra hình ảnh và âm nhạc dựa trên phản ứng cảm xúc tiềm thức của người tham gia đối với sự kích thích giác quan này.

* Ghi chú của biên tập viên: “Ấn tượng – Khu giải trí” là bản dịch tiếng Anh của Google dựa trên JVCKENWOOD Thông cáo báo chí Nhật Bản

Nộp vào Âm thanh >Thiết kế >Ảnh-Video. Đọc thêm về AI (Trí tuệ nhân tạo), Brainwave, CEATEC, Ceatec 2024, Eeg, Emotiv và Nhật Bản.