با این طیف گسترده از پیچیدگی، ایجاد چشم‌های مجازی که واکنش یک انسان معمولی به طیف گسترده‌ای از محرک‌ها را تقلید می‌کند، کاری دشوار به نظر می‌رسد. برای بالا رفتن از کوه، گورلاتووا و تیمش – از جمله دانشیار سابق فوق دکتری، گوهائو لان، که اکنون استادیار دانشگاه صنعتی دلفت در هلند است، و دانشجوی فعلی دکترا، تیم اسکارگیل – وارد ادبیات علوم شناختی می شوند که به کاوش می پردازند. چگونه انسان جهان را می بیند و اطلاعات بصری را پردازش می کند.
مهندسان کامپیوتر در دانشگاه دوک چشم‌های مجازی ایجاد کرده‌اند که نحوه نگاه انسان‌ها به دنیا را به اندازه کافی برای شرکت‌ها برای آموزش برنامه‌های واقعیت مجازی و واقعیت افزوده شبیه‌سازی می‌کند. این برنامه که به اختصار EyeSyn نامیده می شود، به توسعه دهندگان کمک می کند تا همزمان با محافظت از داده های کاربر، برنامه هایی برای متاورس به سرعت در حال گسترش ایجاد کنند.
گورلاتوا گفت: “داده های مصنوعی به تنهایی کامل نیستند، اما نقطه شروع خوبی هستند.” شرکت‌های کوچک‌تر می‌توانند به جای صرف زمان و هزینه برای ساخت مجموعه داده‌های دنیای واقعی خود (با افراد انسانی) از آن استفاده کنند. در مورد اینکه داده های حرکات چشم خصوصی آنها بخشی از یک پایگاه داده بزرگ می شود.”
Gorlatova گفت: “اگر ورودی های مختلف زیادی را به EyeSyn بدهید و آن را به اندازه کافی اجرا کنید، مجموعه داده ای از حرکات مصنوعی چشم ایجاد خواهید کرد که به اندازه کافی بزرگ است تا یک طبقه بندی کننده (یادگیری ماشینی) را برای یک برنامه جدید آموزش دهد.”
برای آزمایش دقت چشم های مصنوعی خود، محققان به داده های در دسترس عموم روی آوردند. آنها ابتدا ویدیوهای دکتر آنتونی فائوچی را که در کنفرانس‌های مطبوعاتی به رسانه‌ها می‌خواند، تماشا کردند و آن را با داده‌های حرکات چشم بینندگان واقعی مقایسه کردند. آنها همچنین یک مجموعه داده مجازی از چشم های مصنوعی خود را که به هنر نگاه می کنند با مجموعه داده های واقعی جمع آوری شده از افرادی که در حال بازدید از یک موزه هنر مجازی بودند مقایسه کردند. نتایج نشان داد که EyeSyn قادر است الگوهای متمایز سیگنال‌های نگاه واقعی را کاملاً مطابقت دهد و روش‌های مختلف واکنش چشم افراد مختلف را شبیه‌سازی کند.
بینش شاعرانه‌ای که چشم‌ها را دریچه‌های روح توصیف می‌کند، حداقل از زمان‌های کتاب مقدس به دلایل خوبی تکرار شده است: حرکات کوچک نحوه حرکت چشم‌های ما و گشاد شدن مردمک‌ها اطلاعات شگفت‌آوری را ارائه می‌دهد. چشم‌های انسان می‌تواند نشان دهد که آیا ما خسته یا هیجان‌زده هستیم، تمرکز ما در کجا متمرکز است، آیا در یک کار خاص متخصص یا مبتدی هستیم یا نه، یا حتی اگر به یک زبان خاص مسلط هستیم.
این تحقیق توسط بنیاد ملی علوم (CSR-1903136، CNS-1908051، IIS-2046072) و جایزه هیئت علمی IBM تامین شده است.
نتایج پذیرفته شده است و در کنفرانس بین‌المللی پردازش اطلاعات در شبکه‌های حسگر (IPSN)، 4 تا 6 مه 2022، یک انجمن سالانه پیشرو در زمینه تحقیقات در سنجش و کنترل شبکه‌ای، ارائه خواهد شد.
گورلاتووا گفت: «جایی که بینش خود را در اولویت قرار می دهید، چیزهای زیادی درباره شما به عنوان یک فرد نیز می گوید. این می‌تواند ناخواسته سوگیری‌های جنسی و نژادی، علایقی که نمی‌خواهیم دیگران درباره آنها بدانند و اطلاعاتی که ممکن است حتی درباره خودمان هم ندانیم را آشکار کند.»
داده‌های حرکت چشم برای شرکت‌هایی که پلتفرم‌ها و نرم‌افزارها را در متاورس می‌سازند بسیار ارزشمند است. به عنوان مثال، خواندن چشم‌های کاربر به توسعه‌دهندگان اجازه می‌دهد تا محتوا را برای پاسخ‌های تعاملی تنظیم کنند یا وضوح در دید محیطی خود را کاهش دهند تا در توان محاسباتی صرفه‌جویی کنند.
مواد تهیه شده توسط دانشگاه دوک. نوشته اصلی توسط کن کینگری. توجه: محتوا ممکن است برای سبک و طول ویرایش شود.
ماریا گورلاتوا، استادیار مهندسی برق و کامپیوتر شبکه های نورتل در دوک، می گوید: «اگر شما علاقه مند هستید که بفهمید شخصی در حال خواندن کتاب کمیک یا ادبیات پیشرفته تنها با نگاه کردن به چشمانش است، می توانید این کار را انجام دهید.
گورلاتوا افزود: «اما آموزش این نوع الگوریتم به داده‌های صدها نفر نیاز دارد که ساعت‌ها در یک زمان از هدست استفاده می‌کنند. ما می‌خواستیم نرم‌افزاری توسعه دهیم که نه تنها نگرانی‌های مربوط به حفظ حریم خصوصی ناشی از جمع‌آوری این نوع داده‌ها را کاهش دهد، بلکه به شرکت‌های کوچک‌تری که آن سطوح از منابع را ندارند، اجازه می‌دهد وارد بازی متاورس شوند.»
منبع داستان:
به عنوان مثال، زمانی که فردی در حال تماشای صحبت های شخصی است، چشمان او به طور متناوب بین چشم ها، بینی و دهان فرد برای مدت زمان های مختلف تغییر می کند. هنگام توسعه EyeSyn، محققان مدلی را ایجاد کردند که محل قرارگیری آن ویژگی‌ها را بر روی یک بلندگو استخراج می‌کند و چشم‌های مجازی آنها را طوری برنامه‌ریزی می‌کنند که از نظر آماری زمان صرف شده برای تمرکز روی هر منطقه را شبیه‌سازی کنند.
به گفته Gorlatova، این سطح از عملکرد به اندازه کافی خوب است تا شرکت ها از آن به عنوان پایه ای برای آموزش پلت فرم ها و نرم افزارهای جدید متاورس استفاده کنند. نرم‌افزار تجاری با داشتن سطح اولیه شایستگی می‌تواند با شخصی‌سازی الگوریتم‌های خود پس از تعامل با کاربران خاص، به نتایج بهتری دست یابد.
