Естественно-интуитивное взаимодействие с компьютером Возможности использования Intel Perceptual Computing SDK
advertisement
Естественно-интуитивное взаимодействие с компьютером Лекция 3 Возможности использования Intel Perceptual Computing SDK в образовании Содержание лекции 3.1. Введение 3.2. Влияние современных технологий на образование 3.2.1. Современные технологии в дистанционном образовании 3.2.2. Современные технологии и «образование через всю жизнь» 3.2.3. Необходимость аккуратного использования современных технологий в образовании 3.3. Возможности использования идей естественно-интуитивного взаимодействия человека с компьютером 3.3.1. в дистанционном образовани 3.3.2. в дошкольном образовании 3.3.3. и сохранение здоровья обучающихся 3.3.4. в создании виртуальных лабораторий 3.3.5. интересные идеи Лекция № 3. Введение Образование – целенаправленный процесс, ориентированный на приобщение человека к миру культуры, развитие личностных качеств, приобретение жизненно важных знаний и умений. Неотъемлемая часть современного образовательного процесса – информационные и телекоммуникационные технологии. Введение Использование современных технологий, в основе которых лежит компьютер, позволяет обеспечить • наглядность • интерактивность • вовлеченность обучающихся в процесс обучения предоставляет учащимся возможности • поиска и систематизации информации • самоконтроля Введение Современные технологии в образовании – это инструмент. Требования: • удобство в использовании • минимум времени и сил на освоение Возможное решение - способность вычислительных устройств понимать человека через • физический контакт • словесные команды • мимику • жесты Введение Приложения с элементами естественно-интуитивного взаимодействия могут дать пользователям ощущение присутствия и погружения. Добавить в приложение элементы такого взаимодействия позволяет комплект разработки Intel Perceptual Computing SDK и камера Creative* Senz3D или новая разработка Intel® RealSense™ SDK, работающий с камерой Intel® RealSense™ 3D Camera. Современные технологии в образовании Под современными технологиями в первую очередь понимаются информационные и телекоммуникационные технологии. Такие технологии являются средством усиления интеллектуальной деятельности человека, а также являются базовыми технологиями общества, в котором главным капиталом являются знания и умения эти знания использовать. Необходимость постоянного и непрерывного образования для большинства людей в течение всей жизни Современные технологии в образовании Исключительная важность развития информационных и телекоммуникационных технологий в образовании. Международная комиссия по вопросам образования, науки и культуры при ООН сформулировала два базовых принципа их использования: «образование для всех» «образование через всю жизнь» Современные технологии в образовании Принцип «образование для всех» способ реализации: организация системы дистанционного образования (ДО), ориентированного на удовлетворение образовательных потребностей населения. Дистанционное образование позволяет сделать активными географически распределенные информационные ресурсы. Современные технологии в ДО Информационно-образовательная среда для ДО, должна включать: • средства передачи данных • информационные ресурсы • протоколы взаимодействия • аппаратно-программное обеспечение • организационно-методическое обеспечение Современные технологии в ДО Уровни коммуникаций в процессе дистанционного образования: • широковещательный наиболее характерный для традиционного массового обучения при этом общение направлено от одного преподавателя ко многим учащимся Современные технологии в ДО Уровни коммуникаций в процессе дистанционного образования: • транзакционный используется при индивидуальном обучении общение обычно происходит в паре учитель-ученик • групповой появляется в процессе группового взаимообучения общение происходит между всеми участниками процесса Современные технологии в ДО Уровни коммуникаций в процессе дистанционного образования: • транзакционный используется при индивидуальном обучении общение обычно происходит в паре учитель-ученик • групповой появляется в процессе группового взаимообучения общение происходит между всеми участниками процесса Современные технологии в ДО Наиболее известные ресурсы дистанционного образования: • Национальный Открытый Университет «ИНТУИТ»: http://www.intuit.ru/ • Coursera: https://www.coursera.org/ Обзор ресурсов, представляющие интерес преимущественно для программистов: • http://habrahabr.ru/post/156241/ Описание общей стратегии мировой академической среды в деле образования: • http://habrahabr.ru/company/lektorium/blog/162793/ Современные технологии в ДО Технологии организации взаимодействия преподавателей и учеников: • аудио-конференции • видеоконференции • компьютерные конференции • форумы • блоги • группы в социальных сетях • средства для индивидуальных консультаций: Skype, Hangouts и др. Современные технологии в ДО Новая организационная форма образования – виртуальные классы. Плюс такой модели – возможность организации взаимодействия преподавателей и учащихся на всех коммуникационных уровнях. Самодостаточный инструмент: • передачи информации и обучения студентов • проведения индивидуальных и групповых занятий • организации выступлений на большую аудиторию слушателей Современные технологии в ДО Современные технологии позволяют внести в ДО эффект присутствия, который может помочь повысить эффективность и насыщенность ДО. Варианты использования: • выполнение лабораторных работ на сложном научном оборудовании и экспериментальных установках • представление каждого участника аватаром, отображающим поведение: движения, мимику, жесты и речь. Интернет-лаборатория "Робототехника" Лаборатория предоставляет возможность, используя технологии сетевого доступа, проводить комплексные удаленные лабораторные практикумы на реальном сложном робототехническом оборудовании. МГТУ им. Н.Э. Баумана http://lud.bmstu.ru/robot/index.html Центр дистанционных автоматизированных учебных лабораторий Установки дистанционной лаборатории по курсу «Электроника» Установки дистанционной лаборатории по курсу «Основы теории цепей» и «Радиотехнические цепи и сигналы» NI ELVIS II измерительная лабораторная станция для создания лабораторных работ и лабораторных практикумов КГТУ им. А.Н. Туполева http://www.kai.ru/univer/labview/index.php Виртуальные миры в образовании Каждый участник может быть представлен своим аватаром, способным отображать поведение участника: движения, • мимику, • жесты • речь. 20 возможностей использования виртуальных миров в обучении: http://www.elw.ru/reviews/detail/3289/ Современные технологии в ДО Совместимость компонентов учебного материала и возможность их многократного использования обеспечивает стандарт SCORM (Sharable Content Object Reference Model). SCORM помогает определять технические основы сетевой образовательной среды и является моделью взаимосвязанных технических стандартов, спецификаций и основных принципов. Современные технологии в ДО Требования к системам, соответствующим SCORM: • доступность: возможность найти необходимые учебные компоненты и получить к ним доступ • адаптируемость: возможность адаптировать учебную программу согласно потребностям отдельных пользователей или организаций • эффективность: возможность повысить производительность, сокращая время и затраты на доставку инструкций Современные технологии в ДО Требования к системам, соответствующим SCORM: • долговечность: возможность соответствовать новым технологиям без дополнительной и дорогостоящей доработки • интероперабельность: возможность использовать учебные материалы вне зависимости от платформы, на которой они созданы • возможность многократного использования материалов в разных приложениях и контекстах. Современные технологии в ДО Для разработки собственной системы дистанционного обучения имеет смысл использовать системы управления обучением или LMS (Learning management system). Наиболее известные свободно распространяемые LMS, совместимые со стандартом SCORM: • Moodle (https://moodle.org/) • ILIAS (http://www.ilias.de/) • Sakai (http://sakaiproject.org/). ИКТ и «образование через всю жизнь» Современные технологии обладают возможностями глобальной визуализации учебного материала и позволяют в процесс образования включать: • учебные видеоматериалы • мультимедиа технологии, реализуемые на основе специально структурированных баз данных и знаний, электронных пособий и учебников • интерактивные мультимедиа презентации. Современные технологии в дошкольном образовании В образовании дошкольников можно использовать современные технологии: • короткие презентации, • познавательные мультфильмы и кинофильмы, • развивающие компьютерные игры и видеоуроки. Необходимо учитывать возрастные особенности: • соответствие возрасту учебного материала и его подачи • ограниченная продолжительность занятий и развивающих игр Примеры http://iqsha.ru/ — упражнения, обучающие и развивающие игры для детей http://www.solnet.ee/school/index.html — виртуальная школа для детей http://www.solnet.ee/games/g1.html — подборка развивающих игр http://www.piktomir.ru/ — программная система для изучения азов программирования дошкольниками и младшими школьниками. Современные технологии в школе В школьном образовании грамотно организованное использование современных технологий позволяет: • повысить интерес ученика к предмету • активизировать его познавательную и мыслительную деятельность • повысить мотивацию к учению. Современные технологии в школе Эффективное использование современных технологий • этап предъявления учебной информации полезно использовать: обучающие видеоматериалы мультимедийные презентации демонстрации динамики реальных процессов и принципов действия различных технических средств и механизмов Современные технологии в школе Эффективное использование современных технологий • этап усвоения учебного материала полезно использовать: компьютеры дополнительное оборудование учебное ПО для организации лабораторных работ, семинарских занятий Современные технологии в школе Эффективное использование современных технологий • этап повторения и закрепления усвоенных знаний, умений и навыков полезно использовать тренажеры соответствующих умений и навыков с обращениями к усвоенным знаниям Современные технологии в школе Эффективное использование современных технологий • этап контроля и самоконтроля полезно использовать системы, способные проверить правильность выполнения контрольных заданий, а также представить результаты с учетом ошибок и затраченного времени и сравнить показатели различных студентов по решению одних и тех же задач. Важно не свести весь контроль к механическому тестированию. Примеры общеобразовательных ресурсов http://live-st.ru/items.asp?id=13 — электронный образовательный комплекс http://www.edu.ru/db/portal/sites/res_page.htm — федеральный портал, на котором собраны федеральные образовательные ресурсы для общего образования; http://www.alleng.ru/edu/educ.htm — Российские общеобразовательные порталы и сайты. Виртуальные лаборатории программно-аппаратный комплекс, позволяющий проводить опыты: посредством удаленного доступа к реальной лаборатории, используя программно-аппаратное обеспечение для управления и оцифровки полученных данных, а также средства коммуникации или посредством моделирования всех процессов при помощи компьютера при полном отсутствии реальной лаборатории. Примеры виртуальных лабораторий Вытеснение одного металла другим из раствора соли Изучение взаимодействия частиц и ядерных реакций Примеры генетических эксперментов с различными объектами http://www.virtulab.net/ http://star.mit.edu/genetics/ Примеры ПО для расчетов и анализа процессов в исследуемых системах • • • • • математические пакеты: MathCAD, MATLAB программы анализа электронных схем PSpice программы анализа механических устройств Adams программы анализа систем с механическими, гидравлическими, электрическими и электронными элементами типа ПА9; программы анализа логических схем на основе языка VHDL • программы моделирования полей физических величин по методу конечных элементов типа Ansys • системы имитационного моделирования AnyLogic, Simulink Необходимость аккуратного использования современных технологий в образовании Важно помнить, что все современные технологии являются лишь одним из инструментов обучения, поэтому необходимы корректные, ориентированные на желаемый результат, целесообразные процедуры их применения. Процедуры, в свою очередь, предполагают наличие умения применять инструмент и желание его применять Необходимость аккуратного использования современных технологий в образовании Внедрение в образовательную среду компьютерных технологий требует осторожности, поскольку может принести существенный вред при кажущейся полезности. Использование современных технологий не означает полный уход от классических форм обучения, а предполагает разумное сочетание разных технологий образования. Необходимость аккуратного использования современных технологий в образовании Компьютер с ПО, ориентированным на решение определенной учебной задачи, представляет собой искусственный интеллект некоторого уровня сложности. Этот искусственный интеллект призван облегчить решение рутинных задач, при этом он может создать серьезную проблему в обучении, если мышление обучающегося в этой предметной области менее сложно, чем искусственный интеллект. Intel Perceptual Computing SDK в образовании SDK позволяет создавать приложения нового поколения, способные: • различать лица • распознавать мимику и жесты • понимать голосовые команды; • распознавать устную речь и синтезировать речь по печатному тексту • отслеживать перемещения 2D/3D объектов. Идеи естественно-интуитивного взаимодействия в ДО Идеи естественно-интуитивного могут добавить легкости и непринужденности в общение, обязательное для комфортного обучения. Существуют решения создающие виртуальные классы, в которых каждый участник представлен своим аватаром в этом случае использование камеры и модулей распознавания мимики и жестов позволит сделать аватар намного более реалистичным, чем любой смоделированный в 3D. Примеры реализации аватара Реализация аватара с использованием камеры Kinect http://youtu.be/-U-pPJsQiMA Примеры реализации аватара Реализация аватара с использованием Intel® RealSense http://youtu.be/2lGNrGoGWgU Идеи естественно-интуитивного взаимодействия для людей с ограничениями слуха Может быть использована система распознавания речи для текстового сопровождения речи преподавателя в реальном времени. Возможна разработка системы компьютерного сурдоперевода, в обе стороны, в этом случае потребуется задействовать модули распознавания речи и распознавания жестов. В данном случае речь идет о решении коммуникативных задач в образовании. Идеи естественно-интуитивного взаимодействия в дошкольном образовании В дошкольном возрасте можно и нужно развивать алгоритмический стиль мышления. Под алгоритмом можно понимать план деятельности, оформленный в некоторой формальной системе обозначений, понятной для исполнителя. Идеи естественно-интуитивного взаимодействия в дошкольном образовании Средства обучения дошкольников основам алгоритмики, например, исполнительная среда ПиктоМир (http://piktomir.ru/), в которой для составления программ используются не текстовые команды, а пиктограммы. Идеи естественно-интуитивного взаимодействия в дошкольном образовании Использование среды, аналогичной ПиктоМиру плюс • возможности жестового управления пиктограммами или • задание набора жестов и определение для каждого жеста некоторой команды исполнителя Оба варианта позволяют избавить ребенка от необходимости сидеть перед компьютером. Идеи естественно-интуитивного взаимодействия в дошкольном образовании Использовать жестовое управление в развивающих и обучающих играх в любой области знаний: • лото • пазлы • интерактивные карты • управление исполнителем при изучении алгоритмики • список можно продолжать Возможность визуализации сложных объектов Идеи естественно-интуитивного взаимодействия и сохранение здоровья Основные опасения – нарушения осанки и зрения. Intel Perceptual Computing SDK позволяет разрабатывать приложения, отслеживающие положение человека перед камерой и расстояние до нее, в случае отклонения от заданных, как оптимальные, положения и расстояния выдать предупреждение. Идеи естественно-интуитивного взаимодействия и сохранение здоровья Основные опасения – нарушения осанки и зрения. С другой стороны взаимодействие с компьютером, не требующее стандартных устройств: клавиатуры и мыши отменяет привязанность к компьютеру. В этом случае основное взаимодействие с камерой, а экран может находиться довольно далеко, что позволяет снизить нагрузку на глаза. Идеи естественно-интуитивного взаимодействия и сохранение здоровья Модуль распознавания лиц Intel Perceptual Computing SDK позволяет анализировать лицо и выявлять некоторые эмоции. Использование: • Сбор информации об эмоциональном состоянии во время занятий для последующего анализа. • Смена деятельности в случае появления негативных эмоций. Идеи естественно-интуитивного взаимодействия и сохранение здоровья Физкультминутка для глаз. Идеи естественно-интуитивного взаимодействия могли бы сделать гимнастику для глаз более интересной. Например, можно создать приложение герой, которого реагировал бы на подмигивания, улыбку и другие мимические жесты, использовать при этом модуль распознавания лиц. Идеи естественно-интуитивного взаимодействия и сохранение здоровья Пальчиковая гимнастика — прекрасное средство для • развития мелкой моторики • стимулирования области мозга, отвечающей за речь Модуль распознавания жестов позволяет создать приложения, для более увлекательного выполнения пальчиковой гимнастики. Идеи естественно-интуитивного взаимодействия и организация виртуальных лабораторий Добавление реалистичности в проведение опытов с помощью модуля: распознавания жестов реализация жестовой манипуляции приборами или материалами, используемыми в опыте и изображенными на экране отслеживания 2D/3D объектов, привязать реальным объектам роли и изображать выполнение эксперимента в реальности, а компьютер будет моделировать процесс и результаты. Идеи естественно-интуитивного взаимодействия и организация виртуальных лабораторий Модуль отслеживания двумерных и трехмерных объектов позволяет создавать дополненную реальность, которая может быть использована в образовании. Например, с помощью меток можно давать ответы на вопросы на этапе контроля усвоения знаний, а также можно демонстрировать визуальное отображение каких-либо реальных объектов. Примеры дополненной реальности в образовании: http://arnext.ru/articles/20ar-eksperimentov-v-obrazovanii-2353. Примеры использования дополненной реальности в образовании https://www.youtube.com/watch?v=7G3H3ImCWlE Примеры использования дополненной реальности в образовании Песочница дополненной реальности позволяет детям создавать своими руками ландшафты из песка, получать при этом горы, ущелья, вулканы, долины и реки. http://habrahabr.ru/post/220239/ Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании Мысль I. Интерактивная доска (Interactive whiteboard) большой сенсорный экран, присоединенный к компьютеру, информация с которого проецируется на доску с помощью проектора. Инструмент для • ускорения доступа к информации • облегчения ее восприятия • формирования творческой атмосферы в коллективе обучающихся. Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании Мысль I (продолжение). Объединение • интерактивной доски • камеры Creative* Senz3D (или Intel® RealSense™ 3D Camera) • Intel® Perceptual Computing SDK (или Intel® RealSense™ SDK) может дать крайне интересные решения Мысль I. Интерактивная доска (Interactive whiteboard) Примеры реализации похожих идей Приложение Digital Blackboard https://www.youtube.com/watch?v=WV9K_z4l_J8 Мысль I. Интерактивная доска (Interactive whiteboard) Примеры реализации похожих идей Приложение Smart ScrumBoard https://www.youtube.com/watch?v=aLLv2zHE7qk Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании Мысль II. Biophilia образовательная программа, разработанная для вдохновения детей на использование собственных творческих способностей в изучении музыки и наук посредством новых технологий. Междисциплинарная программа, использующая набор приложений, помогающих связать вместе различные области знаний, игровое творчество и интерактивную сущность сенсорного экрана Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании Мысль II (продолжение). http://biophiliaeducational.org/about/ Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании Мысль II (продолжение). Реализация Björk ученые университета Исландии учителями из городской школы Рейкьявика Для детей с синдромом дефицита внимания и гиперактивности, дислексией и другими трудностями обучения. Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании Мысль II (окончание). Проект Biophilia может служить примером и дать несколько вдохновляющих идей для разработки аналогичных приложений с использованием идей естественно-интуитивного взаимодействия и пакета Intel® Perceptual Computing SDK (или Intel® RealSense™ SDK). Подробности проекта: http://biophiliaeducational.org/about/ . Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании Мысль III. Музыкальные инструменты Stefan Sadchikov, Drummer призер конкурса Intel Perceptual Computing Challenge https://www.youtube.com/watch?v=1r9F4SscrpI Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании Мысль III. Музыкальные инструменты Drummer еще одна реализация https://www.youtube.com/watch?v=XJsHkrYeds4 Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании Мысль III. Музыкальные инструменты Digital Piano https://www.youtube.com/watch?v=1r9F4SscrpI Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании Мысль III. Терменвокс (Theremin) Подробности: http://en.wikipedia.org/wiki/Theremin https://www.youtube.com/watch?v=qHBPjNZhMk8). Мысль III. Терменвокс (Theremin) Виртуальный терменвокс (Virtual Theremin) с использованием Intel Perceptual SDK https://www.youtube.com/watch?v=veNBKPqJe7Y Мысль III. Музыкальные инструменты Было бы очень интересно попробовать реализовать приложение с использованием пакета Intel® Perceptual Computing SDK (или Intel® RealSense™ SDK), позволяющее сформировать начальные навыки игры на различных музыкальных инструментах. Заключение Данный в лекции обзор возможных применений идей естественно-интуитивного взаимодействия с компьютером в образовании не претендует на полноту, всегда можно найти много идей вокруг себя. Однако есть надежда, что удалось задать некоторое направление для поиска идей по использованию возможностей естественно-интуитивного взаимодействия человека с компьютером в образовании.
