| Human-computer
interaction and enlightenment in the YMYI project
Keynotes:
affordance (by J.J. Gibson); embodiment; animation; multimodal interaction;
input vs. output; interface design heuristics; interaction paradigms;
emotion.
The Project You Move You Interact magnifies an essential keystone
within the human-computer interaction science: the interactivity itself,
which in this particular project achieves a high standard of success
in performing an evolving artistic interface design generated from
affordances, interconnected with the relational actions between a
user and a digital system. Such affordances are neither explicit nor
visible in the interface. They result, otherwise, of an input based
on the exploration/discovery of an actor´s body movements in
an interactive “stage” as well as of an output based on
his embodiment display in an interface full of small particles, which
energize a close communication link with the user himself, either
by moving towards him, or by concentrating themselves on the edges
of both his superior and inferior limbs. As for the interface design
in the context of usability is concerned, we can actually acknowledge
that the project YMYI fulfills two main outstanding heuristic rules:
the visibility and the consistence of the whole system. The visibility
of the system modus operandi, on the one hand, in the sense of providing
information to the user at all times, is always immediate –
the user is able to display what he is doing at the moment and how
the system is processing his actions. The visibility of the system
modus operandi, on the other hand, in the sense of being capable of
providing a reply/an output in real time, induces a perception of
spontaneousness or natural impulse, reassuring that the user is developing
a constant focus on the system, so as to effectively display his embodiment
contours drawn non-stop on the interface. Beyond that, the user does
not need any sort of operation guidelines in order to learn how the
system works. The project also conducts an effects consistency, being
able to successfully harmonize prediction, i.e. specific actions result
in a same effect in similar circumstances , for example, when the
user leans himself onto the floor, the sound element becomes gradually
lower in pitch, and on the contrary, when the user stands up, the
same sound element becomes gradually higher in pitch. The way in to
information/ visual cognitive analysis is achieved through a fundamental
universal design rule – the multimodal interaction, which aggregates
all the human senses. In the project YMYI, the most outstanding senses
are the following: vision, which enables the user to display the ongoing
animation of the whole picture; the hearing of programmed sounds (high-pitch
and low-pitch), which provide, on their turn, a growing efficiency
to the monitoring process that the user makes of himself and of the
sonorous events that are continuously being generated in the interface.
Such sounds have a tendency to react to the user movements throughout
the space and as such they can function both as meaningful analysis
cues and attention focuses for the user to interact with the system.
The sounds are also quite effective in deepening the emotional insight/experience
of the user´s interaction; the haptic-kinestesic sense, which
boosts the whole implicit input towards the system, allowing us to
say that the project deals with the emergent areas related to perceptual
interfaces, shaped by the use of computer vision techniques and motion
tracking technologies. Quoting Ben Schneiderman ( 1998):
“When an interactive system is well designed, the interface
almost disappears, enabling users to concentrate on their work, exploration,
or pleasure. Creating an environment in which tasks are carried out
almost effortlessly…”.
I
truly believe that this definition applies itself on the whole to
the YMYI project. YMYI is successful in putting together both the
interaction paradigm directed to the user graphic interface and the
interaction paradigm directed to natural means of communication, namely
by using human gesture features, which definitely enlighten the physical
interactive experience.
Jorge
Sousa , March 2008
|
Interacção
humano-computador e conhecimento em YMYI
Expressões:
affordance (na perspectiva de J.J. Gibson); “embodiment”;
animação; interacção multimodal; input/output;
heurísticas de design de interfaces; paradigmas de interacção;
emoção
O
projecto integrado You Move You Interact aponta para o ponto-chave da
ciência IHC: a interactividade, a qual permite gerar artisticamente
um design de interface a partir de “affordances” relacionais
de acção criadas entre um utilizador e um sistema digital.
Tais “affordances” não estão plenamente visíveis
ou explícitas na interface, antes resultam de um input baseado
na exploração/descoberta dos movimentos do corpo de um
actor num “palco” interactivo e de um output baseado na
projecção do seu “embodiment” para uma interface
repleta de pequenas partículas que estabelecem uma comunicação
directa e íntima com aquele, ora movimentando-se na sua direcção,
ora concentrando-se em colectivo nas extremidades dos seus membros superiores
e inferiores. Do ponto de vista do design de interfaces, YMYI cumpre
duas heurísticas essenciais: a visibilidade e a consistência
do sistema. A visibilidade do estado do sistema do projecto, no sentido
de informar continuamente o utilizador, é sempre imediata: o
utilizador pode sempre visualizar o que está a fazer e como o
sistema está a interpretar as suas acções. A visibilidade
do estado do sistema, no sentido de gerar uma resposta em tempo real,
cria uma percepção do instantâneo, sem dispersão
de atenção do utilizador: o “embodiment” dos
contornos do utilizador vão sendo definidos continuamente na
interface. Para além disso, não são necessárias
quaisquer instruções para o utilizador aprender a utilizar
o sistema. O projecto apresenta também uma consistência
nos efeitos, gerindo eficazmente a previsibilidade, ou seja, determinadas
acções conduzem a um mesmo efeito em situações
semelhantes: por exemplo, quando o utilizador se baixa, o som torna-se
gradualmente mais grave, ao invés que quando se levanta, torna-se
gradualmente mais agudo.
O acesso à informação/interpretação
visual é conseguido através de uma regra chave do design
universal – a interacção multimodal que resulta
per si da conjugação de vários sentidos humanos.
No projecto YMYI, os sentidos predominantes são: a visão,
que permite ao utilizador visualizar a animação contínua
do quadro; a audição de sons programados ( graves e agudos)
que garante, por sua vez, mais eficácia à monitorização
que o utilizador realiza de si próprio e dos eventos sonoros
que estão a ser recriados na interface, os quais se vão
tornando reactivos à movimentação do utilizador
no espaço e fornecem pistas de análise e foco de atenção
no sistema, ao mesmo tempo que aprofundam o efeito emocional da interacção
no utilizador; o sentido háptico cinestésico, que gera
todo o input implícito com o sistema e permite que o projecto
mergulhe na área emergente das interfaces perceptuais, moldado
pela utilização de técnicas de visão por
computador e tecnologias de reconhecimento de movimento. Citando Ben
Schneiderman ( 1998):
“When an interactive system is well designed, the interface
almost disappears, enabling users to concentrate on their work, exploration,
or pleasure. Creating an environment in which tasks are carried out
almost effortlessly…”
Penso que esta definição se aplica na íntegra ao
projecto YMYI. YMYI consegue aglutinar o paradigma da interacção
com a interface gráfica do utilizador com o paradigma da interacção
com formas naturais de comunicação, nomeadamente a partir
do uso da componente gestual do humano, o que contribui decisivamente
para o enriquecimento da experiência física interactiva.
Jorge Sousa, Março 2008
|
