ESP
Marco conceptual:
Les usuaries acceden a un espacio en el que dos celulares se encuentran montados en lados opuestos de una pared/tabique translúcida (verticalmente, con las pantallas mirando hacia afuera). Al acercarse a uno de ellos se pueden ver las imágenes de la cámara y escuchar los sonidos del micrófono del otre, pero esta información audiovisual es intervenida con procesamientos distorsivos, siempre y cuando ambos celulares tienen une interactuante delante, permitiendo a les usuaries comunicarse virtualmente a través de una videollamada. La misma no es transparente sino que será mediada por procesamientos exagerados aplicados sobre la reunión vía stream, enturbiando la comunicación y resaltando la naturaleza artificial de lo que pretende ser una extensión del campo comunicativo 'real'. Esta propuesta busca poner en cuestión las tecnologías de comunicación virtual haciendo énfasis en los canales que las posibilitan y pasan desapercibidos por ser invisibles. Además se resalta la falta de intimidad acarreada por estos entornos en contraste con la comunicación en persona. Esta falta de intimidad es provocada en parte por la no transparencia de esa comunicación mediada por servicios de empresas privadas.
ENG
CONCEPTUAL FRAMEWORK
The users have access to a space where two mobile phones are mounted on opposite sides of a translucent wall/partition (vertically, with the screens facing outward). When approaching one of them, users can see the camera images and hear the microphone sounds of the other person, but this audiovisual information is distorted by processing, as long as both phones have an interactor in front of them, allowing the users to communicate virtually through a video call. However, the call is not transparent, as it is mediated by exaggerated processing applied to the stream, obscuring the communication and highlighting the artificial nature of what is supposed to be an extension of the "real" communication field. This proposal seeks to question virtual communication technologies by emphasizing the channels that make them possible and go unnoticed because they are invisible. It also highlights the lack of intimacy associated with these environments compared to in-person communication. This lack of intimacy is partly caused by the non-transparency of this communication, which is mediated by services provided by private companies.
ESP
Descripción detallada del proyecto:
El dispositivo se ubicaría en el centro de una habitación (ocupando aproximadamente 200 x 80cm de base y 200cm de altura). En frente de cada celular se dispone un fondo recto para disminuir la contaminación visual del fondo de la sala. El audio de la videollamada será capturado y reproducido a través de auriculares con micrófono que les usuaries deberán ponerse. Cuando ambos celulares tengan una persona ubicada en frente empezaría el procesamiento de la videollamada, hasta entonces la información es transmitida sin alteraciones.
El procesamiento planteado intenta demostrar la falsa transparencia de este medio. Por lo tanto, los estímulos transmitidos serán en cierta medida opuestos a los recibidos por cada celular. Los movimientos rápidos en frente de la cámara dan como resultado una distorsión en extremo lenta y pesada y la reacción a movimientos lentos devuelve un procesamiento marcadamente entrecortado y veloz. En el audio sucede algo similar, cuando les interactuantes no emitan sonidos o lo hagan a un nivel bajo el audio transmitido se verá amplificado al extremo, en cambio ante sonidos que superen cierto umbral de amplitud lo que se transmite lo hará estando notoriamente filtrado y ensuciado, al punto de imposibilitar su inteligibilidad. Por sobre este planteo de reacción simple se construirá un sistema de procesamiento que de resultados de mayor complejidad formal e interés estético (incluyendo procesamientos en el plano temporal tanto en el video como en el audio). Es importante que cada participante pueda ver y escuchar en cierta medida la no concordancia de las acciones que toma su par con lo que está recibiendo a través de este canal digital. Por esto se eligió un material translúcido para el tabique separador y se mantiene sin aislar sonoramente un espacio del otro.La computadora donde toda esta información es procesada será ubicada a uno de los lados del tabique separador, a una altura que denote su superioridad y control sobre la situación. Quien se acerque a observar podrá ver en la pantalla una interfaz (de apariencia “hacker”, intrincada, indicando que esta no está pensada para ser utilizada por el público general) que revela la parte oculta de este intercambio. A intervalos regulares de tiempo se verá cómo ingresan capturas de la imagen “cruda” de los participantes y cómo estas son almacenadas en carpetas con nombres encriptados. Sin dar explicaciones acerca de este proceso se pone en relieve el cuestionable rol de este tercer ente mediador.
ENG
Detailed project description:
The device would be located in the center of a room (occupying approximately 200 x 80cm of base and 200cm in height). In front of each cell phone, a straight background is placed to reduce visual pollution from the room's background. The audio of the video call will be captured and reproduced through headphones with a microphone that users will have to put on. When both cell phones have a person located in front, the processing of the video call will begin, until then, the information is transmitted without alterations.
The proposed processing aims to demonstrate the false transparency of this medium. Therefore, the transmitted stimuli will be somewhat opposite to those received by each cell phone. Rapid movements in front of the camera result in an extremely slow and heavy distortion, and the reaction to slow movements returns a markedly choppy and fast processing. The audio is similar, when the interactors do not emit sounds or do so at a low level, the transmitted audio will be amplified to the extreme, while in contrast, when sounds exceed a certain threshold of amplitude, what is transmitted will be noticeably filtered and dirtied to the point of making it impossible to understand. Above this simple reaction plan, a processing system will be built that yields results of greater formal complexity and aesthetic interest (including processing in the temporal plane in both video and audio). It is important that each participant can see and hear to some extent the lack of concordance of their partner's actions with what they are receiving through this digital channel. This is why a translucent material was chosen for the separating partition, and a space is left without sound insulation on one side from the other. The computer where all this information is processed will be located on one side of the separating partition, at a height that denotes its superiority and control over the situation. Anyone who approaches to observe can see on the screen an interface (with a "hacker" appearance, intricate, indicating that it is not intended for use by the general public) that reveals the hidden part of this exchange. At regular intervals, you can see how captures of the "raw" image of the participants enter and how they are stored in folders with encrypted names. Without giving explanations about this process, the questionable role of this third mediating entity is highlighted.
ESP
Información técnica del proyecto:
aplicación que establece la comunicación entre los dos dispositivos móviles (A y B) y una computadora (C) donde se realice el procesamiento. Ésta tomará la información AV transmitida por uno de los celulares, la enviará a la computadora para su procesamiento y luego la transmitirá al otro. Dicho procesamiento ocurrirá en tiempo real a través de software específico (Pure Data, Ableton Live y TouchDesigner).
En el plano visual deberemos implementar en principio la detección de movimiento de les usuaries para luego a partir de esta controlar las variables de las diferentes capas de procesamiento. La detección se obtendrá por medio del cálculo de la diferencia de valores entre el fotograma de vídeo actual y una muestra de algunos frames anteriores. Dependiendo del porcentaje de píxeles que se detecten se definirá un valor a partir del cual controlar las distorsiones. Estas serán del tipo Circuit Bending, Pixel Sorting y desplazamiento de píxeles, las cuales se referencian visualmente más abajo. (pág. 7). Cuando le usuarie se derasplace mucho o realice movimientos rápidos, aparecerá una estela de movimiento obtenida a partir de un loop de feedback y disminuirán los fps del output. Además las distorsiones mencionadas disminuirán en intensidad. Cuando el usuarie se desplace lentamente o se quede quieto, la estela de movimiento disminuirá hasta desaparecer y las distorsiones comenzarán a aumentar lentamente hasta que el usuarie vuelva a desplazarse.En ambos casos el flujo de audio será enviado en paralelo a una cadena con variedad de efectos de procesamiento temporal (delays, efectos granulares, reverbs digitales y por convolución, micro-looping, etc) que podrán ir alternando de manera aleatoria y también de manera aleatoria se irán modificando ciertos parámetros específicos de cada efecto. Esta aleatoriedad no será total sino controlada dentro de cierto rango para lograr resultados tan impredecibles como aceptables según nuestras intenciones.
Technical information of the project:
The application will establish communication between two mobile devices (A and B) and a computer (C) where the processing will take place. It will take the AV information transmitted by one of the mobile phones, send it to the computer for processing, and then transmit it to the other device. This processing will occur in real-time through specific software such as Pure Data, Ableton Live, and TouchDesigner.
In the visual aspect, we will initially implement the detection of user movement to control the variables of the different processing layers. The detection will be obtained by calculating the difference in values between the current video frame and a sample of some previous frames. Depending on the percentage of pixels detected, a value will be defined to control the distortions. These will be Circuit Bending, Pixel Sorting, and pixel displacement, which are visually referenced below (page 7). When the user moves a lot or performs rapid movements, a motion trail will appear obtained from a feedback loop, and the output fps will decrease. Additionally, the mentioned distortions will decrease in intensity. When the user moves slowly or remains still, the motion trail will decrease until it disappears, and the distortions will begin to increase slowly until the user moves again. In both cases, the audio flow will be sent in parallel to a chain with a variety of temporal processing effects (delays, granular effects, digital and convolution reverbs, micro-looping, etc.) that can alternate randomly. Also, certain specific parameters of each effect will be randomly modified. This randomness will not be total but controlled within a certain range to achieve results that are as unpredictable as they are acceptable according to our intentions.
