PROYECTO:

AL-JWARIZMI: PROTOTIPO MULTILENGUA/MULTIUSUARIO PARA LA PRODUCCION DISTRIBUIDA/DESCENTRALIZADA DE AUDIO/VIDEO EN TIEMPO REAL DESDE ORDENADORES DOMÉSTICOS

Autores: Hackitectura.net

0. ÍNDICE

1. RESUMEN
2. PREGUNTAS Y RESPUESTAS (FAQ)
3. DESCRIPCION TÉCNICA
4. EQUIPO DE DESARROLLO
5. CALENDARIO

1. RESUMEN

Se trata de un desarrollo de software libre para la producción distribuida de contenidos multimedia en la Red, basado en Pure Data, un entorno gráfico de programación para el procesado de audio-video en tiempo real: al-jwarizmi captura y mezcla live streams producidos por un enjambre de participantes/productores geográficamente diseminados. Prototipo desde y hacia la cibernética social de la red.

2. PREGUNTAS Y RESPUESTAS (FAQ)

al-jwarizmi es un proyecto de desarrollo de software libre para la producción multimedia, distribuida y en tiempo real. al-Jwarizmi es un prototipo de última generación para la comunicación-creación en tiempo real sobre redes libres basado en una relación horizontal de los agentes que intervienen en el mismo. Un proyecto entre las TIC (tecnologías de la información y la comunicación), la arquitectura y las redes sociales.


En modo producción, al-Jwarizmi funciona como una plataforma multiusuario, ofreciendo una doble acción emisión-recepción sobre la sinergia de datos. El usuario-operador actúa así en parte como creador y en parte como investigador, llegando a compartir un flujo global de datos autoreferenciados. al-Jwarizmi crece sobre la base de una infraestructura de (tele)-comunicaciones y servidores por un lado, y mediante un interfaz de aplicaciones libres modulares y ayudantes de traducción simultánea de código abierto por otro. Operadores sobre plataforma multiusuario, infraestructuras de redes, interfaz y software libre son los elementos que intervienen en al-Jwarizmi.


Un proceso algorítmico es un método repetitivo para resolver problemas. Secuencia codificada de instrucciones para manipulación de símbolos. Un algoritmo genera un "proceso algorítmico", diseñado intencionalmente o no (motivo este último por el cual se hace la hipótesis de que la selección natural o la actividad intelectual son procesos algorítmicos). En general, el proceso consiste en la obediencia a una estructura única, ramificada, recursiva o iterativa, que se va desarrollando en serie-paralelo, con rutinas y subrrutinas que se llaman al ser necesarias. Se discute si realmente el proceso intelectual de comprensión de la realidad es un proceso algorítmico o lo supera (postura, por ejemplo, de Roger Penrose). A veces se contraponen los algoritmos a las redes neurales artificiales, pese a que el aprendizaje de estas últimas se realiza con algoritmos.



El nombre se ha escogido por el matemático árabe del siglo IX quien en sus textos presentaba este tipo de cálculos formalizados por primera vez. En segundo lugar y más importante aun, para sentar un puente de colaboración media-cultural desde el principio con el mundo árabe, hacia el entendimiento y contra la lógica belicista impuesta del choque de civilizaciones.


Es un entorno de programación visual orientada a objetos que permite ser extendido de manera muy flexible. Fue creado y utilizado originalmente para modelado de audio a tiempo real. Programadores alrededor del mundo, Europa principalmente, se incorporan o realizan sus aportes al desarrollo de esta herramienta y a la fecha (octubre2003) es capaz de tratar diversos formatos de audio y video inclusive a través de Internet y redes de comunicaciones en general. De manera gráfica se sintetiza en objetos que representan funciones capaces de recibir diferentes argumentos como entrada (input) de control o datos a ser procesados. Se pueden agrupar e interconectar objetos (patches) para crear diferentes tipos de interfases que gestionen la data/media a tratar.

Los mencionados objetos encierran invisibles (aunque disponibles en el código fuente) al usuario o programador de PD, quizas decenas o centenas de miles de lineas de código, escritas por otros desarrolladores de software libre cumpliendo con requisitos de alguna otra aplicación (ej. algún programa reproductor de mp3 u ogg requiriendo el algoritmo de decodificación de los mencionados codecs). Entra el concepto de las librerías (colección de funciones llamadas ante requerimiento de una o más aplicaciones).

La modalidad que propone esta metodología de desarrollo resulta de interés a variados perfiles de programadores o artistas, dada la versatilidad que permite a fin de crear, procesar, tratar data/media.


Emision de caudal audio y/o video en directo por Internet.


Solo en la medida de que son ambos caudales de audiovisuales. Pero la pregunta da pie a plantearse:¿es la televisión, a día de hoy, un proyecto cultural fallido? ¿se puede plantear la perdurabilidad a largo plazo de los sistemas de creaccion-emisión cerrados-centralizados? ¿llegara la revolución del codigo abierto al mundo-televisión?


El proyecto propone cuatro niveles o capas de investigación y gestión.

En primer lugar está la capa más abstracta: el uso del software libre. Lo que denominamos la capa ia-lógica. El algoritmo como concepto abierto y universal llevado al punto en que las aplicaciones que se derivan de su implementación también son compartidas, optimizadas y transformadas en una comunidad global de múltiples intereses. ( ver ley en tramitación de patentes de software del Parlamento Europeo ) ( ver proyecto GNU ) ( ver licencia GPL ).
A este respecto, nuestra investigación se centrará en la puesta a punto y normalización ( estabilización ) del paquete de sofware multimedia PureData? para incluirlo como un paquete más de la distribución de Guadalinex. Así el usuario dispondrá con sólo un click del motor multimedia sobre el que trabaja al-Jwarizmi.

En segundo término, nuestro trabajo se centrará en la gestión de la capa red de al-Jwarizmi, la que forman los servidores que se pondrán en funcionamiento durante el periodo de investigación y desarrolo, y sobre los cuales construiremos los recursos públicos necesarios por el sistema para intercambio de datos, almacenar información, interconectar operadores, y fundamentalmente: mantener la circulación del flujo multimedia vivo. Cualquier operador enviará y recibirá datos en tiempo real hacia y desde estos nodos en cualquier momento y desde cualquier lugar de alguna manera conectado a la Red.

Sobre los nodos, a su vez, se montarán sistemas operativos basados en software libre, y se usarán formatos multimedia libres que trabajarán para dar soporte al motor de flujo al-Jwarizmi: GNU/Linux + Pure Data.

Tercera capa: la interfaz del usuario-operador mediante la cual colabora en al-Jwarizmi. Habrá varios tipos de interfaces y ayudantes. La interfaz mínima consistirá en una aplicación de recepción-emisión del stream multimedia en tiempo real desde-hacia el flujo global de al-Jwarizmi; una aplicación de traducción textual en tiempo real del flujo vivo (IrcBots); y de una aplicación de gestión de los contenidos de la red. Estas aplicaciones se llaman patches, parches en español, y se desarrollarán sobre el entorno Pure Data. La modularidad de Pure Data permite que el tipo de patches, y las funciones que estos provean, crezca en función del uso que se hace de cada uno de ellos. Sus posibles combinaciones estarán a la mano de todos ya que se compartirán en una base de datos específicamente diseñada para ello. Descargar una serie de patches de la red para realizar una función específica no contemplada en la distribución original será cuestión de un click. Uno de los retos técnicos del proyecto es alcanzar una compatibilidad estable entre el software instalado en los servidores, el paquete al-Jwarizmi a ser incluido en la distribución Guadalinex, los formatos de archivos que se usarán, y la escalabilidad del sistema.

Operador: cuarta capa y agente creador-emisor; constructor de algoritmos. Sobre el motor de PD, y a través de las interfaces, el operador desarrolla de manera natural sus propios algoritmos de procesamiento y redistribución de señales multimedia. Aquí radica el reto intelectual del proyecto: la elaboración de nuevas rutinas de comunicación en una plataforma de competencia distribuida. El operador decide el nivel de inmersión en el flujo de información y su nivel de implicación creativa y receptiva. Construye su relación con el medio.
En este sentido nuestro trabajo consistirá en el desarrollo de una serie de algoritmos que quedarán representados en patches y que constituirán la base algorítmica mínima necesaria para poner en marcha al-Jwarizmi. A su vez, y mediante los distintos eventos presenciales o virtuales programados, se pretende dar a conocer la herramienta y servir de apoyo técnico y de agente traductor del proyecto. Los testeadores de al-Jwarizmi irán tomando el pulso al proyecto durante toda la fase de desarrollo.


Al-jwarizmi es un proyecto de innovación tecnológica en el campo emergente del video y el streaming sobre software libre. Entendemos que debe ser un elemento de prestigio para la sociedad de la información y el conocimiento en Andalucía.

Al-jwarizmi es una herramienta para la comunicación social y el reforzamiento de las redes de innovación y sociales, cuyos objetivos coinciden con los expresados en la Declaración de la Sociedad Civil de la reciente Cumbre Mundial de la Sociedad de la Información (dic 2003), como son, el favorecer "el uso incluyente y participativo de las tecnologías de la información y la comunicación o que "todos y todas puedan crear, utilizar, compartir y diseminar libremente la información y el conocimiento".

El proyecto al-jwarizmi representa una experimentación de nuevos modelos de producción en red, distribuida, modular, cooperativa y basada en la construcción de inteligencia colectiva, ajustados a las demandas de la era de la información.


Podríamos hablar por ejemplo, de un programa semanal de audio y vídeo producido desde ordenadores en Sevilla, Málaga, Tenerife, Tánger y Barcelona. O de un sistema para retransmitir y gestionar la participacion remota en un evento internacional como el Foro Social Europeo.


Escuela primaria: primeros contactos con las tecnologías de la información mediante interfaces audiovisuales cada vez más familiares a esa edad.

Escuela secundaria: Linux y software open source. redes telemáticas, programación básica en PD, multimedia, post-textual, arquitectura, creación de videojuegos y simulación 3D...

Universidad: potentes herramientas y módulos de procesado de datos, audio y video a tiempo real, streaming multidistribuido, servidores automatizados de bases de datos multimedia, instrumentación, sensores y robótica, sistemas y entornos multiusuario...


En tres seguro: castellano, inglés y árabe.


Desde hace más de dos años, en colaboración con otros grupos y personas, viene desarrollando diferentes experiencias de streaming y aplicación del Pure Data con las que se ha ido prefigurando el proyecto al-jwarizmi. Entre otros, la de la multitud conectada, patrocinada por la Universidad Intenacional de Andalucía, consistente en un espacio público de conectividad en tiempo real con diferentes lugares del globo: Tenerife, México, Bogotá, Extremadura y París (sep 2003). Actualmente hay un prototipo de al-jwarizmi expuesto en el CCCB (Centro de Cultura Contemporánea de Barcelona) formando parte de la exposición sobre diseño de vanguardia titulada Cruzados (oct-dic 2003).

3. DESCRIPCIÓN TECNICA

INTERFAZ

El diseño de la interfaz de cada estación o nodo al-Jwarizmi mostrará una visión global del funcionamiento de ese sistema en ese momento; simplificando la complejidad de ciertos procesos o módulos que estén accesibles o ejecutándose al mismo tiempo en esa misma máquina. Dependiendo de la interfaz gráfica (skin) elegida, se ocultarán al multiusuario ciertas secciones técnicamente complejas, con el fin de no dificultar su manejo o el acceso a los controles principales.

De la misma forma, usuarios avanzados podrán acceder a opciones avanzadas y por supuesto al código fuente de todo el programa. La arquitectura modular y abierta de al-Jwarizmi permite la incorporación de nuevos módulos, constantes mejoras (all-the-time open-source development) de los módulos utilizados y realización de modificaciones requeridas (hacking?) para situaciones concretas. El usuario avanzado podrá editar hasta la última línea del código fuente, dirigiéndose desde los módulos (patches) o las diferentes interfaces, hasta funciones de muy bajo nivel.

Este concepto de diseño permitirá que con el tiempo al-Jwarizmi adquiera funcionalidades no previstas en su origen (evolución libre).

También estará contemplar y adaptar su diseño para la conectividad e interacción con otros nodos al-Jwarizmi distribuidos. al-Jwarizmi garantizará una comunicación entre nodos transparente, fluida y amigable, para ello, el FrontEnd? web deberá reflejar en cada momento la cartografía del flujo de aljwarizmi, y permitir una fácil comunicación hacia y desde los servidores de procesos, datos, identificadores...

La competencia distribuida será un aspecto clave; ya sea cada nodo actuando como suministrador de contenido multimedia o textual, canalizador de señales de audio y video remotas (streams): servidor o clientes, nodos de control, emisores o receptores...etc.

server pdbox :: interfaz apariencia videoconsola

modo funcionamiento

fácil
autoarranque
remoteo
autonomía (consola videojuego / terminal stand-alone (kiosk))
modularidad
flexibilidad

redes

servidores distribuidos globalmente
seguridad de datos // plataforma abierta - GNU/Linux OS
multiusuario/multitarea
punto-a-punto, punto-a-multipunto // al-Jwarizmis

interfaz
modelo cliente-servidor // control y acceso remoto

desarrollo

constante/abierto // all-the-time open-source development



A nivel de programación al-Jwarizmi nacerá como la integración de varios patches de PureData: prenestino.pd, audionode.pd, diaporama.pd.... más una serie de aplicaciones que constituirían el núcleo de al-Jwarizmi:

de servidores para aplicaciones de stream multimedia.
bases de datos para gestionar contenidos multimedia relacionales e intercomunicación entre nodos
formularios web con comprobación y gestión de errores
intercomunicación pd-web
utilidades (uploads, acceso a base de datos,etc)
librería de scripts para administrar ffmpeg y icecast
herramientas para la conversión de formatos (imágenes,audio,video)
mas...





Al-Jwarizmi funciona en un ordenador que ejecuta varios programas, algoritmos o patches, diseñados con el software Pure Data bajo la plataforma Linux (no se contempla el funcionamiento de al-Jwarizmi sobre sistemas operativos propietarios). Su manejo tendrá lugar con los dispositivos de control implementados en la interfaz hasta la fecha, que estén conectados físicamente en ese momento al ordenador (gamepad, webcam, micrófonos, sensores, otros)

El ordenador debe incorporar todo el hardware de audio, video, comunicaciones y control necesario; según las funcionalidades o servicios exija al-Jwarizmi en ese momento. Por ejemplo: más o menos canales de audio de entrada y salida, más o menos entradas o salidas de video, más o menos ancho de banda...etc. La configuración básica, además del ordenador, constará de webcam con micrófono y gamepad de control.

El sistema requiere de acceso a Internet para muchas de sus avanzadas funciones de conectividad, aunque puede realizar potentes procesos de audio y video a tiempo real aún estando offline: condiciones adversas. Mediante la conectividad de diversos ordenadores al-Jwarizmi en red (local o en Internet) se establecen redes de competencia distribuida. En estas configuraciones pueden distribuirse funciones colaborativas entre distintos nodos y en distintos ámbitos; dependiendo de las características técnicas o localizaciones físicas de cada nodo al-Jwarizmi que esté en línea en ese momento.

La interfaz y la implementación de los dispositivos de control garantizará la claridad del manejo del programa. Determinadas funciones avanzadas se ocultarán al usuario en la interfaz en la medida en que éste lo requiera.

La modulariad y el código abierto de Pure Data y Linux permiten una gran flexibilidad en la interfaz de sus aplicaciones y módulos, y en cómo se comunican o interfacean. Si bien vamos a describir ciertos dispositivos de control más comunes, sería posible utilizar cualquier tipo de señal externa para controlar la interfaz de al-Jwarizmi: desde sistemas musicales tradicionales basados en MIDI, hasta sensores electrónicos externos de variaciones de magnitudes físicas de diversa índole, pasando por sistemas de bases de datos remotas, reconocimiento de voz o seguimiento y análisis de imagen a tiempo real.



La interfaz de un programa no sólo es su aspecto visual o apariencia, sino también el modo y la facilidad con los que podemos manejar el programa al utilizarlo eficazmente. La interfaz de un programa deberá ser concebida en función de cómo y con qué dispositivos físicos queremos que éste sea controlado. Una interfaz diseñada de forma adecuada deberá permitir un manejo de la aplicación sencillo y cómodo mediante los dispositivos de control disponibles más adecuados.

La interfaz facilita y muestra las funciones del programa accesibles al usuario. De esta forma, pese a que al-Jwarizmi esté compuesto de varios módulos ejecutándose a la vez, la interfaz facilitará una interpretación global e intuitiva del funcionamiento actual del sistema. También se visualizará de forma clara la conectividad online de los nodos que se encuentren en red.

3.4.1 Mouse & Keyboard

El teclado y el ratón seguirán siendo los principales dispositivos de control del ordenador, sobre todo para programarlo, configurarlo. El teclado de momento resultará el dispositivo más útil para escribir en cualquier ordenador y ciertamente resulta muy ágil para muchas de las funciones que usamos.

El ratón es un dispositivo más moderno que el teclado y lo complementará a la hora de gestionar la interfaz del sistema operativo y del programa.

3.4.2 Game Pad

En la medida en que se mejoren y adapten la interfaz del programa y sus módulos, se podrán controlar cada vez más funciones desde el gamepad. Si bien en determinadas situaciones no podrá suplir los tradicionales ratón y teclado, será un gran complemento; y no sólo porque puedan utilizarse todos ellos a la vez.

El sistema está capacitado para que sus módulos de tratamiento de audio y video puedan controlarse totalmente desde el gamepad. En muchos casos el uso del teclado y el ratón para controlar ciertos procesos puede resultar incómodo; de la misma forma que resultaría difícil escribir con el gamepad. Contrariamente, el gamepad resulta cómodo, manejable y preciso para determinados usos que requieran cierta agilidad de control o inmediatez.

Actualmente mediante el gamepad, por ejemplo, es posible controlar los volúmenes de los canales de audio de los participantes remotos y locales de una emisión de competencia distribuida. Como si de un videojuego se tratara, podemos controlar el módulo encargado de realizar la mezcla de las diferentes fuentes, sean remotas o locales; tal como haría un técnico de radio convencional desde los botones de su mesa de mezclas.

Está comprobado el funcionamiento de varios gamepads simultáneos en un mismo ordenador, lo que amplía las posibilidades del modo multiusuario local o remoto. Varios usuarios podrían realizar tareas complementarias y en equipo (audio/imagen/control básico del sistema) en una sola máquina y simultáneamente; algo que no resulta práctico utilizando sólo ratón y teclado.

Los módulos de procesamiento a tiempo real de video y modelado 3D para PureData?, en emergente desarrollo actualmente, hacen viable la creación de videojuegos, escenarios 3D, o la recreación de las interfaces de los videojuegos en las aplicaciones multimedia o de telecomunicaciones. La conjunción del gamepad con otros dispositivos no habituales en videoconsolas, como la webcam, la conectividad avanzada a internet...etc amplían mucho las posibilidades a la hora de realizar cualquier juego o aplicación multiusuario.


3.4.3 Webcam

Nos permitirá introducir en al-Jwarizmi la señal de video local filmada. Los módulos encargados del procesado de video e imagen son capaces de gestionar: señales de video de archivos en el disco duro local, material streameado recibido desde Internet o señales de video captadas localmente por nuestra webcam. La señal del video capturada por la webcam puede ser strimeada a Internet, habiendo procesado o mezclado la señal con otras fuentes de video, audio, locales o remotas, y contenido textual online .


3.4.4 MIDI, OSC, sensores externos y redes.

Resulta inmediato interconectar al-Jwarizmi a un sistema basado en el estándar de comunicación MIDI, como los entornos de creación musical, control de luces o sensores. al-Jwarizmi es capaz de enviar o recibir información de sensores externos, que podrían ser diseñados para las aplicaciones más concretas y exijentes: como sensores de temperatura, sensores de presión o infrarrojos para controlar cualquier parámetro interno del programa. Mediante los habituales puertos serie o pararelo del ordenador estaría capacitado para comunicarse con otros sistemas electrónicos o electromecánicos externos.

También pueden emplearse otros protocolos de comunicación más específicos para redes telemáticas; como OSC, o sistemas de control mediante navegador web.

4. EQUIPO DE DESARROLLO

Sergio Moreno

Pablo de Soto

Manu Molina

Ramiro Cosentino

José Perez de Lama

Yves Degoyon



Lluis Gomez

Summermute

Jonathan

Tatiana

Jose Luis Tirado

Javi Toret Medina



El concepto de "módulos" en programación se refiere a la segmentación de un problema en varios más pequeños para el desarrollo de algoritmos específicos que resuelvan cada uno de ellos y en su conjunto se resuelva un todo: el programa.

El programa principal no sabe o no tiene por qué saber todo lo que saben sus módulos. (ej: instrucciones/funciones específicas que se requieran en momentos determinados del procesamiento central).

Los módulos se ejecutan ante necesidad. Esta técnica permite ahorrar memoria y dedicar los (limitados) ciclos de procesamiento al algoritmo principal.

Los módulos humanos se ofrecerán como un recurso operativo, disponiendo de sus destrezas y conocimientos ante necesidad.




En la primera fase:

- Monterrey, DF (Mexico): Nuzita, diseñadores

- Tel Aviv- Jersulam (Israel): Ronen Eidelman, MAx&Tamara, Zax

- New York and mobile: jaquie Soheen, Big Noise Films

- Medellin, Bogota (Colombia): Camilo, Alejo

- Rio Janeiro: Graciela, Miguel, videohackers

- Toronto: nabz

5. CALENDARIO DE TRABAJO

0/ Prototipo01. Desarrollo del software fase beta, instalación de servers - multimedia y base de datos -, e instalación de las pd-boxes en una red de 8 usauarios para fase de testeo y puesta a punto de producciones distribuidas de audio / vídeo ffmpeg / ogg. (máquinas: Sevilla 2, Barcelona 3, Tenerife, Málaga, Jerez)

1/ Prototipo02. Desarrollo y distribución de la herramienta básica consistente en un live cd para la gestión de al-jwarizmi desde ordenadores personales de los componentes de la red de testeadores del proyecto conectados a una red de servidores multimedia y de datos.

2/ Distribución para operación remota. Desarrollo de al-jwarizmi sobre una red de servidores extendida y de mayor capacidad para su operación remota por todo tipo de usuarios, no expertos y con conexiones de bajo ancho de banda.

En estos momentos al-jwarizmi está en fase final de desarrollo conceptual y testeo parcial de sus distintos componentes. Sucesivos tests - y presentaciones- del proyecto han tenido lugar en: La Multitud Conectada (UNIA, La Rábida, sep 2003), Open Radio (Barcelona, CCCB, oct 2003), DASH workshop (Roma, nov 2003), Cruzados (Barcelona, oct-dic 2003), Tel Aviv, WSIS / We Seize! (Ginebra, dic 2003).


El desarrollo en los proximos meses:

Hito 1: Makrolab - Venecia / abril 2004 / http://makrolab.lujdmila.org
Funcionamiento básico PD + ff server
Constitución de la red distribuida de testeadores (8 pd boxes)

Hito 2: Fadaiat -Tarifa / junio 2004
Evento producido por la Universidad Internacional de Andalucia.
Prototipo emisión 8 nodos al-jwarizmi-pd en todos los formatos, bots traductores, cartografía / herramientas programación básicas, integración con indymedia

Hito 3: Jornadas Copyleft -Sevilla / septiembre-octubre 2004
Emisión 8 nodos, integración de al-jwarizmi con server de base de datos, cartografía y herramientas de programación.