Nouvelle experience audiovisuelle
description
Transcript of Nouvelle experience audiovisuelle
Anaïs LIBOLT Dolby
L’expérience audiovisuelle nouvelle génération
27 Novembre 2012
Sommaire Postulat sur la qualité audio
Over-The-Top et HbbTV
Expériences nouvelle génération
2
C’est un élément différenciant dans l’expérience
Postulat sur la qualité audio
P R O P R I E T A R Y + C O N F I D E N T I A L 4
“Long ago we realized sound was your “special friend” because sound does at least 50% of the job.” – Francis Ford Coppola, Director
P R O P R I E T A R Y + C O N F I D E N T I A L 4
Windows Phone 7
La qualité audio a de l’importance
5
Audio Engineering Society “The Influence of Individual Audio Impairments on Perceived Video Quality” 2010
Higher quality audio can compensate for degradations in the video image. Less likely to consider an image impaired with higher quality audio. Viewers perception of the video quality is higher when audio quality is not impaired.
Highest correlation with picture quality satisfaction is audio quality satisfaction (compared to Brand, screen size & warranty) Correlation is .806 (-1 to +1)
IDC: ConsumerScape 360
Windows Phone 7
Même les grands le disent…
6
“sound is half the experience” – George Lucas
Over The Top La valse des formats
Etat des lieux Problème: + de 20 plateformes technologiques différentes pour l‘OTT
Pas ou peu de capacité au multicanal
Quasiement aucune interopérabilité – beaucoup de fossés à combler!
8
L’absence d’un standard universel de distribution aux appareils connectés résulte en une fragmentation de la compatibilité des formats.
Windows Phone 7
Over-The-Top - considérations Le réseau n’est pas toujours maîtrisé et la Bande passante est disponible de manière
"aléatoire" => objectif de maintenir la QoE au mieux, parfois seulement la QoS…
Quand les débits deviennent très faibles, on a le problème d’un contenu sous-dimensionné pour le récepteur.
Besoin de maintenir la qualité maximum car on ne sait pas toujours comment est échangé le contenu. La HD peut être lue sur un appareil SD puis transférée sur un appareil HD…
Garantir un audio de qualité maximise l’expérience utilisateur.
9
Windows Phone 7
Interopérabilité Le challenge de l’intéropérabilité pour un fournisseur de technologie dans un monde multi-devices
Ce challenge a toujours existé entre le contenu et l’appareil de restitution. Les fournisseurs de contenu souhaitent un maximum d’inrteropérabilité (pour le coût), le consommateur aussi, mais les fabriquant d’appareils CE souhaitent se différencier à leur façon. Ex dans l’histoire: les jeux PC associés à des cartes graphiques, PC & Mac…)
Mais maintenant nous avons du contenu qui doit couvrir beaucoup de catégories d’appareils!
10
Windows Phone 7
Interopérabilité
PC, consoles de Jeux, Media server, mobile, tablette, TV connectée…
La fragmentation des formats doit être transparente pour le consommateur. Mise en avant de l’expérience.
Ce que l’on peut attendre d’une expérience mobile: Rendu surround pour donner l’expérience d’immersion Gestion du loudness et contrôle de la dynamique Traitements et EQ très complets pour une restitution audio haute fidélité
11
Interopérabilité - raisons Diffuseurs, opérateurs, startups de VoD, media markets…, offrent des
services de VOD Differentes priorités selon le vecteur (PC, Smartphones, Tablettes, TVs,
consoles) Préférence pour une plateforme techno ou une autre
Dépendances – Quel format peut être délivré à quel appareil? E.g. Formats et DRM différents pour iOS que pour HbbTV ou pour
plateforme SmarTV
12
CONFIDENTIAL INFORMATION
13
C
onte
nt
Serv
ices
N
etw
ork
Plat
form
s
UGC Music OTT O
S an
d Si
licon
D
evic
es
Device OS’s PC OS’s
CE Mobile Phones PC’s
Open OEM Proprietary
Tablets
Silicon
Services
Mobile
Encodage du contenu et sécurité Encodage du contenu en de multiples versions, pour des appareils
spécifiques (codecs, résolution…), pour de l’adaptive streaming…
Encoder le contenu pour différents systèmes de distribution: Adobe, Microsoft, Widewine, Apple, HbbTV…
DRM: Adobe, Microsoft, Apple, Marlin, Widewine, OMA,… En général pas de CA broadcast (peu flexible)
14
Distribution par des apps Les méthodes de distribution traditionnels dans l’écosystème des
applications sont: Progressive download; principalement MPEG4(H.264) Adaptive Streaming: HLS Smooth Streaming MPEG-‐DASH (nouveau beaucoup de fournisseurs de services se sont
engagés à le supporter)
15
Une multitude de formats de containers
16
PIFF
ISO Base Media File Format (MP4 File Format)
CFF
F4F
DASH Profile
MPEG 3GPP MBMS PSS
MPEG-2 TS
Differences..? a.) Manifest b.) Container Details
HLS HAS
Simple ISO-FF
Interaction Serveur – Client
17
Exemple d‘un fichier de manifest pour MPEG DASH
18
.
DASH ISOBFF Live Streaming Profile DASH Manifest
XML
Adaptation Set
A set of interchangeable encoded versions of one or several media content components.
Adaptation Set: English English Language Language 5.1 DD+@348k, @192k
German Language 5.1 DD+@256k
Video 720p@25 3MBit/s
Video 1080p@50 7MBit/s
Video 640p@25 1.8MBit/s
Video 320p@25 500kBit/s
Smallest addressable unit in an MPD with a defined format.
Segment:
Initialisation Segment file suffix = file.mp4
Media Segment file suffix = file.m4s
Collection and encapsulation of one or more media streams in a delivery format and associated with descriptive metadata.
Representation:
Media Presentation Description Provides a formalized description for a Media Presentation for the purpose of providing a streaming service. file suffix = file.mpd
Collection of data that establishes a bounded or unbounded presentation of media content.
Media Presentation:
Media Content Component representing one media track
Cette image montre une représentation de DASH
One continuous component of the media content with an assigned media component type that can be encoded individually into a media stream.
Content Component:
English Language 2.0 HE-AAC@64k
Each one of all these colored blocks is an individual file!
Windows Phone 7
Fragmentation et complexité
20
Complexité = Ecosystème x Protocole x DRM x Client x Device
HLS
Smooth
DASH
CFF
TS DVB CAS STB Client IPTV/DBS/Cable 3
432+
Windows Phone 7
Mise en oeuvre
CONVERGED HEAD-END
BROADCAST SD/HD
MULTISCREEN SD/HD
IRDs
Ingest
Ingest/Playout Server
Capture
Delivery
DTH Terrestrial
Cable Telco
BROADCAST
MULTISCREEN
OTT
Windows Phone 7 22
Multiscreen End-To-End Workflow
Windows Phone 7
Atouts du Dolby Digital Plus pour le multi-screen Ecosystème contrôlé car toutes les implémentations sont fournies et
approuvées par Dolby (vs He-AAC)
Support des métadonnées
Support dans les nouveaux formats.
Support de l’Adaptive streaming: le débit peut changer dynamiquement sans interruption de son
Documentation et fichiers de tests disponibles pour les principaux formats (DASHG, HLS, Smooth Streaming)
Mise en place de l’écosystème Dolby Digital Plus en OTT
Ingest/QC Encoding/DRM Distribution
Maintenir la qualité maximale du contenu à l’ingest et à l’encodage (ex: loudness) Aider à construire des
produits qui supportent le DD+ dans tous les types de containers et formats
Enco
ding
so
lutio
ns
Assurer la compatibilité de l’intégration de Dolby Digital Plus auprès des fournisseurs DRM
Assurer la distribution possible des nouveaux formats
Tests pour que les nouveaux formats de containers intègrent DD+ et soient compatibles avec les récepteurs
Windows Phone 7
Smooth Streaming support for DD+ Smooth Streaming support
for DD+
1+ Milliards d’appareils disponibles
Dolby Digital Plus UV CFF Playback
Atouts du Dolby Digital Plus pour le multi-screen
Exemple de service en DD+
.
Dolby Digital Plus – préparer l’encodage Connaître les caractéristiques du réseau utilisé pour transférer le contenu et ses
limitations, &.e. mobile (maillon le plus faible)
Anticiper les variations de bande passante et le débit nécesaire pour maintenir une qualité de service et une qualité d’expérience en audio.
Channel configuration définie par le fichier source
Langues et audio description
Dialnorm renseigné correctement en fonction du loudness
QC workflow
CONFIDENTIAL INFORMATION 27
.
Dolby Digital Plus – Tester les commutations et sorties Il est important de tester les commutations audio dans les cas suivants: Logique de commutation en bande-passante d’une application; quand l’App
doit choisir le fragment approprié parmi plusieures version débits différents de la piste DD+
Commutations entre les différentes langues Configuration de la sortie au décodage et fonction pass-through sur HDMI Profilage de la vie de la batterie en fonction du mode de décodage audio
NOTE: Il est extrêmement important que les fragments de bande passante encodés ne modifient pas la Channel configuration si décodés par un récepteur A/V, car presque tous les récepteurs
basculent la sortie audio off momentanément dans ce cas, ce qui génèrera des plaintes des utilisateurs
CONFIDENTIAL INFORMATION 28
.
Cas d’usage
Broadcast Services
Online Services
Portails en ligne Diffuseur
Online Services
Signalés par des bandeaux superposés au programme diffusé
Disponible à travers des applications
.
Formats de fichier HbbTV For HTTP streaming HbbTV referenced dedicated file formats
HbbTV v1.0 (ETSI TS 102 796 v1.1.1)
Both MPEG-2 TS as well as plain MPEG-4 File Format can be used Realistically today only MPEG-4 File Format is used for streaming with HbbTV
HbbTV v1.5 (ETSI TS 102 796 v1.2.1)
Additionally: a modified version of the MPEG DASH “ISOBFF Live Streaming Profile”
ISOBFF = ISO Base Media File Format
.
Pourquoi utiliser leDolby Digital Plus en HbbTV ? Si le récepteur HbbTV décode le DD+ pour le broadcast (TNT HD), il doit le
supporter pour la partie broadband.
DD+ est le seul codec dans HbbTV qui garanti le 5.1 quand c’est physiquement possible Workflows éprouvés Préviens les problèmes de loudness par les métadonnées
Dolby supporte activement les effort d‘interropérabilité dans HbbTV, dans les standards régionaux et auprès de laboratoires de tests partenaires.
Evolutions du son et de l’image
Expériences Nouvelle Génération
Windows Phone 7
Nouvelle generation de services audiovisuels… Métamorphose du paysage… Multiplication des vecteurs d’accès au contenu Multiplication des écrans Réseaux sociaux Maîtrise du temps personnel… qui se fait rare! Quand je veux, ou je veux, avec qui je veux: contrôle personnel
Conséquences Fragmentation de l’audience Audience plus complexe (aspects générationnels, segmentation audience) Notion d’expérience plus complexe qui doit intégrer de multiples facteurs!
Windows Phone 7
Ce qui définit l’expérience Facteurs intrinsèques J’aime ce film, cet acteur, ce type de documentaire, ce show, ce groupe de
musique, etc… Peu importe comment je “recupère” le contenu, je veux le voir! Et je veux le voir selon mon envie du moment, là où je suis! Registre émotionnel
Facteurs extrinsèques Accès au contenu (search, recommendation) Qualité du son, de l’image Marque, confiance a priori Excacerbation du registre émotionnel: l’émotion en grand
34
Windows Phone 7
Valorisation de l’expérience Par rapport aux facteurs intrinsèques Qualité du catalogue, Fonctionnalités du service, Audience visée
Par rapport aux facteurs extrinsèques Confort, qualité du son et de l’image, simplicité, continuité Marques reconnues comme gage de référence
L’équilibre définit le niveau possible de satisfaction de l’audience et donc de monétisation
Nouvelle experience Nouveaux services doivent maximiser l’ensemble des facteurs d’expérience pour être
différentiants… et générer de l’audience Dolby présent sur la restitution conforme de l’intention artistique (registre emotionnel) et
sur la restitution du maximum du potentiel de l’équipement personnel
35
Windows Phone 7
Expériences nouvelle génération L’image évolue vers 4K et Ultra HD, avec ou sans 3D
L’audio évolue vers l’audio 3D
L’expérience doit être différente pour le spectateur, pas seulement plus de définition
4k permet plus de contraste, une plus large palette de couleurs, une meilleure 3D…
Evolutions audio vers une meilleure immersion, plus de flexibilité, un rendu adaptatif à l’installation…
36
Windows Phone 7
Evolutions de l’audio Aujourd'hui: stéréo, 5.1 ou 7.1. Production et diffusion
du contenu maîtrisée.
Quand on parle de 9.1, 11.1, 22.2…, il faut prendre en considération: Production du contenu: Plus complexe de mixer plus
de pistes et de gérer les différents downmixes. Reproduction du contenu : Déjà compliqué avec du
5.1 ou 7.1, on ne peut pas vraiment augmenter le nombre de canaux.
37
Trouver un moyen technique de rendre l’intention artistique avec simplicité
Windows Phone 7
Evolutions de l’audio Approche « channel based »: le codage optimise le débit par canal. Le
rendu s’adapte au système par décodage ou dématricage et downmix ou upmix.
Approche « object based »: un objet sonore est un son associé à des informations de gain et d’espace en fonction du temps. Codage des sons + métadonnées. Décodage et rendu adapté à la configuration
38
Windows Phone 7
Approche Object based Un seul mixage pour toutes les configurations. Simplicité de la
production, efforts mis au service de l’expérience plus que de la technique.
L’audio s’adapte à la pièce plus que la pièce à l’audio! Le mixage peut se décliner en stereo, en 5.1 avec hauts-parleurs ou sound bars, au casque… L’appareil de reproduction (playback) embarque l’intelligence qui permet de restituer l’expérience et l’intention artistique.
Redéfinir les workflows pour travailler avec des objets sonores
Nécessité de définir et standardiser un format de distribution et des métadonnées
39
40
The time is right to redefine e-media sound
MERCI !
MERCI ! MERCI ! MERCI ! MERCI !