Ses Kodlama Teknikleri ve Yeni NATO Ses Kodlama Seçimi...
Transcript of Ses Kodlama Teknikleri ve Yeni NATO Ses Kodlama Seçimi...
TÜBİTAK UEKAEULUSAL ELEKTRONİK ve KRİPTOLOJİ ARAŞTIRMA ENSTİTÜSÜTÜBİTAK UEKAEULUSAL ELEKTRONİK ve KRİPTOLOJİ ARAŞTIRMA ENSTİTÜSÜ
Ses Kodlama Teknikleri ve Yeni NATO Ses Kodlama Seçimi
(NATO STANAG 4591)
Dr. Hasan Palaz
Tel: 0 262 648 1369e-Posta: [email protected]
Aralık 2003
TÜBİTAK UEKAEULUSAL ELEKTRONİK ve KRİPTOLOJİ ARAŞTIRMA ENSTİTÜSÜTÜBİTAK UEKAEULUSAL ELEKTRONİK ve KRİPTOLOJİ ARAŞTIRMA ENSTİTÜSÜ
Birinci BölümSes Kodlama TeknikleriKısa Bir Bakış ve Tarihçe
Dr. Hasan Palaz
Tel: 0 262 648 1369e-Posta: [email protected]
Aralık 2003
18.12.2003 H. Palaz, TÜBİTAK UEKAE 3
Sunuş Planı
Ses üretim mekanizması
İnsan kulağının bant genişliği
Kullanım amacı ve alanı
Tarihçe,Sınıflandırma ve Özellikleri
Standartları hazırlayan organizasyonlar
Ses kodlama standartları
Ses kalitesine göre kodlayıcılar
NATO ses kodlama seçimi – Giriş
NATO ses kodlayıcıları
STANAG 4591 ihtiyacı
Ses Kodlayıcı Teknolojisinde Yönelim
18.12.2003 H. Palaz, TÜBİTAK UEKAE 4
Ses Üretim Mekanizması
Ses üretim yolu olarak adlandırılan çok karmaşık ancak tam anlamıyla mükemmel bir sistem,Ses tellerinden geçen hava daha sonra ses üretim yolunda işlenerek değişik sesler çıkartılıyor.
18.12.2003 H. Palaz, TÜBİTAK UEKAE 5
Ses Üretim Mekanizması
Ana olarak iki tür ses üretiriz, sesli (voiced) ve sessiz (unvoiced)Buna örnek olan iki farklı konuşma işareti
18.12.2003 H. Palaz, TÜBİTAK UEKAE 6
Ses Üretim Mekanizması
Ses üretiminin iyi bir modeli aşağıdaki örnek sistem gibişematize edilebilir. Bu sistemde sesli heceler için ardışık darbe dizileri, sessiz heceler için ise gürültü işareti süzgeçlerin girişine uygulanır.
ImpulseTrain
Generator
RandomNoise
Generator
Pitch period
X
Voiced/Unvoced Switch
Gain
x[n] u[n]
TimeVarying
Filter
LPC Coefficients
Syntesized Speech
s[n]
18.12.2003 H. Palaz, TÜBİTAK UEKAE 7
İnsan Kulağının Bant Genişliği
0 Hz 4 kHz 7 kHz 20 kHz
TELEFON
SESMUZİK (CD KALİTESİ)
5 Hz - 20 kHz
18.12.2003 H. Palaz, TÜBİTAK UEKAE 8
Kullanım Amacı
Haberleşme kapasitesini arttırmak
8000 örnek/s x 12-16 bit=96-128kbps
Efektif haberleşme
Emniyetli ses haberleşmesi
Efektif depolama
18.12.2003 H. Palaz, TÜBİTAK UEKAE 9
Kullanım Amacı
A/DA/D AnalizAnaliz D/AD/ASentezSentez
Konuşma Dinle
Haberleşme
Depolama
Kayıt Çalma
18.12.2003 H. Palaz, TÜBİTAK UEKAE 10
Kullanım Alanı
Emniyetli ses haberleşmesi (Secure voice)
Hücresel telefonlar (GSM, PCS v.b.)
Sesli mesaj (Voice mail)
Çoklu ortam mesaj (multimedia messaging)
Sayısal telesekreter makineleri (digital answering machine)
Paket telefon ve radyo (packet telephony&radio)
Görüntülü telefon (videophone)
Sesli-görsel telekonferans (audio-visual teleconferencing)
18.12.2003 H. Palaz, TÜBİTAK UEKAE 11
Tarihçe
VOICE CODER-VODER-VOCODER
Bell Labs, 1936, H.W. Dudley
İlk ve en ilkel ses kodlayıcı
Kodlayıcıdan çok piyano gibi tuşları olan bir
sentezleyici ancak çoğu modern ses kodlama/
sıkıştırma algoritmaları benzer mantıkla çalışıyor.
Yapay Konuşan Makine, Dünyadaki ilk elektronik
ses sentezleyici
New York ve San Francisco World's Fairs of 1939.
18.12.2003 H. Palaz, TÜBİTAK UEKAE 12
Tarihçe-Emniyetli Ses Sistemleri
SIGSALY
1943
1200bps
Vakum tüp teknolojisi
12 adet kuruldu
55 ton
Roosevelt-Churchill
18.12.2003 H. Palaz, TÜBİTAK UEKAE 13
Tarihçe-Emniyetli Ses Sistemleri
Orijinal STU-II
1982
2400bps
Bir kaç bin cihaz kuruldu
STU-1
1979
2400bps
İlk DSP’li
Bir kaç yüz cihaz kuruldu
HY-2
1961
???bps
Tranzistorlu
100 pound
Johnson
KY-9
1953
1650bps
Tranzistorlu
565 pounds
Johnson
18.12.2003 H. Palaz, TÜBİTAK UEKAE 14
STU-II ve STU-II/B• 1980 Sonları
2400 bps
VLSI Teknolojisi
4-5 Kg
NATO Standartı
STU-III1990 Ortaları2400-9600 bpsVLSI Teknolojisi4-5 Kg
STE1990 Sonları2400-9600 bps Analog64-128 kbps ISDNSTU-III uyumluVLSI Teknolojisi4-5 Kg
Tarihçe-Emniyetli Ses Sistemleri
18.12.2003 H. Palaz, TÜBİTAK UEKAE 15
Sınıflandırma
Dalga kodlama (waveform coders)
Parametrik olmayan, model tabanlı değil
Düşük oranda sıkıştırma
PCM, ADPCM, CVSD
Ses kodlama (Vocoder)
Model tabanlı, parametrik
Yüksek oranda sıkıştırma
LPC, CELP
18.12.2003 H. Palaz, TÜBİTAK UEKAE 16
Özellikleri
Kodlama Hızı (Bit Rate)
Karmaşıklık (Complexity)
Gecikme (Delay)
Kalite (Quality)
18.12.2003 H. Palaz, TÜBİTAK UEKAE 17
Kodlama Hızı
Kodlayıcının çalıştığı haberleşme kanalının hızı
• Sayısal telefon şebekesi 64 kbps
• Hücresel şebeke 6.7 - 13 kbps
• Emniyetli telefon 2.4 - 4.8 kbps
• HF emniyetli ses 1.2 - 2.4 kpbs
• CDMA sayısal hücresel Değişken hızlı
şebeke, IP tabanlı şebekeler
18.12.2003 H. Palaz, TÜBİTAK UEKAE 18
Karmaşıklık
Kodlayıcının hesaplama karmaşıklığı, işlem yüküGerçek zamanda çalışma için gerekli olan
MIPS (million instruction per second)
Bellek miktarı
Güç harcaması
Fiyat
Gerçekleme ortamları
Sayısal işaret işleyicilerde (DSP) gerçekleme
Internet telefon PC üzerinde çalışır
18.12.2003 H. Palaz, TÜBİTAK UEKAE 19
Gecikme
Haberleşme kanalında ses kodlayıcının sebep olduğu gecikme
Algoritmik gecikme
Ses örnekleri üzerinden çalışan kodlayıcıların gecikmesi küçüktür
Ses örnek çerçeveleri (blokları) ile çalışan kodlayıcıların gecikmesi daha büyüktür
Hesaplama gecikmesi
Ses kodlama tekniğinin hesaplama karmaşıklığına bağlıdır
18.12.2003 H. Palaz, TÜBİTAK UEKAE 20
Kalite
Anlaşılabilirlik (Speech Intelligibility)
Akustik Gürültü Performansı
Ses Kalitesi (Speech Quality)
Konuşanın Tanınabilirliği (Speaker Recognizability)
Emotional Projection
Tandem Performansı
Haberleşme Verimliliği (Communicability)
18.12.2003 H. Palaz, TÜBİTAK UEKAE 21
Organizasyonlar
U.S. Department of Defence, National Security Agency(NSA)
NATO
International Telecommunications Union (ITU-CCITT)
Telecommnications Industry Association (TIA)
Research and Development Center for Radio Systems(RCR) in Japan
International Maritime Satellite Corporation (INMARSAT)
Europan Telecommunications Standards Institute (ETSI)
18.12.2003 H. Palaz, TÜBİTAK UEKAE 22
Standartlar
Hız(kbps) Standart Uygulama Algoritma Yıl
64 ITU G.711 PSTN PCM 197264, 56, 48 ITU G.722 ISDN SB-ADPCM 198432 ITU G.721 PSTN ADPCM 19842.4 US-FS1015 Secure Voice LPC-10e 198416 Inmarsat-B Maritime APC 198513 (22.8) FR-GSM, EGSM, DCS-1800 RPE-LTP 19884.8 US-FS1016 Secure Voice CELP 19898.9 (9.6) Inmarsat-aero Skyphone MPELPC 19897.95 (13) IS-54 NA-Digital cellularVSELP 19894.8 NASA MSAT-X Mobile satellite VAPC 199016 ITU G.728 PSTN LD-CELP 19916.7 (11.2) FR-PDC Japan Cellular VSELP 19914.15 (6.4) Inmarsat-M Land mobile satellite IMBE 1991
18.12.2003 H. Palaz, TÜBİTAK UEKAE 23
Standartlar
Hız(kbps) Standart Uygulama Algoritma Yıl
4.4 (7.2) APCO Paramilitary IMBE 19924.53 (7.2) TETRA Europan trunk radio ACELP 19938-1, 19.2-2.4 IS-95 VR NA CDMA cellular QCELP 19938 ITU G.729 PSTN ACELP 19955.7 (11.4) HR-GSM Europan GSM VSELP 19953.45 (5.6) HR-PDC Japan Cellular PCI-CELP 19954.8 Inmarsat-M Land mobile satellite AMBE 199513 (22.8) Enhanced FR-GSM Europan GSM ACELP 199513 (22.8) PCS-1900 NA-Digital cellular ACELP 19956.4/5.3 G.723.1 PSTN MPC-MLQ 19952.4 FS-MELP Secure Voice MELP 19961.2/4.8/9.6 IS-127 NA CDMA cellular EVRC 19971.2/2.4+npp STANAG 4195 Secure Voice MELPe 2002
18.12.2003 H. Palaz, TÜBİTAK UEKAE 24
Ses Kalitesi
11 22 323216168844 6464Kötü (1)Kötü (1)
Orta (3)Orta (3)
İyi (4)İyi (4)
Mükemmel (5)Mükemmel (5)
Zayıf (2)Zayıf (2)
Bit Bit RateRate, , kbpskbps
Ses K
alite
si, M
OS
Ses K
alite
si, M
OS
FSFS--10151015LPC10ELPC10E
FSFS--MELPMELPFSFS--10161016CELPCELP
IMBEIMBE
ITUITU--T 1998T 1998 G.729G.729 EFREFR--GSMGSM
G.728G.728G.721G.721
G.711G.711G.726G.726
ISIS--5454SKYPHONESKYPHONE
FRFR--GSMGSM
CVSDCVSD
SENTETİKSENTETİK
HABERLEŞMEHABERLEŞME
TOLLTOLL
1.21.2
18.12.2003 H. Palaz, TÜBİTAK UEKAE 25
Ses Kalitesi
“If you knew Julian like I know Julian” cümlesi
18.12.2003 H. Palaz, TÜBİTAK UEKAE 26
NATO Ses Kodlama Seçimi - Giriş
18.12.2003 H. Palaz, TÜBİTAK UEKAE 27
NATO Ses Kodlayıcıları
Kullanımda olan NATO ses kodlayıcıları uzun süre önce standart haline getirilmiştir (10-20 yıl)
Başlıca öne çıkan özellikleri:
STANAG 4209 (1983), haberleşme kanalındaki bozulmalara karşı dayanıklı (CVSD)
STANAG 4198 (1987), düşük hız, dar bant (LPC-10e)
STANAG 4479 (1993), oldukça düşük hız, daha dar bantlı (LPC tabanlı)
Fakat servis kaliteleri sınırlı
18.12.2003 H. Palaz, TÜBİTAK UEKAE 28
NATO Ses Kodlayıcıları
STANAG 4209 (1983) – CVSD“The NATO Multi-Channel Tactical Digital Gateways Standards for
Analogue to Digital Conversion of Speech Signals” Dalga kodlama (Waveform Coder)+ Haberleşme kanalındaki bozulmalara dayanıklı+ Küçük gecikme- Gürültüsüz ortamda düşük ses kalitesi- Yüksek hız, geniş bant (16 kbps)
UHF/VHF emniyetli ses cihazı (KY-58/57)Frekans atlamalı VHF FH telsizlerUydu terminalleri (SATCOM)Sayısal geçitler (Gateway)
18.12.2003 H. Palaz, TÜBİTAK UEKAE 29
NATO Ses Kodlayıcıları
STANAG 4198 (1987) – LPC-10e
“Parameters and coding characteristics that must be common to assure interoperability of 2400 bps linear predictive encoded digital speech”
Ses kodlayıcı, parametrik (Vocoder)Emniyetli ses haberleşmesinde ve sinyal işlemede önemli bir kilometre taşıdır
+ düşük hız, dar bant (2.4 kbps)- düşük ses kalitesi- kanaldaki bozulmalara karşı direnci düşük- ortam gürültülerine karşı ses kalitesini koruyamamakta
18.12.2003 H. Palaz, TÜBİTAK UEKAE 30
NATO Ses Kodlayıcıları
STANAG 4198 (1987) – LPC-10eDar band emniyetli ses sistemleri (NBSVS), Taktik NBSVS, Emniyetli terminal (STU-II), Advanced Narrow Band Digital Voice Terminal (ANDVT) HF (High Frequency) telsizler
18.12.2003 H. Palaz, TÜBİTAK UEKAE 31
NATO Ses Kodlayıcıları
STANAG 4479 (1993), – LPC-10 tabanlı model
“ Parameters and coding characteristics that must be common to assure interoperability of 800 bps digital speech encoder/decoder”
Ses kodlayıcı, parametrik (Vocoder)Frekans atlamalı HF telsizler için tasarlanmıştır
+ oldukça düşük hız ve dar bant (800 bps)- düşük ses kalitesi- kanaldaki bozulmalara karşı direnci düşük- ortam gürültülerine karşı ses kalitesini
koruyamamakta
18.12.2003 H. Palaz, TÜBİTAK UEKAE 32
NATO Ses Kodlayıcıları
OrjinalKonuşma
ST 4209CVSD
ST 4198LPC10e
clean
Modern FS1016 CELP
jet10
jet5heli10
heli5hmmwv10
hmmwv5
18.12.2003 H. Palaz, TÜBİTAK UEKAE 33
Ses Kodlamadaki Gelişmeler
Ses kodlama teknolojisi sürekli olarak gelişmektedir
Sinyal işleme camiasında önemli bir çalışma alanı
Algoritmalar daha karmaşık hale gelmektedir
Daha güçlü DSP’ler geliştirilmekte
Donanımlar gerçek zamanda oldukça karmaşık işlemleri yapabilir haldedir
Ticari mobil telefon pazarı
dar band
Kablosuz kanallar (wireless channels)
Bu yüzden dar bant ses kodlama büyük ticari ilgi vardır.
Yeni ses kodlayıcılar NATO’nunkilerden daha yüksek performanslıdır
CELP, RPE-LPC, GSM ‘half-rate’ ses kodlayıcılar ve v.b.
18.12.2003 H. Palaz, TÜBİTAK UEKAE 34
Ses Kodlamadaki Gelişmeler
Yeni nesil ses kodlama algoritmaları
Servis kalitesinde (QoS) NATO algoritmalarını geçmektedir
Arka plan gürültüsü olan ortamlarda, konuşmacının tanınmasında ve ana dilinde konuşmayan konuşmacının anlaşılabilirliğinde daha iyi performans vermektedir
Stratejik-taktik şebekelerde ve aralarında uçtan-uça emniyetli kesintisiz (seamless) ses muhabere imkanı tanımaktadır.
18.12.2003 H. Palaz, TÜBİTAK UEKAE 35
Ses Kodlamadaki Gelişmeler
Askeri kullanıcılar ses kodlamadaki son gelişmelerin gerisinde kalmıştı ve bu teknolojilerden faydalanamıyordu
Birden fazla ses kodlama tekniğinin kullanılması, transcodingCVSD – stratejik, taktikLPC - stratejik, taktikKalite kaybıGüvenlik zaafiyeti, kırmızı gateway
NATO ses kodlayıcılarının taktik ortamlardaki akustik gürültülerdeki ses kaliteleri kabul edilebilir seviyede değildi.
Tracked vehicles, TankHelicopters, Fighter AircraftBattleshipCommunication Center, Office and etc.
18.12.2003 H. Palaz, TÜBİTAK UEKAE 36
Ses Kodlayıcı Teknolojisinde Yönelim
HedefYüksek performans, Düşük hız, değişken hızda çalışabilme Arka plan ve kanal gürültülerine dayanıklıAMR GSM, CDMA-2000, ITU 4kbps
Yeni haberleşme sistemleri için 4 kbps civarında yüksek kaliteli (toll quality) (ITU)
18.12.2003 H. Palaz, TÜBİTAK UEKAE 37
Ses Kodlayıcı Teknolojisinde Yönelim
G729 (8 Kbps)
G723.1 (6.4 Kbps)
G723.1 (5.3 Kbps)
SBLPC (4 Kbps)
SBLPC (2.4 Kbps)
SBLPC (1.2 Kbps)
Female Male
18.12.2003 H. Palaz, TÜBİTAK UEKAE 38
Ses Kodlayıcı Teknolojisinde Yönelim
Askeri uygulamalar da 600, 2400 - 4000 bps Özellikle HF uygulamaları için 600 bps(Harris)
Sessiz 2.4kbps 600bps
Hmmwv 2.4kbps 600bps
TÜBİTAK UEKAEULUSAL ELEKTRONİK ve KRİPTOLOJİ ARAŞTIRMA ENSTİTÜSÜTÜBİTAK UEKAEULUSAL ELEKTRONİK ve KRİPTOLOJİ ARAŞTIRMA ENSTİTÜSÜ
İkinci BölümYeni NATO Ses Kodlama Seçimi
(NATO STANAG 4591)
Dr. Hasan Palaz
Tel: 0 262 648 1369e-Posta: [email protected]
Aralık 2003
18.12.2003 H. Palaz, TÜBİTAK UEKAE 40
Sunuş Planı
NATO Yarışmasının amacı
Çalışma Grubu
Yarışma Koşulları
Aday ses kodlayıcıların teknik gerekleri
Yarışma Organizasyonu
NATO Yarışmasının Fazları ve Testler (I, II, III)
Yarışma Adayları
Test Sonuçları
STANAG 4591 seçimi
Kazanılan deneyimler ve özel sonuçlar
Sonuçlar ve diğer bilgiler
18.12.2003 H. Palaz, TÜBİTAK UEKAE 41
Seçimin Amacı
NATO’nun 2000’li yıllarda kullanacağı Taktik (TACOM POST-2000), Stratejik ve uydu şebekelerinde kesintisiz kriptolu ses muhaberesini servis kalitesini arttırarak sağlayacak Ses Kodlama Standartının (STANAG) oluşturulması.
Birincil Ses Kodlayıcı 2.4 kbpsİkincil Ses Kodlayıcı 1.2 kbpsGürültü Giderici
18.12.2003 H. Palaz, TÜBİTAK UEKAE 42
Çalışma Grubu
NATO AdHoc Working Group on Narrowband Voice Coding
AC322 SC6 AHWG3
Katılımcı Ülkeler
Türkiye Amerika Almanya
Fransa İngiltere Kanada
Belçika Hollanda NATO Ajanslıkları
Polonya Macaristan
18.12.2003 H. Palaz, TÜBİTAK UEKAE 43
Yarışma Koşulları
NATO üyesi ülkeler aday sunabilmekte
Aday sunan ülke adayının test masraflarını karşılayacak.
NATO Referans kodlayıcıların test ve ana lab.’ın (NC3A) teçhizat/personelini karşılayacak.
AHWG-NBVC tarafından tanımlanmış testler adaylara uygulanacaktır.
Bu testler tanımlanırken öncelikle taktik, daha sonra stratejik kullanıcıların servis kalitesinin arttırılması göz önüne alınmaktadır.
Seçilecek ses kodlama algoritmasının NATO kullanımında lisans ödemesi olmayacaktır.
Toplam sistem maliyeti önemli bir kriterdir.
18.12.2003 H. Palaz, TÜBİTAK UEKAE 44
Yeni STANAG Teknik Gerekleri
Birincil hız 2400 bps, ikincil hız 1200 bpsBazı askeri muhabere senaryoları için 2.4 kpbs hızı oldukça yüksektir; örneğin HF radio, UHF satcom gibi.
Her iki hız tek kor ses kodlama teknolojisini kullanacaktır.Her iki hız için maksimum gecikme 250 ms’den küçük olacaktır.
Seçilecek ses kodlama algoritması kullanılan ve ileride kullanılması planlanan kripto sistemleri ile uyumlu olacaktır. Syn bit kullanımı.
Stratejik ve taktik uygulamalarda Servis Kalitesinin arttırılması: Ses kalitesi, Anlaşılabilirlik, Ortam ve kanal bozulmalarına karşı gürbüzlük,Haberleşebilirlik,Tandem hassasiyeti,Konuşmacının tanınabilirliği, veDil bağımlılığı.
18.12.2003 H. Palaz, TÜBİTAK UEKAE 45
Yarışma Organizasyonu
Yarışma test planın hazırlanmasından AHWG-NBVC sorumlu
Test lab.ları
TNO, NL, Hollanda
CELAR, FR, Fransa
ARCON, US, Amerika
NC3A, yarışmanın bağımsız ana laboratuarı
NC3A, milli laboratuarlara test malzemelerini hazırlayıp yollayacak ve sonuçları toplayacak.
Test sonuçların puanlamasını, yorumunu ve yarışma sonucunu AHWG-NBVC belirleyecek.
Hedeflenen STANAG, AHWG-NBVC tarafından hazırlanacak.
18.12.2003 H. Palaz, TÜBİTAK UEKAE 46
Aday Ses Kodlayıcılar
NATO, aday ülkelerin ses kodlayıcı adaylarını sunmalarını istemiştirÜç ülke aday sunmuştur
ABDMELP (Mixed Excitation Linear PredictionFransaHSX (Harmonic Stochastic eXcitation)TürkiyeSB-LPC (Split-Band Linear Predictive Coding)
1.2 + 2.4 bps + gürültü giderici
18.12.2003 H. Palaz, TÜBİTAK UEKAE 47
3 Fazlı Test ve Seçim
Faz 1Sınırlı testSonuçlar geçerleme için kullanılacakSeçimde bir etkisi yok.
Faz 2Detaylı testlerBir çok farklı gürültülü ortamFarklı kalite bileşenlerinin testiSonuçlar ile seçim yapılacak
Faz 3Gerçek zamanlı haberleşebilirlik testleriFaz 2’deki sonuçların geçerlenmesi
18.12.2003 H. Palaz, TÜBİTAK UEKAE 48
Seçim- 1. Faz
Zayıf Adayların ElenmesiKayan Noktalı Algoritmalar (Floating-Point)Referans Kodlayıcılar
LPC10E STANAG 4198, 2.4 kbpsCVSD, 16 kbps, CELP, 4.8 kbps
Performans Testleri Anlaşılabilirlik (Speech Intelligibility)(US,FR,NL)Ses Kalitesi (Speech Quality)(US,NL)
KoşullarSessiz Oda, 6, 12 dB SNR ve Modern Ofis
NC3A, 5488 Mb büyüklüğünde 5848 ses dosyasını işlemiştir
18.12.2003 H. Palaz, TÜBİTAK UEKAE 49
Seçim- 1. Faz Test Ağırlıkları
ANLAŞILABİLİRLİK SES KALİTESİ
Toplamda Ağırlığı %55 %45
Sessiz Ortam %50 %50Gürültülü Ortamlar %50 %50+12dB SNR %15 %15+6dB SNR %15 %15Modern Ofis %20 %20
18.12.2003 H. Palaz, TÜBİTAK UEKAE 50
DokuzSesDosyaçıktılarıTest için test lab.larınagönderilir
CELP
FR1200
FR2400
CVSD
LPC10e
TU1200
TU2400
US1200
US2400
CELP
FR1200
FR2400
CVSD
LPC10e
TU1200
TU2400
US1200
US2400
BİT
DİZİSİ
CELP
FR1200
FR2400
CVSD
LPC10e
TU1200
TU2400
US1200
US2400
CELP
FR1200
FR2400
CVSD
LPC10e
TU1200
TU2400
US1200
US2400
123456789
OrijinalSesdosyaları8kHz örnekleme, 16 bit
NC3A’de Yapılan İşlemler
ANALİZ SENTEZ
18.12.2003 H. Palaz, TÜBİTAK UEKAE 51
Çift Karıştırma
Dokuz ses çıktı dosyası
Ses Dosyaları
BLIND
İlk Karıştırma
BLIND
İkinci Karıştırma
LPC10eLPC10e Coder1 Vocoder1
CVSD Coder2 Vocoder2
CELP Coder3 Vocoder3Test
FR1200
FR2400
TU1200
TU2400
US1200
US2400
lab.Coder4 Vocoder4
Coder5 Vocoder5
Coder6 Vocoder6
Coder7Coder7 Vocoder7
Coder8 Vocoder8
Vocoder9Vocoder9Coder9
NC3A DSTL
18.12.2003 H. Palaz, TÜBİTAK UEKAE 52
Modulated Noise Reference Unit•MNRU bilinen seviyede gürültü uygulanan bir standarttır.Dinleyiciler bilinen MNRU referansları ile kodlayıcı çıktılarını karşılaştırabilirler.
17MNRU 15dBMNRU 20dBMNRU 25dB
MNRU 10dBMNRU 5db
MNRU 30dBMNRU 35dBMNRU 40dB
MNRU 15dBMNRU 20dBMNRU 25dB
MNRU 10dBMNRU 5db
MNRU 30dBMNRU 35dBMNRU 40dB
161514131211171017 Ses dosya çıktısı. MNRU dosyaları test lab.larda ses kalitesinin değerlendirilmesinde referans olarak kullanılacaktır.
CELPFR1200FR2400
CVSDLPC10e
TU1200TU2400US1200US2400
CELPFR1200FR2400
CVSDLPC10e
TU1200TU2400US1200US2400
BİT
DİZİSİ
DokuzSesDosyaÇıktıları
OrijinalSesdosyası
18.12.2003 H. Palaz, TÜBİTAK UEKAE 53
Seçim- 2. Faz
Seçimin Gövdesini Oluşturan FazSabit Noktalı Algoritmalar (Fixed-Point)Performans Testleri
Anlaşılabilirlik (Speech Intelligibility)(US,FR,NL)Ses Kalitesi (Speech Quality)(US,NL)
Konuşanın Tanınabilirliği (Speaker Recognizability)(US,NL)Dil Bağımlılığı (Language Dependency)(NL)
Koşullar (10 adet akustik ortam)Sessiz Oda
18.12.2003 H. Palaz, TÜBİTAK UEKAE 54
Seçim- 2. Faz
Modern Arazi Kumanda ŞelteriJeep - P4 ve HMMWV M2/M19Tank - LeclercSilahlı Personel Taşıyıcı -M2 BradleyHelikopter - UH60 Black HawkSavaş Uçağı - F16(F15), RafaleOtomobil - Volvo%1 Random bit errorCVSD Kodlayıcı ile Tandem BağlantıOfis ve 6, 12 dB SNR
18.12.2003 H. Palaz, TÜBİTAK UEKAE 55
Seçim- 2. Faz Test Ağırlıkları
ANLŞ SES KLT KNŞ. TNLĞ. DİL BAĞ.
Toplamda Ağırlığı %45 %35 %10 %10Sessiz Ortam %26 %40 %35 %100Gürültülü Ortamlar %54 %50 %65Rastgele bit Hataları %7 %5Tandem, CVSD %8 %5Fısıltılı Ses %5
18.12.2003 H. Palaz, TÜBİTAK UEKAE 56
2. Faz Gürültülü Ortam Test AğırlıklarıANLŞ SES KLT KNŞ TNLĞ
Toplamda Ağırlığı %54 %50 %65+12dB SNR %6 %7+6dB SNR %6 %5Modern Ofis %6 %10Arazi Kumanda Şelteri %6 %8HMMWV %3 %5 %65Fransız Jipi(P4) %3Fransız Tankı (Leclerc) %3M2A2 Bradley Vehicle %3Helikopter - Black Hawk %6Savaş Uçağı - F15 %3 %5Savaş Uçağı – Rafale %3Volvo-Komutan Aracı %6 %10
18.12.2003 H. Palaz, TÜBİTAK UEKAE 57
Seçim- 2. Faz Ek Testler
1% rasgele bit hatası
Kodlayıcı nGiriş ses dosyası
Çıkış ses dosyası
Sentez nBit dizisi
Test : 1% Bit hata oranı
CVSDKodlayıcı Sentez nKodlayıcı nCVSD
sentez
Audio
B
i t s
B i t
Çıkış ses dosyasıGiriş
ses dosyası
s
Test : Tandem Ses kodlayıcı
18.12.2003 H. Palaz, TÜBİTAK UEKAE 58
Seçim- 2. Faz Test Malzemeleri
3 test lab.x 9 adet kodlayıcı (+ 8 MNRU seviyesi)x ≤ 5 testx ≤ 12 gürültülü test durumu
x ≤ 88 her bir testdeki dosya sayısı
28,000 den fazla dosya13 GB dan fazla işlenmiş ses verisi≅ 200 saatlik ses verisi
Bu test sonuçları nasıl birleştirilecek?
18.12.2003 H. Palaz, TÜBİTAK UEKAE 59
Niçin Precision Weighted Ranking kullanıldı
Üç farklı lab. Tarafından yapılmış olan anlaşılabilirlik testleri arasındaki farklar
Genel yönelim aynı gibi....?Puanlar farklıdır
Bütün sonuçların doğru olarak birleştirilmesine ihtiyaç vardırBasit bir ölçekleme yeterli değildir.
Quiet
50.0
55.0
60.0
65.0
70.0
75.0
80.0
85.0
90.0
95.0
100.0
1 2 3 4 5 6 7 8 9
Arcon
CELAR
TNO
BlackHawk
0.0
10.0
20.0
30.0
40.0
50.0
60.0
70.0
80.0
90.0
1 2 3 4 5 6 7 8 9
Arcon
CELAR
TNO
US24 CELP FR24 CVSD TU24 US12 LPC TU12 FR12
US24 CELP FR24 CVSD TU24 US12 LPC TU12 FR12
18.12.2003 H. Palaz, TÜBİTAK UEKAE 60
Precision Weighted Ranking 1
Test sonuçları parçacıklara veya bin’lere bölünürTest hassasiyeti(resolution or 95% confidence interval) bin uzunluğudurKodlayıcının puanı, test sonucunun içinde bulunduğu bin değeridir
Score vs Interval
y = 0.0341x + 0.1949
0.18
0.22
0.26
0.20 0.40 0.60 0.80 1.00 1.20 1.40 1.60
cc
Bin 1 Bin 3 Bin 4 Bin 5 Bin 7
Confidence interval of test
Confidence interval of test
18.12.2003 H. Palaz, TÜBİTAK UEKAE 61
Score vs Interval
y = 0.0341x + 0.1949
0.18
0.22
0.26
0.20 0.40 0.60 0.80 1.00 1.20 1.40 1.60
cc
Precision Weighted Ranking 2
1 2 3 4 5 6 70.2238 0.4263 0.6357 0.8522 1.0762 1.3077 1.54720.4263 0.6357 0.8522 1.0762 1.3077 1.5472 1.7948
V7V8V6V9
V3V1
V4V5V2
Bin 1 Bin 3 Bin 4 Bin 5 Bin 7
Kodlayıcının puanı, test sonucunun içinde bulunduğu bin değeridirEn kötü kodlayıcının puanı her zaman 1’dir. Bu test örneğinde Vocoder 7 en düşük puandadırVocoder 4, 5 and 2’nın test sonuçları 7. Aralıkta olduğundan, puanları7’dirBütün bu test puanları ağırlık matrisine yerleştirilir.
Confidence interval of test
Confidence interval of test
Score = 1
Score = 7
18.12.2003 H. Palaz, TÜBİTAK UEKAE 62
Ağırlık MatrisiCoder Wgt.
Performance
Characteristic
Wgt.Test
Method Wgt.Type
Condition
Wgt.Conditio
n Wgt.Cond. by
Type
Cond. by Type by
Char.
Cond. by Type by Char. by
2.4 Coder
Cond. by Type by Char. by
1.2 Coder
2400bps 60% Intelligibility 41.8% DRT(US) NA Baseline 27.4% Quiet 100.0% 27.4% 11.44% 6.86% 4.58%1200bps 40% CVC(NL) NA TOTAL 100.0%
Inteltrans(FR NA coustic Nois 56.8% SNR(12) 11.1% 6.3% 2.64% 1.58% 1.06%SNR(6) 11.1% 6.3% 2.64% 1.58% 1.06%Office 11.1% 6.3% 2.64% 1.58% 1.06%MCE Field
Shelter11.1% 6.3% 2.64% 1.58% 1.06%
HMMMWV or P4
11.1% 6.3% 2.64% 1.58% 1.06%
M2A2 Bradley or
Leclerc11.1% 6.3% 2.64% 1.58% 1.06%
UH60 Black Hawk
11.1% 6.3% 2.64% 1.58% 1.06%
F15 or Mirage-
200011.1% 6.3% 2.64% 1.58% 1.06%
Volvo 11.1% 6.3% 2.64% 1.58% 1.06%TOTAL 100.0%
Transmission.
Channel7.4%
Random Bit Errors
(1%)100.0% 7.4% 3.08% 1.85% 1.23%
TOTAL 100.0%Tandem 8.4% VSD=>Cod 100.0% 8.4% 3.52% 2.11% 1.41%
TOTAL 100.0%TOTAL 100.0% CHECK 800.0% 100.0% 41.80% 25.08% 16.72%
Whispered Spe 2.2% SRT(NL) NA Special 100.0%Whispered Speech 100.0% 100.0% 2.20% 1.32% 0.88%
TOTAL 100.0%TOTAL 100.0% CHECK 200.0% 100.0% 2.20% 1.32% 0.88%
Quality 34.2% MOS(US) NA Baseline 42.1% Quiet 100.0% 42.1% 14.40% 8.64% 5.76%MOS(NL) NA TOTAL 100.0%
Acoustic Nois 52.6% SNR(12) 14.0% 7.4% 2.52% 1.51% 1.01%SNR(6) 10.0% 5.3% 1.80% 1.08% 0.72%Office 20.0% 10.5% 3.60% 2.16% 1.44%MCE Field
Shelter16.0% 8.4% 2.88% 1.73% 1.15%
HMMMWV
10.0% 5.3% 1.80% 1.08% 0.72%
F15 10.0% 5.3% 1.80% 1.08% 0.72%Volvo 20.0% 10.5% 3.60% 2.16% 1.44%
TOTAL 100.0%Tandem 5.3% VSD=>Cod 100.0% 5.3% 1.80% 1.08% 0.72%
TOTAL 100.0%TOTAL 100.0% CHECK 600.0% 100.0% 34.20% 20.52% 13.68%
Quality BER 1.8% MOS(NL) NATransmis
sion. Channel
100.0%Transmis
sion. Channel
100.0% 100.0% 1.80% 1.08% 0.72%
TOTAL 100.0%TOTAL 100.0% CHECK 200.0% 100.0% 1.80% 1.08% 0.72%
18.12.2003 H. Palaz, TÜBİTAK UEKAE 63
Faz 1 – Anlaşılabilirlik
ARCON Anlaşılabilirlik (DRT) Sonuçları
LPC
10
CV
SD
CE
LP
FR12
00
TU12
00
US
1200
FR24
00
TU24
00
US
2400
6 dB
Clear0.00
20.00
40.00
60.00
80.00
100.00
6 dB12 dBOfficeClear
18.12.2003 H. Palaz, TÜBİTAK UEKAE 64
Faz 1 – Ses Kalitesi
CELP
CVSD
LPC1
0
FR24
00
TU24
00
US24
00
FR12
00
TU12
00
US12
00
Babble 6dB
Office0.00
0.50
1.00
1.50
2.00
2.50
3.00
3.50
4.00
Babble 6dBBabble 12dBOfficeQuiet
ARCON Ses Kalite (MOS) Sonuçları
18.12.2003 H. Palaz, TÜBİTAK UEKAE 65
Faz 2 – Anlaşılabilirlik
Kodlayıcıların bütün gürültülü ortamlardaki anlaşılabilirlik (DRT) test sonuçları
Inte
lligi
bilit
y sc
ore
(%)
In
telli
gibi
lity
scor
e (%
)
ARCON DRT
55.0
60.0
65.0
70.0
75.0
80.0
85.0
90.0
95.0
1 2 3 4 5 6 7 8 9
Quiet
6dB Babble
12dB Babble
Tandem
BER
US24 CELP FR24 CVSD TU24 US12 LPC TU12 FR12
ARCON DRT
45.0
50.0
55.0
60.0
65.0
70.0
75.0
80.0
85.0
90.0
95.0
1 2 3 4 5 6 7 8 9
Office
MCE
HMMWV
Bradley
Black Haw k
F15
Auto
US24 CELP FR24 CVSD TU24 US12 LPC TU12 FR12
18.12.2003 H. Palaz, TÜBİTAK UEKAE 66
Faz 2 – Ses Kalitesi
MOS puanları1 (Bad) 2 (Poor)3 (Fair)4 (Good)5 (Excellent)
Kodlayıcıların bütün koşullardaki ses kalite (MOS test) sonuçları
Mea
n O
pini
on S
core
Mea
n O
pini
on S
core
ARCON MOS
1.0
1.5
2.0
2.5
3.0
3.5
4.0
1 2 3 4 5 6 7 8 9
Quiet
6dB Babble
12dB Babble
Tandem
ARCON MOS
1.0
1.5
2.0
2.5
3.0
3.5
4.0
1 2 3 4 5 6 7 8 9
Office
MCE
HMMWV
Bradley
Black Haw k
F15
Auto
US24 CELP FR24 CVSD TU24 US12 LPC TU12 FR12
US24 CELP FR24 CVSD TU24 US12 LPC TU12 FR12
18.12.2003 H. Palaz, TÜBİTAK UEKAE 67
Dil BağımlılığıLanguage Dependency
-1.6000
-1.4000
-1.2000
-1.0000
-0.8000
-0.6000
-0.4000
-0.2000
0.0000
0.2000
0.4000
0.6000
V1 V2 V3 V4 V5 V6 V7 V8 V9
TNO
US24 CELP FR24 CVSD TU24 US12 LPC TU12 FR12
Dil bağımlılığı test sonuçlarıX ekseninden uzaklaştıkça daha bağımlıTestin hassasiyeti çok düşük, dağılımlar birbiri üzerinde ve sonuçlarda bir ayırım söz konusu değil.Anlamlı bir test olmadığı görüldü.
18.12.2003 H. Palaz, TÜBİTAK UEKAE 68
Faz 1- Faz 2 GelişimMilli adayımız (SBLPC) faz-I testleri için teslim edilmeden önce detaylıtestlere tabi tutulamamıştır.Gerekli milli lab. yoktu.Faz 1’de alınan sonuçlar doğrultusunda 1,5 aylık yoğun çalışma yapılarak, görülen eksiklikler giderilmiştir.Faz 2’de sabit noktalı C olmasına rağmen daha yüksek dereceler alınmıştır.
Intelligibility
70.00
75.00
80.00
85.00
90.00
95.00
100.00
US2400 CELP FR2400 CVSD TU2400 US1200 LPC10 TU1200 FR1200
Coders
DR
T Sc
ore
Phase I QuietPII Quiet
Quality
1.00
1.20
1.40
1.60
1.80
2.00
2.20
2.40
US2400 CELP FR2400 CVSD TU2400 US1200 LPC10 TU1200 FR1200
Coders
DR
T Sc
ore
Phase I 6dB BabblePII 6dB Babble
18.12.2003 H. Palaz, TÜBİTAK UEKAE 69
Faz 2 EksiklerQuiet
2.00
2.50
3.00
3.50
4.00
4.50
1 2 3 4 5 6 7 8 9
Arcon
TNO
US24 CELP FR24 CVSD TU24 US12 LPC TU12 FR12
SB-LPC, özellikle TNO tarafından yapılan Hollandaca(Dutch) testlerinden düşük puan almıştır. Bu durumHollandaca yapılan bütün testlerde aynıdır. SBLPC’nin eğitiminde kullanılan ses veritabanının küçük olmasından kaynaklanmıştır.
18.12.2003 H. Palaz, TÜBİTAK UEKAE 70
Faz 2 Birleştirilmiş Sonuçlar
0123456789
10
18.12.2003 H. Palaz, TÜBİTAK UEKAE 71
Faz 2 Birleştirilmiş Sonuçlar
0123456789
•2400 ve 1200 bps sonuçları birleştirilerek, seçim yapılmıştır• 60% - 2400 bps• 40% - 1200 bps
18.12.2003 H. Palaz, TÜBİTAK UEKAE 72
Faz 2 SonuçDetaylı ve geniş testlerden sonra24 October 2001 Paris/FransaKodlayıcı C STANAG 4591 olarak seçildiKodlayıcı C = ABD Adayı, MELPe
1996 2.4kbps MELP ABD ulusal standartıNATO’da çalışmalar ABD liderliğinde 1997’de başladıTI, AT&T ve Microsoft (SignalCom) ortak çalışmaMELPe hazırlandı, 1.2kbps+2.4kbps+nppÇalışmalar JTRS projesinin altında desteklendiDüzenli ve sürekli çalışmanın başarısı
18.12.2003 H. Palaz, TÜBİTAK UEKAE 73
MELPe Ses Örnekleri
original NPP
clean
jet10
jet5
heli10
heli5
hmmwv10
hmmwv5
2.4kb/sMELP
DoD4.8CELP
18.12.2003 H. Palaz, TÜBİTAK UEKAE 74
Seçim- 3. Faz
II. Fazın en iyi iki adayı arasından seçim???Gerçek Muhabere Ortamında Testler YapılacakGerçek Zamanda Sabit Noktalı Gerçekleme ve Test Sistemine ArayüzPerformans Testleri
Haberleşme Verimliliği (Communicability)(CA)Anlaşılabilirlik (Speech Intelligibility)(US,FR,NL)Ses Kalitesi (Speech Quality)(US,NL)
KoşullarTaktik Sahadaki Temel Muhabere Senaryoları
18.12.2003 H. Palaz, TÜBİTAK UEKAE 75
Seçim- 3. Faz Test Senaryoları
1.2kbps 2.4kbps Ref. CoderHF Ortamı, Hmmwv-Mce 1 0 (STNG 4479)VHF Ortamı, Apc-BlackH. 0 1 (STNG 4198)Taktik Uydu Ortamı, F-16-Mce 1 1 (4198, 4479)UHF Ortamı, F16-E3A 0 1 (STNG 4198)Stratejik Uydu Ortamı 2 2 (4198, 4479)aircraft carrier--modern officeE3A--modern office
18.12.2003 H. Palaz, TÜBİTAK UEKAE 76
SC6 AHWG3 Güncel Çalışmaları
Faz 3 TestiFaz 2’yi kazanan MELPe’nin gerçek zaman gerçeklemesiHaberleşebilirlik testleri
Gerçek hayat muhabere senaryosu ve problemleriUçtan uca gecikme etkisi
STANAG 4591’in hazırlanıp SC6’ya sunulmasıSTANAG 4591’in tanıtımı ve uygulama alanlarının genişletilmesi
18.12.2003 H. Palaz, TÜBİTAK UEKAE 77
Sonuçlar
NATO seçiminde başarılı olarak ABD ve FR ile yarışılmıştır.İstenen sonucun alınamaması
Geriden takip etme, 1998’de çalışmaya başlamaTest lab. Altyapısının olmaması
Büyük haberleşme projelerinin altında ses kodlama ve işleme çalışmalarının desteklenmesi.
18.12.2003 H. Palaz, TÜBİTAK UEKAE 78
Kazanılan deneyimler ve özel sonuçlar
Teknik olarak güçlü olunca......Dışlanma girişimi, koordinasyon, destek
Mücadele etmek.....Aktif mücadele, kuralları iyi bilme ve kullanma
NATO imkanlarının iyi kullanılmasıBilgi paylaşımı, potansiyel Pazar, ekonomik çıkar
Mutlaka Uluslar arası pazara açılmalıyızÖzgün teknoloji, modern pazarlama, ihtiyaçların modern tekniklerle belirlenmesi
18.12.2003 H. Palaz, TÜBİTAK UEKAE 79
Detaylı BilgiSTANAG 4591 test and selection processNATO ses kodlama yarışması (ARGE 99-1) projesi bitiş raporu, TÜBİTAK-UEKAE, SSM’ye sunuldu, 25/04/2002.
NATO Voice Coding Workshop, FEL-TNO, The Hague, 18 October 2002.
Introduction to military voice coding, NATO C3 Agency Technical Presentation-005.
Introduction to military voice coding, NATO C3 Agency Technical Presentation-001.
“Future NATO narrow band voice coder selection: Stanag 4591 (phase 1)”, NC3A Technical Note 881, The Hague, December 2001
“Future NATO narrow band voice coder selection: Stanag 4591 (phase 2)”, NC3A Technical Note 912, The Hague, February 2002
Street MD and Collura JS, “Interoperable Voice Communications: test and selection of STANAG 4591”, RTA IST Symposium -NATO Research and Technology Agency (Information Systems and Technology panel) Tactical Military Communications symposium, Warsaw, October 2001Street MD and Collura JS, “The test and selection of the future NATO narrow band voice coder”, RCMCIS - NATO Regional Conference on Military CIS, Warsaw, Zegrze, October 2001.
Street MD, “Host laboratory role in the selection of the future NATO narrow band voice coder”, Speech Processing Workshop, Japan, October 2002.
http://nc3a.info/Voicehttp://S4591.nc3a.nato.int/http://www.iee.org/OnComms/pn/communications/library.cfm#VoiceCoders
18.12.2003 H. Palaz, TÜBİTAK UEKAE 80
Teşekkürler
NATO Yarışma Projesinin PaydaşlarıGen.Kur. MEBS Başkanlığı,MSB-SSM ARGE şubesi,TÜBİTAK-UEKAE,Surrey Unv.-CCSR Araştırma Merkezi,NATO Türk Askeri Temsilciliği ve Dışişleri DelegasyonuProje Ekibi.
18.12.2003 H. Palaz, TÜBİTAK UEKAE 81
Sorular