[es] - Evo moje kompresije

milanche
San Francisco

Član broj: 2447
Poruke: 1200
*.3.133.130.ptr.us.xo.net.

+1001 Profil

^{18.10.2004. u 21:50 - pre 238 meseci}

Citat:

Bas cu da pretrazim... ali prva stvar koja mi je cudna - aritmeticka kompresija nema puno veze sa transformacionom funkcijom - to moze biti DST/DCT/FFT/MDCT/... bilo sta (cak i bez.. kao recimo Markov codec) i posle kvantizacije u integere se primenjuje entropijsko kodiranje.

Ne hvataj me za rec, jer kompresije nisu moj striktni fokus. Poznajem ih dovoljno (i
radio sa MPEG-2 dosta vremena) toliko da me nije sramota, ali ih ne pratim sa
disciplinom i fokusom sa kojim ih ti pratis. Dakle - sto nadjes i prijavis, to je verovatno
to.

Citat:

Sto se aritmetickog kodiranja tice... ono jeste efikasnije u nekim slucajevima od recimo fiksiranih huffman tabela - ali postoje i aplikacije gde je jednostavno neprimenjivo zbog drugih stvari i zahteva industrije - recimo MP3 i AAC ne koriste aritmeticko kodiranje vec huffman tabele jer je zahtev da postoji moguci "break-in" u sred bitstreama (recimo seek, ili upad u stream session) i da to moze da se dekodira. Zamisli streaming bez toga :)

Ne protivrecim ti, nego pitam:
Zar random access nije regulisan podelom stream-a na segmente (tipa sequence,GOP,
frame, slice, MB, audio frame) koji imaju fiksne, lako prepoznatljive syncwords ? Zar
nije random access dovoljno granularan ako u stream-u uvek mozes da upadnes gde
hoces, i da posle nekoliko (desetina) odbacenih bajtova naidjes na nesto poznato ?
Na kraju krajeva, sta ces sa prepoznatom granulom u MP-3 fajlu, pre koje nisi dobio
header pa ne znas ni sampling rate ni broj kanala ? Ili sa MPEG macroblokom za koji
nisi dobio kvantizacionu matricu ?

Na kraju, zar nije moguce primeniti 'un-sync-ing' na alfabet komprimovanih signala pa
da sve bude na mestu ?

Citat:

Oko MPEG-a... posto sam vrlo cesto clan nemacke nacionalne delegacije na MPEG sastancima, mogu da prokomentarisem par stvari koje verovatno znas, a koje mogu biti korisne:

- MPEG nije jedan standard, vec veoma veliki broj standarda (nekoliko za audio i video kao i mnogi novi standardi za efikasno identifikovanje podataka - MPEG-7 i njihovu deklaraciju i opis - MPEG-21)

- Sam MPEG komitet (ISO SC29/WG11) redovno skenira stanje nauke (state of the art) kao i zahteve industrije (industry requirements) i ako postoji nesto jako novo, ili zahtev za necim novim, uradi se Call For Proposals (CFP - poziv za predloge) i svaki novi izum moze lako da se nadje unutra ako ...

- Novi izum mora da zadovolji zahteve za odredjenim performansama i kvalitetom - i mora da bude dostupan pod fer i nediskriminisujucim uslovima, tako da ne znam zasto pomenuti Pulsent nije uspeo - mogli su lako da postanu deo patent pool-a ako je to njihovo, bice da je bilo nekih drugih problema - no pogledacu istorijat, zaista ne znam o cemu se radi za sad... propustio sam tu epizodu :)

- Sami MPEG standardi nisu uvek najpopularniji - recimo u USA u audio svetu se u njihovim standardima (A52 - digitalni TV, recimo) forsiraju USA-only tehnologije, na primer Dolby-AC3. Za video MPEG-2 u DVD-u jednostavno nije imao alternativu, da je imao Holivud bi svakako progurao nesto iz USA - kao sto je sad uredjeno sa Microsoft VC-9 (sada SMPTE VC-1) koji je u Windows Media kodecima

- Trenutni novi MPEG standardi (AVC za video i HE-AAC v2 za audio) su daleko ispred DVD MPEG-2 (verovatno i 60% manji fajlovi istog kvaliteta) ili MP3 (2-4 puta manji fajlovi sa slicnim kvalitetom) kao i JPEG-2000 (jedini uspesni komercijalni wavelet kodk) - znaci da se u poslednjih 5 godina uradilo dosta na polju standardizacije novih kompresionih tehnologija i da su izumi iz 90-tih i prve polovine 21-vog veka vec usli u MPEG standarde.

Tako da ako neko zeli da bude state-of-the-art, nek zaboravi JPEG - novi benchmarci su JPEG2000, MPEG-4 AVC video (H.264) kao i HE-AAC v2 audio... jedini konkurenti su u video polju Real Video 10 i Windows Media 9... audio codec iz MPEG-a (HE-AAC v2) danas nema nikakvu konkurenciju u kvalitetu, a za JPEG-2000 nisam toliko upucen u konkurenciju ali znam da je vrlo kvalitetan - i da je znacajno bolji u odnosu na JPEG.

Cini mi se da sam te jednom pitao da li ima smisla da otvorimo diskusiju "Signal Processing i Kompresije". Ja jos uvek mislim da ima i to vrlo.

Citat:

Ali postoji nacin da ta ideja postane deo novog MPEG standarda.. kao sto su mnoge postale deo AVC-a (CABAC, partitioning, multiple reference frames, bolje predikcije....) ili audio kodiranja (spectral band replication, parametric stereo i uskoro spatial audio coding)

Takodje postoje i politicki motivi - kineski EVD npr, bilo gde gde je neophodno izbeci odliv novca u USA :) Te istocne zemlje obicno uvek guraju nesto svoje tamo interno, kao sto i USA radi kod sebe (Dolby AC-3, Windows Media, ....)

Postoje nacini, ali ko ce celu stvar da gura ako originalni tvorac goes out of business ?
Drugo, cesto puta se standard prvo zaprimi u konzorcijumu kompanija koje ga usvoje
kao razvojnu strategiju, razrade se modeli, sve se verifikuje, a tek potom se sve
predaje komitetima i patentnim zavodima. Ne znam u kojoj je meri to moguce u domenu MPEG-a, ali moze da bude objasnjenje zasto nesto postoji u praksi a jos ga
nema u patentima.

Citat:

Ali naucno ribanje je uvek dobro :)

Jeste uvek dobro, samo sto bi trebalo da se izvede maaaalko blaze. Ovako, iako ce
i on i mi proci kroz nesto korisno, kod nekog ce se javiti zla krv, a to nije to sto smo
originalno hteli.
Sto rekose samuraji: najbolje upotrebljen mac je onaj koji uopste nije vadjen
iz korica.

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.dip.t-dialin.net.

+7177 Profil

Re: Evo moje kompresije

^{18.10.2004. u 23:41 - pre 238 meseci}

Citat:

Ma ne hvatam te za rec - samo sam glasno razmisljao... :) nadam se da ne shvatas moj post kao neku ostru raspravu, jer mi to zaista nije namera, naprotiv mislim da je to sto si napisao prilicno tacno, osim sto neki detalji nisu bili 100% jasni jer je u pitanju istorija a i nesto cime se ti ne bavis aktivno...

Na kraju smo pronasli sta je - pise u predlogu za (tadasnji) H.26L - to je efikasan etnropijski koder (sto su oni razvilI) , mislim da bi u principu mogao da se primeni u bilo kom video transformacionom codecu.

Steta sto su propali ako je ono sto su pisali u svom izvestaju tacno.

Citat:

Ne protivrecim ti, nego pitam:
Zar random access nije regulisan podelom stream-a na segmente (tipa sequence,GOP,
frame, slice, MB, audio frame) koji imaju fiksne, lako prepoznatljive syncwords ?

Jeste - ali ponekad je razmak izmedju syncwordova (frejm) previse mali da bi opravdao aritmeticku kompresiju jer bi postojalo dodatno opterecenje u kompleksnosti a i na kratkim sekvencama AC moze biti i losiji.

Ovo je vrlo tacno za audio - dok su u videu sekvence mnogo duze i AC je obicno bolji uvek a resetujes sekvencu na kraju frejma i sl...

Citat:

Zar
nije random access dovoljno granularan ako u stream-u uvek mozes da upadnes gde
hoces, i da posle nekoliko (desetina) odbacenih bajtova naidjes na nesto poznato

Pa ne mozes, recimo, ako imas dinamicke huffman "knjige" - jer bi ili negde morao da resetujes sekvencu i da prenosis knjige... Aritmeticko kodiranje je kao sto rekoh OK, sve dok je velicina sekvence dovoljna - u video codingu je to u vecini slucajeva OK - jer koristi predikciju i ovako i onako, frejmovi su veliki... a za audio coding to recimo i nije dobro resenje kao sto vec rekoh.

Citat:

Na kraju krajeva, sta ces sa prepoznatom granulom u MP-3 fajlu, pre koje nisi dobio
header pa ne znas ni sampling rate ni broj kanala ?

Pa u slucaju fixne huffman tabele ti gubis samo jedan frejm koji je ostecen... u slucaju dinamicke huffman tabele, ako nisi dobio kodnu knjigu (tj. ne znas je) ti gubis ceo fajl (ili do sledeceg reseta sekvence gde mozes da preneses tabele).. a u slucaju aritmetickog kodiranja sekvenca jednog tipicnog audio frejma nije dovoljno dugacka da opravda povecanu kompleksnost, a nekad moze biti i gora statisticki - dakle morao bi da pruzis sekvencu kroz dosta audio frejmova, a tada gubis "break-in" sposobnost jer moras da cekas na sledeci reset sekvence, a ako to jos nije unapred poznato (recimo zavisi od entropije signala)... onda.. imas problem (fajl ce mozda zaista biti najmanji, ali nece biti "seekable").

Poenta moje price je u stvari bila "right tool for the right job" - iliti iako je nesto mozda algoritamski efikasnije, ne mora biti uvek pravo resenje :)

Citat:

Na kraju, zar nije moguce primeniti 'un-sync-ing' na alfabet komprimovanih signala pa
da sve bude na mestu ?

Nisam bas siguran sta mislis pod "un sync ing" - mozes li da pojasnis?

Citat:

Cini mi se da sam te jednom pitao da li ima smisla da otvorimo diskusiju "Signal Processing i Kompresije". Ja jos uvek mislim da ima i to vrlo.

Mislim da ima, ali bi broj ucesnika bio relativno mali.. mada ako moze "Art of Programming" moglo bi i ovo.

Citat:

Postoje nacini, ali ko ce celu stvar da gura ako originalni tvorac goes out of business ?

Verovatno niko - to je "loophole" u kapitalizmu, na zalost... eventualno neki univerzitet ako ima neki drugi interes u celoj prici... ili pronalazac licno, posto patent mora imati pronalazaca - ne moze da ga podnese firma sama.

Jako dobro pitanje, btw!

Citat:

Drugo, cesto puta se standard prvo zaprimi u konzorcijumu kompanija koje ga usvoje kao razvojnu strategiju, razrade se modeli, sve se verifikuje, a tek potom se sve predaje komitetima i patentnim zavodima. Ne znam u kojoj je meri to moguce u domenu MPEG-a, ali moze da bude objasnjenje zasto nesto postoji u praksi a jos ga
nema u patentima.

U pravu si, "standardizacija" pre standardizacije se cesto desava - recimo MP3 je bio ASPEC (projekat AT&T-a i FhG-a) koji je kasnije tokom standardizacije "obogacen" (citaj: obogaljen) izvoljevanjem nekih drugih clanova (da ih ne imenujem... :) Ali i to je deo standardizacije - politika :)

Inace - oko patenata, u svakom slucaju patent mora da se podnese pre nego sto se neki izum uopste pomene javno u nekom dokumentu (a standardni dokumenti su uvek javni) - inace automatski postaje prior art -- tako da ako nesto postoji u praksi, i mi znamo za to... to je sigurno u procesu dobijanja patenta (cuveni "patent pending") :)

Citat:

Slazem se - ali "breaking point" je bio onaj kada se Marko duplo registrovao i krenuo sa detinjastim ponasanjem... Ok, decko je jos neformirana licnost, svi mi smo imali te bubice i stav... i to je skroz OK... ali takodje deo ucenja je da na akciju uvek ide i odgovarajuca reakcija, slazem se da ce to biti korisno za sve nas.

_{[Ovu poruku je menjao Ivan Dimkovic dana 19.10.2004. u 00:45 GMT+1]}

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

milanche
San Francisco

Član broj: 2447
Poruke: 1200
*.3.133.130.ptr.us.xo.net.

+1001 Profil

Re: Evo moje kompresije

^{18.10.2004. u 23:43 - pre 238 meseci}

Citat:

Ivan Dimkovic: Hmm.. pretraga po "Pulsentu" daje samo gomilu press-release-ova i marketinskih izjava, i vest o tome da su imali privatni demo na nekom NAB-u...

To je odprilike to. Postojali su cetiri godine, nikad nisu imali zvanican demo. Iz
privatnih izvora (znam coveka koji je radio za njih, PhD UC Davis, danas je
video algorithms manager u jednoj drugoj firmi, a nije bio jedini tamo, niti je bio
glavni), znam da im algoritam nije bio los, osim sto ga je prakticno bilo jezivo tesko implementirati u real-time-u na konkretnim procesorima.

Citat:

Imaju patentne aplikacije (koje se jos razmatraju)

http://l2.espacenet.com/espace...76231&ID=US2004076231A1+I+
http://l2.espacenet.com/espace...amp;CY=gb&LG=en&DB=EPD

i sl... koliko vidim njihovi izumi su efikasna segmentacija scena i na osnovu te informacije bolje kodiranje pokreta - ostalo je manje vise standardni video codec koliko se vidi iz aplikacije za patent... pa ne znam, ako je ta segmentacija toliko dobra kao sto tvrde, mogli su svakako da je proguraju u neke standarde.

Vazili su uvek za 'very secretive company'.

Citat:

Inace.. bez nezavisnog testa nisam bas sklon da verujem tvrdnjama koje poticu iz samo jednog izvora... tako da bez javne demonstracije ne mogu da ih shvatim mnogo ozbiljno. Mozda je istina a mozda je samo venture capital con 101 - bez otvorene provere necemo nikad znati:)

Nisu bili salabajzeri, to je sigurno. Nesto su imali, ali mi se cini da su se ponasali vise
kao egzoticni scientific institut bez realne obaveze da izadju na market sa necim
opipljivim (sto nije samo njihova boljka).

Citat:

A sto se "CompressionScience" firme tice, ovo mi deluje daleko ozbiljnije - koliko vidim oni su predlozili njihov izum:

http://ftp3.itu.int/av-arch/video-site/0201_Gen/JVT-B105.doc za usvajanje u tadasnji H.26L - a danas MPEG-4 AVC / H.264 codec... dakle, kao sto rekoh gore - nije problem da se to integrise...

Pogledacu zasto nije proslo.

Vidi, pa javi da sklopimo kockice u celinu. Poznajem sa raznih strana gotovo sve
kljucne ljude iz te firme, mislim da su bili tim snova, i imali su i odlicnog CEO-a koji je
mogao mnogo toga. Imali su i demo, i mislim da ih nije ubilo nista drugo nego zla
vremena i gladna godina (2002).

milanche
San Francisco

Član broj: 2447
Poruke: 1200
*.3.133.130.ptr.us.xo.net.

+1001 Profil

Re: Evo moje kompresije

^{18.10.2004. u 23:54 - pre 238 meseci}

Unsync-ing:

Simbol iz alfabeta kodnih reci koji je identican nekom od syncword-ova ili ga sadrzi se
modifikuje umetanjem jednog bita koji razbija slicnost. Na taj nacin se sprecava da se
syncword srece bilo gde unutar payload-a.

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.dip.t-dialin.net.

+7177 Profil

Re: Evo moje kompresije

^{18.10.2004. u 23:56 - pre 238 meseci}

Citat:

Pa pokupili su fine pare koliko vidim za nekog bez realne obaveze :)

Citat:

Vidi, pa javi da sklopimo kockice u celinu. Poznajem sa raznih strana gotovo sve
kljucne ljude iz te firme, mislim da su bili tim snova, i imali su i odlicnog CEO-a koji je
mogao mnogo toga.

Hocu, pogledacu - ali problem je sto ja nemam iskustva sa ITU VCEG grupom i nacinom njihovog rada - nekako sam iskopao onaj dokument, i vidim da je taj FTP reflektor svih dokumenata po datumima / sastancima...

E sad, ne znam da li postoji glasanje i da li su ti predlozi kasnije analizirani - a neki search dokumenata bi vrlo pomogao... kopanje po arhivi dokument po dokument moze i da potraje :)

Citat:

Imali su i demo, i mislim da ih nije ubilo nista drugo nego zla
vremena i gladna godina (2002).

Steta :( Inace vrlo su mi poznata ta vremena usled jednog mog propalog posla sa povecom firmicom (GI a sada Motorola) - ne ponovilo se :(

Citat:

Aha - hvala, sad je jasno, ali nije to problem vec je problem sto bi aritmeticka "granula" da je tako nazovem bila previse dugacka za, recimo, audio coding - da bi bila isplativa (performanse) a onda bi vec pravila druge probleme (segmentacije)