Ang kahulugan ng video coding
Malaking lugar ng imbakan para sa orihinal na data ng video, ang isang 1080P 7 s na video ay nangangailangan ng 817 MB
Ang orihinal na paghahatid ng data ng video ay sumasakop sa isang malaking bandwidth, at tumatagal ng 11 minuto upang maipadala ang nasa itaas na 7 s na video na may bandwidth na 10 Mbps
Matapos ang pag-encode at pag-compress ng H.264, ang laki ng video ay 708 k lamang, at ang 10 Mbps bandwidth ay nangangailangan lamang ng 500 ms, na maaaring matugunan ang mga pangangailangan ng real-time na paghahatid. Samakatuwid, ang orihinal na nakolektang video mula sa sensor ng pagkuha ng video ay dapat na naka-encode ng video.
Saligan
Kaya bakit ang isang malaking orihinal na video ay mai-encode sa isang napakaliit na video? Ano ang teknolohiya dito? Bago pag-usapan ang tungkol sa teknolohiya, dapat muna nating maitaguyod ang konsepto ng video na tuloy-tuloy na mga larawan.
Ang pangunahing ideya ay alisin ang kalabisan ng impormasyon:
Spatial kalabisan: mayroong isang malakas na ugnayan sa pagitan ng mga katabing pixel ng isang larawan
Pansamantalang kalabisan: katulad na nilalaman sa pagitan ng mga katabing larawan sa isang pagkakasunud-sunod ng video
Pag-redundancy ng pag-coding: iba't ibang mga posibilidad ng pixel ay may iba't ibang mga posibilidad
Visual kalabisan: ang sistema ng paningin ng tao ay hindi sensitibo sa ilang mga detalye
Kalabisan sa kaalaman: ang istraktura ng regularidad ay maaaring makuha mula sa naunang kaalaman at kaalaman sa background
Mahalaga ang video sa isang serye ng mga larawan na patuloy na pinatutugtog at mabilis, kaya ang pinakamadaling paraan upang i-compress ang isang video ay upang i-compress ang bawat frame ng mga larawan. Halimbawa, ang mas matandang pag-encode ng MJPEG ay upang i-compress ang bawat frame ng mga larawan sa video. Ang pamamaraang pag-encode na ito Mayroon lamang intra-frame coding, na gumagamit ng spatial sample na hula sa code. Ang talinghaga ng imahe ay upang tratuhin ang bawat frame bilang isang larawan, at gamitin ang format na pag-encode ng JPEG upang i-compress ang larawan. Isinasaalang-alang lamang ng ganitong uri ng pag-encode ang compression ng labis na impormasyon sa isang larawan.
Gayunpaman, dahil sa oras ng ugnayan sa pagitan ng mga frame, ang ilang mga advanced encoder ay nabuo na maaaring gumamit ng inter-frame coding. Sa madaling salita, ang ilang mga lugar sa frame ay napili sa pamamagitan ng algorithm ng paghahanap, at pagkatapos ay kinakalkula ang kasalukuyang frame Ito ay isang form ng pag-encode na may pagkakaiba-iba ng vector sa pagitan ng mga frame ng sanggunian sa harap at likuran. Sa pamamagitan ng sumusunod na dalawang magkakasunod na mga frame sa Larawan 2, maaari naming makita na ang skier ay lumilipat pasulong, ngunit sa katunayan ang eksena ng niyebe ay lumilipat paatras, at ang frame ng P ay isinangguni ang Mga Frame (I o iba pang mga P na frame) ay maaaring naka-encode, ang laki pagkatapos ng pag-encode ay napakaliit, at ang compression ratio ay napakataas.
Link ng sanggunian tungkol sa ang kwadro http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Ang ilang mga mag-aaral ay maaaring interesado sa kung paano nagmula ang dalawang larawan na ito. Narito ang dalawang linya ng mga utos ng FFmpeg upang makamit. Para sa karagdagang detalye sa FFmpeg, mangyaring tingnan ang mga sumusunod na kabanata:
Ang unang linya ay bumubuo ng isang video na may isang gumagalaw na vector
Ang pangalawang linya ay naglalabas ng bawat frame bilang isang larawan
Gamitin ang utos
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Bilang karagdagan sa spatial redundancy at temporal redundancy compression, pangunahin ang compression ng encoding at visual compression. Ang sumusunod ay ang pangunahing tsart ng daloy ng isang encoder:
Ang Larawan 3 at Larawan 4 ay dalawang proseso. Ang Larawan 3 ay ang intra-frame coding, at ang Larawan 4 ay inter-frame coding. Ang pangunahing pagkakaiba na nakikita mula sa pigura ay ang unang hakbang ay naiiba. Sa katunayan, ang dalawang proseso na ito ay pinagsama din. Sa pangkalahatan, ang frame at P frame ay gumagamit ng intra-frame coding at inter-frame coding ayon sa pagkakabanggit.
Pagpili ng encoder
Inayos ko ang prinsipyo at pangunahing proseso ng encoder. Ang encoder ay nakaranas ng mga dekada ng pag-unlad. Nagbago ito mula sa pagsuporta lamang sa pag-encode ng intra-frame sa bagong henerasyon ng mga encoder na kinatawan ng H.265 at VP9 ngayon. Sa kasalukuyan, ang ilang mga karaniwang encoder ay nasusuri, at dadalhin ka namin upang galugarin ang mundo ng mga encoder.
H.264
pagpapakilala
Nilalayon ng proyekto ng H.264 / AVC na lumikha ng isang pamantayan sa video. Kung ihahambing sa dating pamantayan, maaari itong magbigay ng de-kalidad na video sa isang mas mababang bandwidth (sa madaling salita, kalahati lamang ng bandwidth ng MPEG-2, H.263 o MPEG-4 na Bahagi 2 o mas kaunti) nang hindi nagdaragdag ng labis na pagiging kumplikado sa disenyo na Gumagawa imposibleng makamit o ang gastos ng pagpapatupad ay masyadong mataas. Ang isa pang layunin ay upang magbigay ng sapat na kakayahang umangkop upang magamit sa iba't ibang mga application, network at system, kasama ang mataas at mababang bandwidth, mataas at mababang resolusyon ng video, pagsasahimpapawid, imbakan ng DVD, mga network ng RTP / IP, at system ng mga teleponong multimedia na ITU-T.
Naglalaman ang H.264 / AVC ng isang serye ng mga bagong tampok, ginagawa itong hindi lamang mas mahusay kaysa sa mga nakaraang codec, ngunit maaari ding magamit sa mga application sa iba't ibang mga kapaligiran sa network. Ginagawa ng pundasyong pang-teknikal na ito ang H.264 na maging pangunahing codec na ginamit ng mga online na kumpanya ng video kabilang ang YouTube, ngunit ang paggamit nito ay hindi isang napakadaling gawain. Sa teorya, ang paggamit ng H.264 ay nangangailangan ng maraming pera. Bayad sa patent.
Lisensya sa patent
Tulad ng una at ikalawang bahagi ng MPEG-2 at ang pangalawang bahagi ng MPEG-4, ang mga tagagawa ng produkto at service provider na gumagamit ng H.264 / AVC ay kailangang magbayad ng mga bayarin sa lisensya ng patent sa mga may hawak ng patent. Ang pangunahing mapagkukunan ng mga lisensyang ito ng patent ay isang pribadong samahan na tinatawag na MPEG-LA LLC. Ang organisasyong ito ay walang kinalaman sa MPEG Standardization Organization, ngunit pinamamahalaan din ng organisasyong ito ang MPEG-2 Bahagi ng Isang Sistema, Ikalawang Bahagi ng Video, at MPEG-4 na Bahagi Uno. Dalawang bahaging video at iba pang mga lisensya sa patent ng teknolohiya.
Ang iba pang mga lisensya sa patent ay kailangang mag-apply sa isa pang pribadong samahan na tinatawag na VIA Licensing, na namamahala din ng mga lisensya ng patent para sa mga pamantayan ng compression ng audio tulad ng MPEG-2 AAC at MPEG-4 Audio.
Pagpapatupad ng bukas na mapagkukunan ng H.264
Ang openh264 ay isang bukas na mapagkukunan ng H.264 encoding program na ipinatupad ng Cisco. Bagaman nangangailangan ang H.264 ng mataas na bayad sa patent, mayroong taunang limitasyon sa bayad sa patent. Matapos bayaran ng Cisco ang taunang bayad sa patent para sa OpenH264, ang OpenH264 ay talagang libre Gamitin ito nang malaya.
Ang x264 ay isang libreng pag-coding ng video software na lisensyado sa ilalim ng GPL. Ang pangunahing pag-andar ng x264 ay upang maisagawa ang H.264 / MPEG-4 AVC video encoding, hindi bilang isang decoder.
Hindi kasama ang isyu sa gastos para sa paghahambing:
Ang paggamit ng CPU ng openh264 ay mas mababa kaysa sa x264
Sinusuportahan lamang ng openh264 ang baseline profile, sinusuportahan ng x264 ang higit pang mga profile
HEVC / H.265
pagpapakilala
Ang High Efficiency Video Coding (HEVC) ay isang pamantayan sa compression ng video (tinatawag ding H.265), na itinuturing na kahalili ng pamantayan ng ITU-T H.264 / MPEG-4 AVC. Noong 2004, nagsimula ang ISO / IEC Moving Picture Experts Group (MPEG) at ITU-T Video Coding Experts Group (VCEG) bilang ISO / IEC 23008-2 MPEG-H Part 2 o ITU-T H.265. Ang unang bersyon ng pamantayan ng compression ng video ng HEVC / H.265 ay tinanggap bilang opisyal na pamantayan ng International Telecommunication Union (ITU-T) noong Abril 13, 2013. Ang HEVC ay isinasaalang-alang hindi lamang upang mapabuti ang kalidad ng video, ngunit upang makamit din nang dalawang beses ang rate ng compression ng H.264 / MPEG-4 AVC (katumbas ng isang 50% na pagbawas sa rate ng bit sa ilalim ng parehong kalidad ng larawan), at maaaring suportahan ang resolusyon ng 4K at kahit na ultra-high-kahulugan na TV (UHDTV), ang pinakamataas na resolusyon ay maaaring maabot ang 8192 × 4320 (resolusyon ng 8K).
Lisensya sa patent
Kinakailangan ng HEVC ang lahat ng mga tagagawa ng nilalaman na gumagamit ng teknolohiya ng H.265, kabilang ang Apple, YouTube, Netflix, Facebook, at Amazon, na magbayad ng 0.5% ng kanilang kita sa nilalaman bilang isang bayarin sa paggamit ng teknolohiya. Ang buong merkado ng streaming media ay umabot sa halos 100 bilyong US dolyar bawat taon, at ito ay patuloy na Sa paglago, ang levy ng 0.5% ay tiyak na isang malaking bayarin. At hindi nila binitawan ang mga tagagawa ng kagamitan, bukod sa kung aling mga tagagawa ng TV ang kailangang magbayad ng 1.5 US dolyar bawat yunit at mga tagagawa ng mobile device na 0.8 US dolyar bawat yunit sa mga singil sa patent. Ni hindi nila binitawan ang mga tagagawa tulad ng mga manlalaro ng aparato ng Blu-ray, mga console ng laro, at mga recorder ng video, na dapat magbayad ng $ 1.1 bawat isa.
Pagpapatupad ng open source ng H.265 / HEVC
Ang libde265 HEVC ay ibinibigay ng kumpanya ng istraktura sa ilalim ng bukas na mapagkukunan ng lisensya na GNU Lesser General Public License (LGPL), at masisiyahan ang mga manonood ng pinakamataas na kalidad ng mga imahe sa mas mabagal na bilis ng internet. Kung ikukumpara sa mga nakaraang decoder batay sa pamantayan ng H.264, ang libde265 HEVC decoder ay maaaring magdala ng iyong buong nilalaman sa HD hanggang sa dalawang beses na madla, o bawasan ang bandwidth na kinakailangan para sa streaming ng 50%.
Ang x265 ay binuo ng MulticoreWare at bukas na nagmula sa ilalim ng kasunduan sa GPL.
VP8
pagpapakilala
Ang VP8 ay isang bukas na format ng compression ng video na unang binuo ng On2 Technologies at pagkatapos ay inilabas ng Google. Kasabay nito, inilabas din ng Google ang aklatan ng pagpapatupad na naka-code sa VP8: libvpx, na inilabas sa anyo ng mga tuntunin ng lisensya ng BSD, at kasunod na nagdagdag ng karapatang gamitin ang patent. Matapos ang ilang mga argumento, ang pahintulot ng VP8 ay sa wakas ay nakumpirma bilang isang bukas na pahintulot na bukas.
Sa kasalukuyan, ang mga web browser na sumusuporta sa VP8 ay ang Opera, Firefox at Chrome.
Lisensya sa patent
Noong Marso 2013, nakamit ng Google ang isang kasunduan sa MPEG LA at 11 mga may hawak ng patent upang payagan ang Google na makakuha ng VP8 at ang dating VPx at iba pang mga pag-encode na maaaring mapalabag sa mga patent. Sa parehong oras, maaari ring pahintulutan muli ng Google ang mga nauugnay na patent sa mga gumagamit ng VP8 nang walang bayad. , Ang kasunduang ito ay angkop din para sa susunod na henerasyon ng pag-encode ng VPx. Sa ngayon, isinuko na ng MPEG LA ang pagtatatag ng VP8 na naka-sentralisadong alyansa sa paglilisensya, at matutukoy ng mga gumagamit ng VP8 na gamitin ang code na ito nang walang bayad nang hindi nag-aalala tungkol sa mga posibleng royalties ng paglabag sa patent.
Pagpapatupad ng open source ng VP8
Ang Libvpx ay ang buksan lamang na pagpapatupad ng mapagkukunan ng VP8. Ito ay binuo ng On2 Technologies. Matapos makuha ito ng Google, binuksan nito ang source code. Napakaluwag ng lisensya at maaaring malayang magamit.
VP9
pagpapakilala
Ang pag-unlad ng VP9 ay nagsimula sa ikatlong quarter ng 2011. Ang layunin ay upang mabawasan ang laki ng file ng 50% kumpara sa pag-encode ng VP8 sa ilalim ng parehong kalidad ng imahe. Ang isa pang layunin ay upang malampasan ang HEVC encoding sa kahusayan sa pag-encode.
Noong Disyembre 13, 2012, nagdagdag ng suporta ang browser ng Chromium para sa pag-encode ng VP9. Sinimulang suportahan ng browser ng Chrome ang VP9 na naka-encode ng pag-playback ng video noong Pebrero 21, 2013.
Inanunsyo ng Google na makukumpleto nito ang pagbuo ng VP9 code sa Hunyo 17, 2013, kung gagabayan ng browser ng Chrome ang VP9 code bilang default. Noong Marso 18, 2014, nagdagdag si Mozilla ng suporta sa VP9 sa browser ng Firefox.
Noong Abril 3, 2015, naglabas ang Google ng libvpx1.4.0, na nagdagdag ng suporta para sa 10-bit at 12-bit na lalim, 4: 2: 2 at 4: 4: 4 chroma sampling, at VP9 multi-core encoding / decoding.
Lisensya sa patent
Ang VP9 ay isang bukas na format, walang format na video na naka-encode ng video.
Pagpapatupad ng open source ng VP9
Ang libvpx ay ang buksan lamang na pagpapatupad ng mapagkukunan ng VP9, na binuo at pinapanatili ng Google. Ang ilan sa mga code ay ibinabahagi ng VP8 at VP9, at ang natitira ay ang pagpapatupad ng codec ng VP8 at VP9 ayon sa pagkakabanggit.
Paghahambing ng VP9 at H.264 at HEVC
Paghahambing ng HEVC at H.264 sa iba't ibang mga resolusyon
Kung ikukumpara sa H.264 / MPEG-4, ang average na bit rate na pagbawas ng HEVC ay:
Maaari itong makita na ang bit rate ay bumaba ng higit sa 60%
Ang HEVC (H.265) ay may higit na kalamangan sa pag-save ng bit rate para sa VP9 at H.264, na nakakatipid ng 48.3% at 75.8% ayon sa pagkakabanggit sa ilalim ng parehong PSNR
Ang H.264 ay may malaking kalamangan sa oras ng pag-encode. Kung ikukumpara sa VP9 at HEVC (H.265), ang HEVC ay 6 na beses kaysa sa VP9, at ang VP9 ay halos 40 beses kaysa sa H.264.
