Una naming ipinapalagay na ang isang tao ay may zero na pundasyon sa audio at video, at hindi pa natutunan ang anumang kaalaman sa pagproseso ng digital signal na nauugnay. Ang pundasyon ng matematika ay karaniwang antas ng high school, ngunit pamilyar siya sa pag-unlad ng C / C ++, kahit pamilyar sa pagsasama at pag-debug ng IDE sa ilalim ng isang tiyak na platform.
Ituon ang pansin sa dalawang bukas na mga proyekto ng pinagmulan ng ffmpeg at webRTC, higit sa lahat ang pagtingin sa bahagi ng video ng ffmpeg at ang audio na bahagi ng webRTC.
Una sa lahat, magsimula sa pag-decode ng video. Ito ang pinakasimpleng isa. Ang pangunahing code para sa pagtawag sa pag-decode ng video ng ffmpeg ay halos 100 linya lamang. Kailangan lamang maunawaan ng pag-decode ng video ang h.264, 80% + na mga eksena ay nasa format na ito ng pag-encode, maunawaan ang pangunahing H.264 sps pps NAL at iba pang mga konsepto ng format ng file, maunawaan ang prinsipyo ng format ng imahe ng YUV, at maunawaan ang pag-convert ng YUV sa RGB , Kaya maaari mong gawin ang pag-render ng imahe, maaari mong makamit ang isang simpleng video player. (Talaga sa unang yugto)
Pagkatapos, upang malaman ang tungkol sa pag-coding ng video, inirerekumenda na magsimula sa x264, isang simpleng tawag sa x264 encoding code ay mas mababa sa 100 mga linya. Ang pag-encode ay mas kumplikado kaysa sa pag-decode sa pag-decode na iyon ay hindi nangangailangan ng anumang mga parameter upang mai-configure, at ang pag-encode ay may isang malaking bilang ng mga parameter na kailangang mai-configure. Sa simula, maunawaan lamang ang ilang mga pangunahing konsepto, tulad ng rate ng frame, karaniwang mga paraan ng pagkontrol sa daloy ng ABR CRF, GOP, I / B Ano ang kahulugan ng / P Frame ayon sa pagkakabanggit. (Pamilyar sa muling pag-encode ng X264)
Ang codec ng bahagi ng audio ay katulad ng sa video. Sa paunang yugto, kakailanganin mo lamang na maunawaan ang dalawang encoder ng EAAC + at Silk, maunawaan ang mga konsepto ng sound channel, rate ng sampling, atbp, at maunawaan ang format ng Wave file. Maaaring maging isang simpleng audio player. (Gumawa ng audio player)
Ang kumplikadong bahagi ng audio ay hindi ang codec, ngunit ang sound effects. Tingnan ang module ng Pagproseso ng Audio sa webRTC at unawain ang mga sumusunod na konsepto: denoising NS, echo cancellation AEC, mute detection VAD, awtomatikong makakuha ng control AGC, at ang built-in na webRTC. Kahit na ang algorithm ay hindi pinakamahusay, maaari nitong malutas ang 90% + ng mga problema, at sulit itong matutunan. (Alamin ang pagpoproseso ng audio ng webrtc)
Matapos malaman ito, kailangan kong mag-isip tungkol sa isang katanungan, kung nais kong kumuha ng isang ruta sa engineering o isang ruta na algorithm. Kung ito ay isang ruta sa algorithm, dapat kong malaman ang matematika. Sa likod ng pagproseso ng digital signal ay isang malaking bilang ng mga pangunahing teoryang matematika. Kung ito ay isang ruta sa engineering, kailangan mong malaman ang pag-unlad ng cross-platform, alamin ang koleksyon, pag-playback at pagproseso ng audio at video sa ilalim ng maraming mga platform, at alamin ang pag-optimize ng wika sa pagpupulong sa ilalim ng maraming mga platform. (Nauugnay sa Platform)
Ang audio at video ay isang napakalalim na larangan, at hindi mo tatapusin ang pag-aaral sa isang buhay, ngunit ang larangan na ito ay may kalamangan na ang bilis ng pag-update ng kaalaman ay medyo mabagal, ang mga bagay na natutunan ay hindi madaling matanggal, at ang akumulasyon ng karanasan napakahalaga.v
Ang aming iba pang mga produkto:
