Bài giảng Xử lý âm thanh và hình ảnh - Chương 2: Xử lý âm thanh

Nội dung text: Bài giảng Xử lý âm thanh và hình ảnh - Chương 2: Xử lý âm thanh

1. Chương 2 Xử lý âm thanh
2. Đặc tính âm thanh • Âm thanh trong thế giới tự nhiên về bản chất là những sóng âm được tạo ra từ dao động của vật thể và được truyền đi trong một môi trường truyền âm nhất định. • Âm thanh của tiếng nói, tương tự, là những sóng âm được tạo ra từ dao động của các bộ phận trong bộ máy phát âm và được truyền đi trong môi trường truyền âm.
3. 2.1 Các đặc trưng vật lý của âm thanh • Ðộ cao (hauteur /pitch): do tần số dao động của dây thanh và/hoặc của các bộ phận khác trong bộ máy phát âm quyết định. Tần số dao động (số chu kì dao động trong một giây) càng lớn thì âm thanh càng cao và ngược lại. Ðơn vị để đo độ cao của âm thanh là Hertz (viết tắt là Hz). • Ðộ mạnh (intensité/intensity): do biên độ dao động của vật thể quyết định. Biên độ dao động là trị số lớn nhất mà dao động đạt tới trong một nửa chu kì. Biên độ dao động càng lớn, âm thanh càng vang to và ngược lại. Ðơn vị đo độ mạnh của âm thanh là décibel (viết tắt là dB).
4. Các đặc trưng vật lý của âm thanh - Ðộ dài (durée/length): do thời gian dao động của vật thể quyết định. - Âm sắc (timbre): phụ thuộc vào độ cao, độ dài và độ mạnh tham gia bổ sung vào các thành phần kết cấu của âm.
5. Các đặc điểm của hệ thống thính giác con người
6. Sự cảm thụ của tai người đối với âm thanh • Khoảng cách dải âm lớn nhất và yếu nhất mà tai con người có thể nghe là 120dB, tức là dải 1 triệu lần biên độ. Người nghe có thể phát hiện sự thay đổi độ ồn âm thanh khi tín hiệu bị thay đổi khoảng 1dB (biên độ thay đổi 12%) • Nhận biết mức độ ồn liên quan mật thiết với công suất âm thanh theo bậc mũ 1/3. - Nếu tăng công suất âm lên 10 lần, người nghe nhận được rằng độ ồn tăng lên tầm 2 lần (101/3≈2 lần) - Dải nghe của con người thông thường từ 20Hz đến 20kHz, độ nhạy âm lớn nhất từ 1kHz đến 4kHz. - Khả năng xác định hướng nguồn âm tốt nhưng xác định khoảng cách đến nguồn âm kém.
7. Ngưỡng nghe
8. Mặt nạ thời gian
9. Mặt nạ tần số
10. Chuẩn nén audio • MP3 (MPEG 1 layer 3): ra đời năm 1980 từ viện nghiên cứu Fraunhoufer Institute (Đức). • ACC: Ra đời năm 1997 từ Fraunhofer Institue (Đức) kết hợp với một số công ty như AT&T, Sony, Dolby, là định dạng cải tiến của MP3. • OGG: Là định dạng nguồn mở được Xiph.org Foundation đề xuất năm 1993, nén tốt và có chất lượng ở tốc độ bit thấp.
11. Chuẩn nén audio • Realaudio: Định dạng của công ty RealNetworks, chủ yếu dùng cho phát nhạc trực tuyến, định dạng đầu tiên ra đời năm 1995, đến nay đã có RealAudio 10 • WMA: Định dạng âm thanh của Microsoft, ra mắt năm 1999, trên lý thuyết có thể nén 96 kbps với chất lượng của MP3 128 kbps. WMA cũng phổ biến trong thế giới âm thanh phát trực tuyến.
12. Các lớp MPEG/audio Có 3 lớp:
13. MPEG-1
14. Các giải thuật nén âm thanh Nén không tổn thất • Mã hóa Huffman • Mã hóa Huffman sửa đổi • Mã hóa số học • Giải thuật Lempel – Ziv – Welch (LZW)
15. Các giải thuật nén âm thanh Nén có tổn thất • Các phương pháp nén âm thanh đơn giản: LCP(Linear Predictive Coding) CELP (Code Excited Linear Predictor) • Nén âm thanh dùng mô hình âm – tâm lý (Psychoacoustics): Hệ thống nghe và phát âm của con người Che tần số Băng giới hạn Che nhất thời • Nén âm thanh MPEG
16. Nén audio MP3 • MP3 là nhóm MPEG-1 lớp 3 cung cấp chất lượng audio gần giống với chất lượng CD ở tốc độ bit thấp • MP3 hỗ trợ các tần số lấy mẫu khác nhau như: 32kHz; 44,1kHz; 48kHz; tốc độ bit có thể thay đổi từ 32 đến 448kbps
17. Nén audio MP3 • Mã hóa audio cảm quan là kỹ thuật lợi dụng những đặc điểm cảm quan của tai người để đạt được tỉ lệ nén cao với chất lượng tốt
18. Nén audio MP3 • Hiệu ứng mặt nạ tần số: Hai âm thanh mạnh yếu khác nhau với tần số khác nhau xảy ra cùng 1 lúc • Hiệu ứng mặt nạ thời gian: Âm thanh yếu hơn phát ra ngay trước hoặc ngay sau âm thanh mạnh
19. Bộ mã hóa MP3
20. Kết quả so sánh chất lượng các file MP3
21. Giải thuật 1. Dùng bộ lọc thông để chia tín hiệu âm thanh thành các sub- band theo tần số, tương ứng với 32 băng giới hạn lọc sub-band. 2. Xác định số lượng che của mỗi band gây bởi các band lân cận bằng các kết qủa bước 1 mô hình âm - tâm lý. 3. Nếu mức to của một băng mà nhỏ hơn ngưỡng che thì không mã hóa nó. 4. Ngược lại, xác định số bit cần thiết để mã hóa sao cho nhiễu sinh ra bởi việc lượng tử hóa này thấp hơn đường cong che. 5. Định dạng dòng dữ liệu bit
22. Ví dụ • Sau khi phân tích, 16 band đầu tiên trong số 32 band như sau: • ___ • Band 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 • Level(dB) 0 8 12 10 6 2 10 60 35 20 15 2 3 5 3 1 • ___ • Nếu mức to của âm thứ 8 là 60dB, nó sẽ che band thứ 7 ở mức 12dB và band thứ 9 ở mức 15dB. • Mức to ở band 7 là 10dB ( 15dB) nên được tiếp tục xử lý. • Layer I: bộ lọc loại DCT với 1 frame và độ rộng tần số như nhau trên mỗi sub- band. Mô hình âm-tâm lý chỉ sử dụng hiệu quả che tần số (Frequency masking). • Layer II: sử dụng 3 frame trong bộ lọc (trước, hiện tại và kế tiếp, tổng cộng 1152 mẫu). Mô hình âm-tâm lý có sử dụng hiệu quả che nhất thời (Temporal masking). • Layer III: dùng bộ lọc băng giới hạn tốt hơn, mô hình âm-tâm lý có sử dụng hiệu quả che nhất thời, và có dùng bộ mã hoá Huffman.
23. Quá trình tạo ra tiếng nói Cơ chế tạo âm thanh: • Ðể phát âm, dưới sự điều khiển của hệ thần kinh, nói chung không khí từ phổi được đẩy qua khí quản, vào thanh hầu rồi thoát qua các cộng minh trường phía trên thanh hầu để thoát ra ngoài. Có thể thấy hai trường hợp. • Trường hợp 1: Không khí thoát ra làm rung dây thanh với một tần số nào đó để tạo nên một âm với một thanh điệu nhất định. Ta có âm hữu thanh (sons sonores/voiced sounds). • Trường hợp 2: Không khí thoát ra không làm rung dây thanh được gọi là các âm vô thanh (sons sourds/ voiceless sounds).
24. Cấu trúc bộ máy phát âm • 1. Các cơ quan tạo năng lượng cho hoạt động phát âm là phổi, khí quản. • 2. Các cơ quan tạo lập, khuếch đại và phát ra âm thanh là các bộ phận trong thanh hầu, trong khoang hầu, khoang miệng và khoang mũi.
25. 2.2 Nén thoại Yêu cầu của bộ mã hoá thoại  Tốc độ bit thấp.  Chất lượng thoại cao.  Nhận dạng tiếng nói / ngôn ngữ khác nhau  Cường độ mạnh ở trong kênh truyền nhiễu  Hiệu suất cao đối với các tín hiệu phi thoại  Kích thước bộ nhớ thấp và độ phức tạp tính toán thấp  Độ trễ mã hóa thấp
26. Kiến trúc tổng quát của bộ mã hóa và giải mã thoại tốc độ thấp
27. Chuẩn mã hóa thoại cơ bản
28. So sánh giữa các chuẩn
29. Dự đoán tuyến tính-LP - Dự đoán tuyến tính (Linear prediction, viết tắt là LP) là một phần không thể thiếu của hầu hết tất cả giải thuật mã hóa thoại hiện đại ngày nay. - Ý tưởng cơ bản là mẫu tiếng nói tại thời điểm n có thể được xấp xỉ bởi một tổ hợp tuyến tính M mẫu trước nó: X(n) =a1X(n - 1) + a2X(n - 2) + + amX(n - M) - Trong một khung tín hiệu, các trọng số dùng để tính toán kết hợp tuyến tính được tìm bằng cách tối thiểu hóa bình phương trung bình lỗi dự đoán; các trọng số tổng hợp, hoặc các hệ số dự đoán tuyến tính (LPC) được dùng đại diện cho một khung cụ thể.
30. Hệ thống nhận dạng dự đoán tuyến tính AR: Autoregressive
31. Dự đoán tuyến tính • Dự đoán tuyến tính thực hiện ước đoán s [ n ] dựa vào M mẫu trong quá khứ: ^ M s[n]  ai s[n i] i 1 Lỗi dự đoán được tính bằng công thức: ^ e[n] s[n] s[n] ai là các ước đoán của các thông số AR được xem là các hệ số dự đoán tuyến tính (LPC). M là bậc dự đoán.
32. Tiếp • Để tìm tập các hệ số dự đoán: ai, i = 1, 2, , M trên khung được phân tích, cách tiếp cận cơ bản là ta cực tiểu hóa sai số bình phương trung bình. Thông số LPC tối ưu có thể được tìm bằng cách thiết lập đạo a hàm riêng phần của J khi i tiến tới zezo •Dùng giải thuật Levinson-durbin và Leoux-Gueguen tính LPC
33. Giải thuật Levison-Durbin • Giải thuật Levison-Durbin thực hiện việc tìm bộ dự đoán bậc thứ M từ bộ dự đoán bậc thứ M-1. Đây là quá trình lặp đệ quy cho đến khi tìm được lần đầu tiên bộ dự đoán bậc zero, sau đó sẽ dùng bộ bậc zero để tính bộ dự đoán bậc 1 và quá trình tiếp tục cho đến khi tính toán được bộ dự đoán có bậc cần tìm.
34. Giải thuật Levison-Durbin
35. Phân loại mã hóa thoại
36. Mã hoá sóng • Mã hoá dạng sóng: người ta chia mã hoá dạng sóng ra làm hai loại chính • Trong miền thời gian: mã hoá điều xung mã (PCM), điều biến xung mã vi sai (DPCM) và điều biến xung mã vi sai thích nghi (ADPCM). • Trong miền tần số: mã hoá băng con SBC (subband coding) và mã hoá biến đổi thích nghi ATC (Adaptive Transform Coding).
37. Mã hoá sóng - Tại phía phát: Bộ mã hóa nhận các tín hiệu tiếng nói tương tự và mã hóa thành tín hiệu số trước khi truyền đi - Tại phía thu: Làm ngược lại để khôi phục tiếng nói Ví dụ: PCM, DPCM, ADPCM vv
38. Mã hoá sóng • Khôi phục được tín hiệu sóng giống như tín hiệu gốc • Độ phức tạp, giá thành, độ trễ công suất tiêu thụ thấp • Chỉ tạo được tiếng nói chất lượng cao tại các tốc độ lớn hơn 16kbps • Không tạo được tiếng nói chất lượng cao tại tốc độ nhỏ hơn 16kbps
39. Mã hóa Vocoder • Mã hoá Vocoder sử dụng mô hình tạo tín hiệu thoại và khai thác các thông số của mô hình này để mã hoá tín hiệu. • Cac vocoder hoạt động dựa trên mô hình cơ quan phát âm • Thông tin được gửi đến bộ giải mã bao gồm: tham số của bộ lọc, tín hiệu kích thích V/UV, chu kì pitch vv. • Ví dụ : LPC,mã hoá dự đoán tuyến tính có sự kích thích kết hợp MELP và mã hoá dự đoán tuyến tính kích thích bằng tín hiệu sau dự đoán RELP vv
40. Mã hóa Vocoder (mã hóa kiểu phát âm) • Có nhiều kỹ thuật mã hoá Vocoder như: mã hoá formant, mã hoá tham số và mã hoá đồng hình. Tuy nhiên, hiện nay chủ yếu tập trung vào nghiên cứu và phát triển các bộ mã hoá tham số như mã hoá dự đoán tuyến tính kích thích bằng hai trạng thái (mã hoá LPC), • Mã hoá dự đoán tuyến tính có sự kích thích kết hợp MELP và mã hoá dự đoán tuyến tính kích thích bằng tín hiệu sau dự đoán RELP. Các bộ mã hoá tham số này thường dùng cho điện thoại qua vệ tinh và trong quân đội.
41. Ưu nhược điểm củaVocoder • Chất lượng phụ thuộc nhiều vào mô hình thoại • CácVocoder có thể phát âm khá giả tạo • Chất lượng kém các vocoder rất nhạy cảm với lỗi. • Có thể cung cấp thoại số với tốc độ nhỏ hơn 2kbps
42. Mã hóa lai • Sử dụng cả 2 công nghệ mã hoá sóng và mã hoá Vocoder • Có thể đạt được chất lượng thoại tốt tại các tốc độ bít 2- 16kbps. • Mã hóa lai phổ biến nhất là mã hóa phân tích bằng cách tổng hợp AbS (Analysis-by-Synthesis), RPE-LTP, CELP, ACELP, CS-CELP
43. Mã hóa dự đoán tuyến tính LPC Mô hình LPC tổng hợp tiếng nói
44. Mối quan giữa mô hình LPC với mô hình phát âm
45. Mã hóa dự đoán tuyến tính LPC • Tín hiệu thoại số khi đưa vào mô hình sẽ được chia thành các frames 20ms , mô hình sẽ phân tích và trích trọn và Vector A đại điện cho 160 mẫu thoại đó và nó sẽ được mã hóa và gửi tới đầu thu:
46. Sơ đồ khối của bộ mã hóa LPC Giá trị P trong trường hợp tín hiệu là vô thanh Giá trị P trong trường hợp tín hiệu là hữu thanh
47. Sơ đồ khối của bộ mã hóa LPC
48. 2.4kbps LPC Vocoder
49. 2.4kbps LPC Vocoder
50. Nhược điểm của LPC • Giới hạn 1: Trong một số trường hợp, một khung âm thanh không phải chỉ được phân loại thành hữu thanh và vô thanh • Giới hạn 2: Việc sử dụng hoàn toàn nhiễu ngẫu nhiên hoặc hoàn toàn chuỗi xung có chu kỳ tạo kích thích không phù hợp với thực tế • Giới hạn 3: Thông tin về pha của tín hiệu nguyên thủy không được xem xét. • Giới hạn 4: Phương pháp thực hiện việc tổng hợp các khung thoại, trong khi một chuỗi xung dùng để kích thích bộ lọc tổng hợp với các hệ số có được từ việc phân tích LP vi phạm nền tảng của mô hình AR.
51. Mã hóa LPC - Dự đoán tuyến tính là một phần không thể thiếu của hầu hết các giải thuật mã hóa thoại tốc độ thấp - Việc phát triển và cải tiến các bộ mã hóa dựa trên mô hình LPC vẫn đang được xem xét để đưa ra các thuật toán mã hóa thoại tốc độ thấp thậm chí dưới 2kbps mà chất lượng thoại vẫn đảm bảo yêu cầu
52. Mã hoá phân tích bằng tổng hợp AbS • Mã hóa lai có nhiều phương pháp nhưng phương pháp phổ biến nhất là mã hoá phân tích bằng cách tổng hợp AbS (Analysis-by-Synthesis). Bộ mã hoá này cũng sử dụng mô hình cơ quan phát âm của người giống như mã hoá nguồn. Tuy nhiên, thay vì sử dụng các mô hình tín hiệu kích thích đơn giản như mã hoá nguồn thì ở đây tín hiệu kích thích được chọn sao cho cố gắng đạt được dạng sóng tiếng nói tái tạo càng giống với dạng sóng tiếng nói ban đầu càng tốt. Đây chính là đặc tính phân biệt sự khác nhau giữa các bộ mã hoá kiểu AbS. Thuật toán tìm ra dạng sóng kích thích này quyết định tới độ phức tạp của bộ mã hoá.
53. LPC phân tích bằng tổng hợp
54. Mã hoá phân tích AbS (Analysis-by- Synthesis)
55. Mã hoá phân tích bằng tổng hợp AbS (Analysis-by-Synthesis)
56. Tiếp • Ngoài việc khai thác các tính chất tiếng nói để mã hoá, người ta còn khai thác sự cảm nhận âm thanh của tai người (tai người không cảm nhận được những âm thanh bị che đi bởi các âm thanh khác có năng lượng lớn hơn một mức nhất định) trong mã hoá tiếng nói bằng khái niệm bộ lọc nhấn cảm nhận.
57. 4.8 kbps CELP Coder
58. 4.8 kbps CELP Coder • CELP Dự đoán tuyến tính kích thích mã Code- Excited Linear Prediction. • Nguyên tắc giống LPC Vocoder chỉ có một số điểm khác : – Kích thước Frame là 30 msec (240 mẫu ) – Mã hóa trực tiếp – Cần nhiều bít mã hóa hơn – Tính toán phức tạp hơn – Sử dụng thêm bộ lọc dự đoán chu kỳ pitch – Sử dụng lượng tử hóa Vector
59. Nhận xét Hầu hết tất cả các bộ mã hóa đều dựa trên mô hình LPC, tuỳ theo cách tạo ra tín hiệu kích thích mà người ta đưa ra các loại mã hoá lai khác nhau như: - Mã hoá đa xung MPE-LTP - Mã hoá xung đều RPE-LTP - Mã hoá kích thích bằng mã CELP,ACELP,CS-ACELP - Mã hoá kích thích vectơ tổng VSELP .vv Các bộ mã hóa trên đã khắc phục nhược điểm của LPC và cung cấp dịch vụ thoại tốc độ thấp và chât lượng tương đối tốt
60. Một số phương pháp đánh giá chất lượng thoại • Phương pháp đánh giá theo thang điểm MOS (Mean Opinion Score) dựa trên khuyến nghị ITU-T P.800 • Phương pháp đánh giá dựa trên mô hình giác quan PSQM (Perceptual Speech Quality Measurement) theo khuyến nghị ITU-T P.861 • PESQ (Perceptual Evaluation of Speech Quality) theo khuyến nghị ITU-T P.862 • Phương pháp dựa trên mô hình đánh giá truyền dẫn E-model theo tiêu chuẩn ETR 250 của ETSI.
61. Các yếu tố ảnh hưởng tới chất lượng thoại trong VoIP • Độ ổn định • Băng thông • Tiếng vọng • Trễ: Trễ cử lý, trễ do mã hoá, trễ đệm ở thiết bị đầu cuối IP, trễ gói hoá H.323, trễ truyền dẫn mạng • Biến động trễ • Tổn thất gói
62. Phương pháp đánh giá chủ quan (MOS) • Bài kiểm tra hội thoại (Conversation Opinion Test). • Đánh giá phân loại tuyệt đối (Absolute Category Rating (ACR) Test). • Phương thức phân loại theo suy hao (Degradation Category Rating (DCR)). • Phương thức phân loại so sánh (Comparison Category Rating (CCR)).
63. Nhược điểm MOS • Phương thức này mang tính chất chủ quan vì kết quả phụ thuộc vào nhiều yếu tố không thể kiểm soát của chủ thể như: trạng thái tâm lý, thái độ đối với bài kiểm tra và trình độ văn hóa. Trên thực tế, phương thức đánh giá chất lượng thoại theo thang điểm MOS không phải là phương thức nhất quán. • Phương thức này rất tốn kém, đòi hỏi nhiều người tham gia và thiết lập phức tạp. • Khi cần thực hiện đo thường xuyên các tham số chất lượng thì việc sử dụng phương pháp đánh giá chất lượng này là không thực tế.
64. Phương thức đánh giá chất lượng thoại PSQM Để thực hiện phép đo PSQM, một mẫu tiếng nói được đưa vào hệ thống và được xử lý bởi một bộ mã hóa thoại bất kỳ. Những tính chất của tín hiệu vào giống như của các tín hiệu sử dụng cho phép đánh giá MOS được định nghĩa trong chuẩn ITU P.830.
65. Phương pháp PESQ
66. Mô hình đánh giá truyền dẫn E-Model Cấu hình tham khảo của mô hình E
67. Các tham số dùng để đánh giá chất lượng thoại của mô hình E-Model • Giá trị truyền dẫn R • Tỉ lệ tín hiệu trên nhiễu • Tham số suy hao Is • Tham số suy hao liên quan đến trễ Id • Tham số suy hao thiết bị Ie • Tham số tích cực A
68. Kết quả đánh giá chất lượng thoại
69. Các phương pháp cải thiện QoS trong mạng VoIP •Tốc độ truy nhập cam kết • Xếp hàng trên cơ sở lớp • Lớp dịch vụ • Các dịch vụ phân biệt • Quyền ưu tiên IP • Chuyển mạch nhãn đa giao thức MPLS • Xếp hàng theo VC • Định tuyến theo chính sách • Các hàng QoS • Loại bỏ sớm ngẫu nhiên • Giao thức dữ trữ tài nguyên • Định hình lưu lượng • Xếp hàng hợp lý theo trọng số
70. Nhận xét • Sử dụng PESQ để đánh giá chất lượng thoại một chiều từ đầu cuối đến đầu cuối. • Mô hình đánh giá E-Model có thể được sử dụng để phân tích hệ thống nhằm xác định các yếu tố ảnh hưởng đến chất lượng thoại. • Ngoài ra, nếu có điều kiện có thể sử dụng kết hợp phương pháp đánh giá chủ quan để kiểm chứng lại việc đánh giá theo PESQ.
71. Hướng dẫn ôn tập chương 2 • Các tham số đánh giá đặc trưng cho âm thanh. • Sơ đồ chức năng của tai người. • Sự cảm thụ của tai người đối với âm thanh (Ngưỡng nghe, mặt nạ tần số, mặt nạ thời gian, các dải băng tần tới hạn) và ứng dụng trong mã hóa âm thanh. • Quá trình tạo tiếng nói và ứng dụng trong mã hóa tham số tín hiệu thoại. • Mô hình chung của bộ mã hóa thoại. • Phân loại các phương pháp mã hóa tín hiệu thoại (mã hóa dạng sóng, mã hóa tham số và mã hóa lai). • Phương pháp mã hóa PCM, DPCM, ADPCM. • Mã hóa tham số - LPC. • Mã hóa lai – AbS, MPE, RPE và CELP. • Mã hóa âm thanh. • So sánh giữa nén thoại và nén âm thanh.
72. Hướng dẫn ôn tập chương 2 • Trong các hình vẽ trên : (a) Tín hiệu hình âm thanh hình Sin; (b) Lấy mẫu tín hiệu; (c) Lượng tử hóa các xung mẫu. • Ở hình vẽ (c) chúng ta có thể thấy nhiễu lượng tử xuất hiện do việc sử dụng các từ mã 4 bit để biểu diễn cho 9 mức giá trị khác nhau. Xung mẫu đầu tiên tại thời điểm 0 là chính xác, nhưng một số các xung mẫu tiếp theo thì không. Tính toán sai số (theo %) cho các xung mẫu tại các thời điểm 1/32, 2/32 và 3/32 của chu kỳ lấy mẫu?