Tone ASR notes

ToneASR.md

input: audio/speech

│
│
│                                     ┌─────────────────────────────────────────┐
│                            (1)      │                                         │
│            ┌─────────────────┐      │                                         │
│            │                 │ text │                                         │
│            │                 │      │                                         │
│     ┌──────► Speech-to-Text  ├──────►                                         │
│     │      │                 │      │                (3)                      │
│     │      │                 │      │      ┌───────────┐                      │
│     │      └─────────────────┘      │      │           │ sentiment analysis   │
│     │                               │      │ sentence  │ attributes           │
├─────► verbal                        └──────► sentiment ├────────────────┐     │
│     │                      (2)             │ analyzer  │                │     │
│     │      ┌─────────────────┐             │           │                │     │
│     │      │                 │ tone        └───────────┘                │     │
│     │      │                 │ attributes                               │     │
│     └──────►  Tone detection ├──────────────────────────────┐           │     │
│            │                 │                              │           │     │
│            │                 │                              │           │     │
│            └─────────────────┘                              │           │     │
│                                                             │           │     │
│                                                             │           │     │
│                            (4)                              │           │     │
│            ┌─────────────────┐                              │           │     │
│            │                 │                              │           │     │
│            │                 │                              │           │     │
│     ┌──────► Interjections   ├──────────┐                   │           │     │
│     │      │ Detection       │          │                   │           │     │
│     │      │                 │          │                   │           │     │
│     │      └─────────────────┘          │                   │           │     │
│     │                                   │                   │           │     │
└─────► non-verbal                        │                   │           │     │
      │                      (5)          │                   │           │     │
      │      ┌─────────────────┐          │                   │           │     │
      │      │                 │          │                   │           │     │
      │      │ Background      │          │                   │           │     │
      └──────► Ambient         ├─────┐    │                   │           │     │
             │ sounds/noises   │     │    │                   │           │     │
             │                 │     │    │                   │           │     │
             └─────────────────┘     │    │                   │           │     │
                                     │    │                   │           │     │
                                     │    │                   │           │     │
                                     │    │                   │           │     │ (6)
                                 ┌───▼────▼───────────────────▼───────────▼─────▼───┐
                                 │                                                  │
                                 │                attributes unifier                │
                                 │                                                  │
                                 └────────────────────┬─────────────────────────────┘
                                                      │
                                                      │
                                                      ▼

                                              output: {text, metadata}