2019/11/15 11:33:15
quicksight も使用候補であるので、検証をするためにまとめている。これは外観と、制限など。
Amazon QuickSight は、視覚化の構築、アドホック分析の実行、データからのビジネス上の洞察の取得に使用できるビジネス分析サービスです。 AWS データソースを自動的に検出でき、お客様のデータソースにも使用できます。 Amazon QuickSight は、組織が数十万人のユーザーにスケールするのを可能にし、 堅牢なインメモリエンジン (SPICE) を使用することで応答性の高いパフォーマンスを実現します。
分析を初めて作成するとき、一般的なワークフローは次のようになります。
- データソースを追加またはアップロードし、それを使用して新しいデータセットを作成します。
- (オプション) データの準備 – フィールド名を標準化する、または計算を追加するなどして、レポートを準備します。
- データセットから新しい分析を視覚化 (作成) します。
- いくつかのフィールドを選択して、分析の最初のビジュアルを作成します。選択したフィールドの数とタイプに基づいて、AutoGraph を使用してビジュアルを動的に作成することができます。または、使用するビジュアルタイプを選択することもできます。
- (オプション) 望むならビジュアルを変更する (フィルタを追加する、ビジュアルタイプを変更するなど)。
- (オプション) 分析にビジュアルを追加します。ワークスペースに並べてサイズを変更することができます。
- (オプション) 分析をストーリーに取り込んで、データ分析のいくつかの側面についての説明を作成します。
- (オプション) 他のユーザーと洞察を共有するために、分析をダッシュボードとして公開します。
- データに接続し、データセットを作成したら、次の図に示すようにその分析を作成し、ダッシュボードで共有できます。
- ここ見れば今回欲しそうなものはだいたいサポートされている
SPICE は、Amazon QuickSight の「Super-fast, Parallel, In-memory Calculation Engine (超高速で並列のインメモリ計算エンジン)」 S3 など外部のものをデータソースにする場合は SPICE にロードするという使い方ができる。 Athena、Redshift などは SPICE を使わず直接クエリ発行することもできる。 パフォーマンスと、キャッシュ
- SPICE 容量の管理 - Amazon QuickSight
- 容量について
- 無料利用枠: Amazon QuickSight のアカウントごとに取得する無料ユーザーに関連付けられる 1 GB の容量です。
- 無料バンドル: 有料ユーザーに関連付けられるデフォルト容量の合計です。1 有料ユーザーあたり 10 GB のデフォルト SPICE 容量が割り当てられます。
- 購入: 購入した追加 SPICE 容量です。
- データセットが使用する SPICE 容量は、ソースファイルまたはテーブルのサイズと同じではありません。
- 論理サイズの計算は、データの準備中に定義したすべてのデータ型変換および計算された列の後に行われます。
- これらのフィールドは、クエリのパフォーマンスを向上させる方法で SPICE にマテリアライズされます。
- 分析で行った変更は、SPICE のデータの論理サイズには影響しません。
- データセットに保存された変更のみが SPICE 容量に適用されます。
- 容量について
すべてのビジュアルは AutoGraph モードで始まり、選択したフィールドに基づいて自動的にビジュアルが選択されます。自分で独自のビジュアルを制御および選択することもできます。
必要に応じてこの辺をみましょう
Amazon QuickSight で使用するデータソースは、以下の制限に従う必要があります。
- SPICE の制限
- 各ファイルには最大 1,000 列を含めることができます。それぞれの列名には最大 127 の Unicode 文字を使用できます。各フィールドには、最大 2047 文字の Unicode 文字を含めることができます。より大きなセットからデータのサブセットを取得する場合は、列の選択を解除するか、フィルターを適用してデータのサイズを縮小できます。Amazon S3 からインポートする場合、各マニフェストは最大 1,000 個のファイルを指定できます。
- SPICE の制限は次のとおり
- Standard Edition では、データセットあたり 2,500 万 (25,000,000) 行
- Enterprise Edition では、データセットあたり 1 億 (100,000,000) 行
- フィールドあたり 2047 の Unicode 文字
- 列名あたり 127 の Unicode 文字
- ファイルあたり 1,000 列
- マニフェストあたり 1,000 ファイル
- クエリの制限
- SPICE にデータをインポートしない場合は、スペースと時間に対して異なる制限が適用されます。接続、データセットのデータのサンプリング、ビジュアルの生成などのオペレーションでは、タイムアウトが発生することがあります。ソースデータベースエンジンによって設定されたタイムアウト制限である場合があります。その他の場合（視覚化など）、Amazon QuickSight は 2 分後にタイムアウトを生成します。
- すべてのデータベースドライバが 2 分のタイムアウトに反応するわけではありません（例: Amazon Redshift）。このような場合、クエリはレスポンスが返されるまでにかかる限り実行されるため、データベースでクエリの実行時間が長くなる可能性があります。この場合、データベースサーバーからのクエリをキャンセルして、データベースリソースを解放できます。これを行う方法に関するデータベースサーバーの指示に従います。たとえば、Amazon Redshift でクエリをキャンセルする方法の詳細については以下
- ステップ 6: クエリをキャンセルする - Amazon Redshift
- ワークロード管理の実装 - Amazon Redshift
- クエリ優先度 - Amazon Redshift
- 自動 WLM の実装 - Amazon Redshift
- クエリキューは、WLM 設定内で定義することができます。デフォルトの WLM 設定にクエリキューを追加することができます (最大合計 8 つのユーザーキュー)。クエリキューごとに以下を設定できます。
- 優先度
- 同時実行スケーリングモード
- ユーザーグループ
- クエリグループ
- クエリのモニタリングルール
- 同時実行スケーリングを使用する - Amazon Redshift
- 直接クエリからの結果セットにはそれぞれ、最大 1,000 列を含めることができます。それぞれの列名には最大 127 の Unicode 文字を使用できます。制限より大きいテーブルからデータを取得する場合は、データのサイズを減らすために使用できるいずれかの方法を使用できます。列の選択を解除する、または、フィルターを適用することができます。SQL クエリでは、WHERE、HAVING などの述語を使用することもできます。直接クエリ中にビジュアルがタイムアウトした場合は、クエリを簡素化して実行時間を最適化するか、データを SPICE にインポートできます。クエリの制限は次のとおり
- 列名あたり 127 の Unicode 文字。
- データセットあたり 1,000 列。
- ビジュアルまたはオプションのデータセットサンプルを生成するための 2 分間の制限。
- データソースのタイムアウト制限が適用されます（データベースエンジンごとに異なります）。
- サポートされているデータの種類
- 日付 – 日付は、「サポートされている日付形式」のいずれかである必要があります。
- 小数 – 小数データ型では、小数点以下第 4 位までサポートされています。小数点以下第 5 位以降を持つ値は、データ準備または分析で表示される際、および SPICE にインポートされる際に、小数点以下第 4 位で切り捨てられます。たとえば、13.00049 は 13.0004 に切り捨てられます。
- データ準備時に、算出されるフィールドで小数点以下第 5 位以降を持つ小数データが使用される場合は、完全な値を使用して計算が行われます。その結果が再び小数点以下第 5 位以降を持つ小数データである場合は、その結果が前述のように切り捨てられます。詳細については、「計算フィールドでの小数値の処理」を参照してください。
- 整数
- 文字列
- それ以上はここのページの表とかまず見たらよさそう https://docs.aws.amazon.com/ja_jp/quicksight/latest/user/data-source-limits.html#table-limits
- サポートされていないデータ値
- Amazon QuickSight でフィールドに割り当てられているデータ型に適合しない値がフィールドに含まれている場合、それらの値が含まれている行はスキップされます。
- また、ソースデータベースエンジンの JDBC ドライバーで解釈できない値がデータベースフィールドに含まれている場合、解釈できないそれらの値は null に置き換えられるため、その行はインポートされます。この問題が発生することがわかっているのは、MySQL の日付、日時、およびタイムスタンプのフィールドで値がすべてゼロである (例: 0000-00-00 00:00:00) 場合だけです。
- 日付のタイムゾーンの処理
- 日付データでタイムゾーンが指定されていない場合、Amazon QuickSight では UTC 値と見なされます。日付データでタイムゾーンが指定されている場合、Amazon QuickSight では UTC 時刻に変換して表示されます。
- サポートされている日付形式
- 日付フィールドのデータは、データソースのタイプに応じて、以下のサポートされている形式のいずれかである必要があります。
- Amazon QuickSight は、1400 年 1 月 1 日 00:00:00 UTC から 2364 年 2 月 26 日 23:59:59 UTC の範囲の日付を SPICE データセットに対してサポートします。
- ファイルのアップロード、Amazon S3 ソース、Athena、および Salesforce の場合は、Joda API ドキュメントに記載されている、日付と時刻の形式 (24 時間表記と AM/PM 表記の両方) の使用が Amazon QuickSight でサポートされています。Joda 日付形式の一覧については、「Class DateTimeFormat」を参照してください。
- リレーショナルデータベースソース (Amazon Redshift、Amazon RDS、PostgreSQL、MySQL、Aurora、MariaDB、Microsoft SQL Server など) の場合は、以下の日付と時刻の形式 (24 時間表記のみ) が Amazon QuickSight でサポートされています。
S3 datasource を使いたい場合、マニフェストファイルを作成する必要がある
基本的なことが書かれている
ビジュアル内のデータポイントをクリックすると、当該カラムに含まれる URL が開くように URL アクションを設定することができます。 指定した URL を開くだけでなく、mailto: のような URI を指定することで、 メール作成画面を開くアクションを作成できます。
Amazon QuickSight では、ダッシュボード内の 1 つのビジュアルだけでなく、複数のビジュアル、または全ビジュアルに反映させるような形でフィルターを設定することができます。画面左側のパネルから、このフィルター設定を行えます。データに含まれる全てのカラムをフィルターの対象とすることも、AND/OR のような条件や BETWEEN 句を使うこともできます。そうではなくドロップダウンや検索ボックス、スライダーバーのような形で、簡単なフィルタリングを行うのであれば、よりシンプルに設定を行うことができます。 パラメーターを作成するには、分析画面で + Add ボタンをクリックして、Add parameter を選択します。続いてパラメーターに対して名前とデータ型を指定してください。テキストボックスやドロップダウンを使用したい場合には、String 型を指定しましょう。
ダッシュボード間の遷移をさせるのは使い方として載っているしアリっぽい。 上の例では、ダッシュボード 2 に単に遷移するだけです。もしここにさらにフィルターを追加したい場合には、URL にパラメーターを埋め込むことができます。ダッシュボード 2 にフィルターで利用されている Source というパラメーターがある場合には、以下のように URL を指定することで、フィルターを適用した状態でダッシュボード 2 を開くことができます。 https://us-east-1.quicksight.aws.amazon.com/sn/analyses/296f170c-5370-4b18-9249-18a156b7fe94#p.Source=Feed 上の URL アクションを新たに追加することで、ダッシュボード 2 に単に遷移するだけでなく、ダッシュボード 1 でユーザーが選択した Source についてドリルダウンした形でダッシュボード 2 の画面が開かれるようになります（week パラメーターを両方のダッシュボードに追加することで、Source に加えて Week についてのドリルダウンして遷移できるようになります）。