IoT検定対策6章 プラットフォーム

プラットフォーム

クラウド

分散処理

  • Apache Hadoop
    • HDFSHadoopファイルシステム。マスタであるNameNodeと、スレーブであるDataNodeから成る。入力データはDefault128MBのDataNodeに分散配置され、その配置場所を示すメタデータがNameNodeに格納される。NameNode自身もHA構成に対応している。
    • Map Reduce:分散処理アルゴリズム。Map、Shuffle、Reduceの3段階に分けて並列処理を行う。
      • Map:入力データから処理するデータとキーを抽出する。
      • Shuffle:データの入れ替えを行い、複数のサーバに分担する。
      • Reduce:複数のサーバで処理を実行し、結果をまとめる。
  • Apache Spark:インメモリで動くApache Hadoop
  • Apache Storm:センサデータなど、ストリームデータの分散処理に向いている。
    f:id:camelrush:20200825000220p:plain

データ処理

  • RESTフレームワーク
    • ステートレスであること
    • 操作メソッドを統一していること(GET/POST/PUT/DELETE)
    • URIでアドレスを可視化してわかりやすく。セッションIDは含めないこと
    • 情報に他の情報や状態を、(HTMLやXMLなどで)含めることができる
  • JSON
  • Python
  • Node.js
    • C10K問題。
    • MEANスタック:Node.jsによる親和性が高いフレームワーク同士をつないだシステム構成のこと。MongoDB、Express、Angular、Node.js の組み合わせを指す。