みなさんこんにちは、インフォバーンKYOTOの可兒です。
INFOBAHN DESIGN LAB.（以下IDL）が2016年9月に大阪のhu+gMUSEUMで開催したKITchen（https://www.infobahn.co.jp/idl/kitchen/）デモ展示で、プロトタイピングした料理ナビゲーションシステムのセンシングについての解説と代表的なセンサやその活用事例について紹介します。ここではKITchenプロジェクトの詳しい経緯や内容に関しては以下のブログを閲覧いただくとして、勝手ながら割愛をさせていただきます。
●KITchen Talk：http://www.kitchen-talk.com/
さて9月に行った料理ナビゲーションシステムの体験デモ展示では、そこまで複雑な調理工程は再現せず、あくまで情報インターフェイスの”プロトタイピング”という位置づけで、比較的簡単に子供から大人まで楽しめる「パンケーキ」の調理工程を再現、ナビゲートするシステムを構築しました。
Fig.1
まず展示で行ったパンケーキの調理工程を以下に列挙します。
- パンケーキミックスが入っている容器(Fig.1-1)の中にチョコレート(Fig.1-2)を入れる
※5mm大ほどに粉々にしたもの
※今回はデモ展示用にアレンジしてチョコレートを入れています。 - 牛乳(Fig.1-3)を入れ
- 混ぜる
- フライパンに入れる
- 焼く※表
- ひっくり返す
- 焼く※裏
- 皿に出す
※展示では牛乳やパンケーキミックスの粉を準備する工程までは、事前に運営スタッフが用意。
そして上記の工程の中で、体験者の視線の範囲に次の工程や行動を促すグラフィック表示を行っていますが、その”次”の工程を適切なタイミングで表示するため、センサを使って検知し、工程を進めるようにデザインしています。
上記のパンケーキの工程の中で、次へ進めるトリガーとなるアクションを洗い出したところ、
Action A.1の「パンケーキミックスが入っている容器の中にチョコレートを入れる」の入れた
Action B.2の「牛乳を入れる」の入れた
Action C.3の「混ぜる」の混ぜ終わった
Action D.4の「フライパンに入れる」の入れた
Action E.5の「焼く※表」のいい感じに焼けた
Action F.6の「ひっくり返す」のひっくり返した
Action G.7の「焼く※裏」のいい感じに焼けた
Action H.8の「皿に出す」の皿に出した。
といったものがあり、今回これらを簡易的にもセンシングして次のステップへと送っています。それでは、それぞれの工程でどういったセンシングをトリガーにしているか見ていきましょう。
その前に前提条件として、Fig1-1の容器にはパンケーキミックス、Fig1-2の容器にはチョコレートの粉末、Fig1-2の容器には牛乳が予めセットされています。
Action A:光量検知
Fig1の2にある黒い円形の台がありますが、この天板に照度センサ（光量を検知）が組み込まれています。そこで、
- 容器が上に置いてある状態（暗い）
- 容器を持ち上げてFig1-1の容器に入れる（明るい）
- 容器を黒い台へ戻す（暗い）
の暗い→明るい→暗いの一連の流れを検知して、Fig1-1の容器に”チョコレートを入れた”と認識しています。
Action B:光量検知
これはAction Aと同じく照度センサを使い、トリガー仕様は同様です。
Action C:時間管理、画像認識・解析処理
“混ぜ終わった”を検知するには、泡だて器にジャイロセンサや加速度センサを付け、どれぐらい回したかの活動量と経過時間を計算して、”混ぜ終わった”を正確に測るのが理想ですが、今回は簡易的にAction Bが終わった後に、平均的に混ぜ終わる時間を予め計測した秒数をタイマー管理して、次のステップへと送っています。
また混ぜる時にユーザが容器を手に持って混ぜるのは自然な行為だと思います。なので、このナビゲーションシステムでは、容器や調理器具、食材のすぐ近くに必要なグラフィック要素を表示するため、リアルタイムでユーザの動きに追従する必要があります。
そこでFig1-1の容器は人の動きを検知して、表示グラフィックが追従するよう実装しています。これはFig1-1の容器の取手に再帰性反射シートを貼り付け、キッチン上部より赤外線ライトを当て、シートで反射した箇所を赤外線カメラで画像認識・解析処理を行い、特定の箇所を検知して追いかけています。（Fig.2-1）
Fig.2
Action D:画像処理・色認識
次に”フライパンにパンケーキの材料（パンケーキミックス、牛乳、チョコレートを混ぜたもの）を入れた、垂らした”の検知ですが、フライパン上部からカメラを使いフライパンの色とパンケーキの材料の色の面積と画面内の動き（活動量）を解析、比較することで”フライパンにパンケーキの材料を入れ終わった”を検知しています。（Fig2-2）
Action E:時間管理
フライパンに材料を垂らした後の、表面の焼き加減の検知ですが、ここは材料を入れ終わった後、平均的にいい感じに焼きあがる時間を予め計測した秒数でタイマー管理して、次のステップへと送っています。
また展示会場のコンロ自体が最先端のスマートコンロを使用しているため、フライパンの表面温度を一定に保つ機能があり、時間管理だけで環境条件に依存せず焼き加減を一定の状態にすることが可能でした。この工程も実際はユーザの環境条件に合せてサーモグラフィーカメラなど別の検出条件で焼き時間を適宜ユーザの環境にアダプトするのが理想だと考えています。
Action F:画像処理・色認識
“パンケーキをひっくり返した”は、Action Dと同様にフライパンの色とパンケーキの焼き色の面積と画面内の動きを解析、比較して検知しています。
Action G:時間管理
この工程もAction Eと同じく、予め計測した秒数でタイマー管理して、次のステップへと送っています。
Action H:画像処理・色認識
最後の工程の”皿の上にパンケーキ出した”は、Action Dとは逆で、パンケーキの焦げ目の色が画面上から消えた（面積が激減）したということを検知して、次へ送っています。
今回の展示は、色々な制約がある中、一定の環境条件を揃えた上での一連の体験デモでしたが、パンケーキを作る工程はほぼ自動化が図れました。このシステム自体は、次世代のインターフェイスの研究開発という位置づけでのプロトタイピングのため、ネットワークとは繋がっていませんが、昨今バズワードになっていますIoT(Internet Of Things)として、こういった調理体験や行為の中のユーザのクセや行動履歴を収集・分析することで、将来的にはパーソナライズ化されたナビゲーションシステムへと拡張できると考えています。
IoT時代の到来を迎え、こういったさまざまなセンシング技術が重要な役割を果たす時代になるでしょう。IDLでは、プロトタイピングするにあたり、様々なセンサやセンシングについてリサーチと選定、検討を繰り返してきました。最後に、それらの経験から代表的なセンサ類とその活用事例について、簡単に紹介したいと思います。
センサと活用事例
さてみなさんセンサとはそもそも何でしょうか？
まずは五感で考えてみましょう。
人の五感は、視覚、聴覚、触覚、味覚、嗅覚とされています。これら五感は何のためにあるかというと、我々人が外部の情報を知るために備わっているものです。
何のために備わっているかというと、例えば、熱いものを手で触った時には、反射的に手を引っ込めます。これは手が”熱”を検知し、”熱い”という情報を処理して手を引っ込めたわけです。このようにセンサとは外界で起こるさまざまな物理現象を検出するものと定義できます。
IoTの世界では信号はすべてデジタルである必要があり、我々の現実世界で起こっている物理現象をデジタル信号として変換する機能が必須なため、センサは読み取り情報によって、様々な種類が存在しています。
[温度・湿度センサ]
- エアコン制御
- 体温測定
- 気象データ、ビニールハウスの温度
- 湿度管理
- 人の侵入を検知する人感センサ
- 工場における製造ラインの温度計測
- 給湯器、風呂
etc…
[光センサ]
- テレビのリモコン
- デジタルカメラ
- 太陽電池
- 光学マウス
- CD/DVD/Blue-rayのピックアップ部
- パソコン画面の自動照度コントロール
- ATM（現金自動預け払い機）での紙幣有無の検知
- 釣銭機のカード検知・硬貨検知
- 自動販売機の硬貨検知・紙幣検知
- 自動販売機の自動照明
- 駅の自動改札の切符検知
etc…
[地磁気センサ]
- スマートフォン、タブレットなどでマップ機能等に活用される高精度な電子コンパス
- 自動車のナビゲーション機能
- 医療分野のMRI（Magnetic Resonance Imaging：核磁気共鳴画像）装置
- ノート・パソコンのパネルや冷蔵庫のドアの開閉検知
etc…
[加速度センサ]
- スマートフォンなどのモバイルデバイスでの進行方向の検知や歩数の検知
- モバイルデバイスの縦横検知
- ラップトップPCの自由落下検知
- 精密機器の衝撃検知
- プロジェクターの台形補正
etc…
[ジャイロセンサ（角速度センサ）]
- デジタルカメラの手ブレ補正用のブレ検知
- カーナビの車が曲がった検出
- ゲーム機のコントローラー傾き、回転検知
etc…
[圧力センサ]
- 血圧計
- 病院のエアーベッド
- さまざまな物のひずみ検知
etc…
[流量センサ]
- 水・そのほか液体・空気・ガス・薬品・蒸気等の流れる量を検知
- お風呂の給水、および排水検知
etc…
「モノのインターネット」と言われている時代、このように生活空間の中で多種多様に使われてきたセンサやモノがインターネットを介して互いに情報を共有・分析を行い、新しい体験や価値、有益な情報を生み出すことで、これまで実現できなかったような魔法のような世界が創り出される日も近いかもしれませんね。