mashup2017大阪予選に出た話

10月7,8日にmashup2017大阪予選に出ました。 今回はそれについての記事です。

つくったもの

ぬいぼう

ぬいぐるみの相棒で ぬいぼう

基本はぬいぐるみの中に組み込みまくった感じの作品

ぬいぼう 作品ページ

概要

対象は子供(3歳から7歳らへん)で、ぬいぐるみといろんなことができるというもの。

もとは子供が一人で留守番を任されたときに、一人だと寂しいよね じゃあぬいぐるみとお話できたら寂しくなくなるんじゃない？みたいな発想で生まれたもの

できること

• ものを見せると物体認識でそれが何か教えてくれる
• 雑談対話APIを使ってるのでお話もできる
• おじいちゃんとかとビデオ通話ができる
• ぬいぼうのLINEアカウントに「欲しいものを教えて」と送るとぬいぼうが子供に今欲しいものは何か聞いてくれて、それを親に教えてくれる
• 遊び要素として「しりとり」と 「だるまさんがころんだ」ができる

システム

• ぬいぐるみとダルマさんが転んだ
  • openCV
  • aquestalk
• ぬいぐるみと会話
  • docomoの雑談対話API
  • aquestalk
  • docomoの音声認識API
• ぬいぐるみが画像認識してくれる
  • Keras
  • OpenCV
• ぬいぐるみを通して、webでカメラの映像を見れる
  • Skyway
  • WebRTC
  • NCMB
  • React,Node.js
  • Heroku,Flask
• 親がLINEのBotを通して欲しいものを聞ける
  • NCMB
  • Heroku,Flask

予選振り返り

当日作品がちゃんと動く状態までできたのだが、音が小さいのでUSBスピーカを借りたのですが、そこでUSBスピーカを動かすためにラズパイのコンフィグなどをいじってたらなんとWEBカメラのマイクが動かなくなり、そこで2時間ほど使い、そこからエラーがずっと出続けて結局デモンストレーションの時間まで頑張って修正に修正を重ねたのですが動きませんでしたorz

賞を取る取らないの前にとにかく動くのを見せれなくてとても残念という気持ちが強いですね。。。

ぜひちゃんと動く状態のものをみてほしかった。。。

ですが、それでも個人賞をもらったので良かったです。

個人賞をくれた村岡さん、なぞのおじさん　ありがとうございました。

まだWeb選考があるので、粘れるところまで粘ってみようかと思います。

mashup自体とても楽しかったので来年もまた出たいという気持ちが強いと思うので来年も多分出ます。