JUNのブログ

JUNのブログ

活動記録や技術メモ

#Procon29に参加した。

注意!!
この記事に有益な内容は含まれておりません。プログラムに対する知見などは得られません。

みなさんこんばんは。今回は10/27~28に徳島で行われた 全国高等専門学校プログラミングコンテスト (通称:プロコン)の競技部門(人力部門) に参加してきたのでそれについて書きたいと思います。ちなみにプロコンは初出場です。

正直最初はあまりにひどかったので書く気はなかったのですが、他高専の人たちが書いてるのを見て書きたくなったので書きます。

最初の注意書きにも書いていますが、この記事に有益な内容はほとんどありません。

5月

プロコンの競技部門の概要を見ていました。
ルールを見た感じなんかAlphaZeroの手法使えばいけるくね? と思って教官に「少し競技部門興味あります」って言ったら競技部門プロジェクトリーダーになっていました。

しかし、うちの学校では競技部門は人気がなく人が集まりませんでした。仕方ないので機械科3年の友達(以下M3と呼ぶ) を誘い無理やり入れました。あとは、解体されたプロジェクトから情報科2年の子(以下I2と呼ぶ) が来ました。これでメンバーが3人集まりました。

6,7月

プロコンのルールに従ったゲームのプログラムを作りました。 この時点で情報科の子はミーティングなどにだんだん顔を出さなくなってきました。(やばいね)

7月らへんに AlphaZero の手法である MCTS+NN について調べはじめました。

8,9月

8月

何もしていません。
そして開発者は基本僕1人なので本当になにも進んでいません。

私はインターンとかセキュリティキャンプとかHackUとかいろいろしてました。

9月下旬

そして、後期が始まりました。ここで衝撃の事実が発覚します。

I2が起業するために休学してました。

まぁ正直彼はコード1行どころか1文字も書いていなかったので正直問題ありませんでした。しかし、本当の問題は 人数が足りない ということです。
もともとうちのチームは3人しかいなく、競技部門のルール上チームは最低3人必要でした。なのでこのままでは本番に出られません。

どうしたもんか...と悩みました。

10月

ここで1年生の情報科の子が入ってくれました。これで一応大会には出れます。

プロコン1ヶ月前になりました。やっと私はコードを書くのを再開しました。

とりあえず時間が無いのでそのへんからMCTSとNNのコードをコピペして、それをゲームに合わせて書き直したりしてました。

ですが、そのままではうまくいきませんでした。
いくつかの原因を考えました。

  • 複数エージェントゲームである。
  • 不完全情報ゲームである。つまり、自分の行動が確実に盤面に反映されるとは限らない。
  • simultaneous game である。(日本語でなんて言うか知らない)
  • フィールドのサイズがランダム
  • フィールドのマスのスコアがランダム
  • ターン数がランダム

つまり、ランダム要素が多すぎるということが原因だと考えました。

そこで、私はいくつかの対策を行いました

複数エージェントゲームである。

1つのエージェントを扱うように2つのエージェントを操作できるようにした。
具体的には、(Agent1行動, (行動方向), Agent2行動, (行動方向)) を1つの行動としました。ただ、こうすると行動可能数が (8方向*2行動パターン)2 = 256 になり、流石に多い気がします。
なので、さらにここから価値の無い行動のゲームノードを作らないようにしました(正確にはUCB1の値に0を掛けた)。

不完全情報ゲーム & simultaneous game である。

ゲーム木を工夫して盤面を相互ターン制ゲームlikeな感じに表現しました。
要は、自プレイヤーが行動した次のノードは敵プレイヤーのターンというふうにしました。与えられる盤面は両者同じです。両者が意思表示が終わり盤面に反映されればその次のノードからはその盤面が入力として与えられるようにしました。

フィールドサイズがランダム

これはつまり、フィールドのinputのサイズが違うと学習できないだけの話なので、最大フィールドサイズである12*12のサイズの配列にフィールドを当てはめるようにしました。これにフィールドの範囲 内が1になっているチャンネルを加えました。

フィールドのマスのスコア&各マスのスコアがランダム

これに関してはよくある特徴量作り的な感じでそのスコアやターン数でカテゴリ番号を付けたりしました。 ただ、これに関しては失敗だったと思います。なぜなら、本番時フィールドのスコアにばらつきはほとんどなくスコアが1~5のマスがほとんどでした。

これらのことを私一人ですべて行っていました。もちろん昼間は学校があるのでコードは書けないので夜~朝に書いていました。 何回か過労で倒れました。あと授業はほとんど寝てました。

10月下旬(プロコン5日前)

多分間に合わないなと確信したのでソルバー開発を捨てました。(人力への完全移行)

一応なにもプログラムが無いというのはまずいと思い、申し訳程度のGUIアプリケーションの開発を始めました。一応ベースはM3が作ってくれていたので私はそこに各種ゲームロジックの組み込みとゲーム操作パネルの設置とスコア表示部分などもろもろを付けました。

10月26日 (プロコン前日)

この日は公欠で学校は休みで朝から徳島に移動しました。

徳島についたらホテルに向かいました。ホテルは東横インでした。東横インは初めてでしたが、とても快適に過ごせたのでこれから観光するときは利用しようかなと思いました。

夜はTwitterで普段絡んでる人達とラーメンを食べたりラウンドワン音ゲーをしたりしました。
めっっっっちゃ楽しかったです。

なおこの時点でGUIプログラムは完成していません。

なので、深夜5時くらいまで起きてコードを書いていました。

プロコン1日目

ここで本番前にやっと指示の出し方を決めました。あと指示塔は3人の中で一番賢いM3くんにやってもらいました(ありがとね)。
指示の出し方は指示塔から見て正面が1でそこから時計回りに1~8としました。そしてトランプが縦なら移動、横ならタイル除去という風にしました。エージェントの区別は黒と赤で分けました。

そして、予行練習前にGUIのやつが完成しました(偉いね)。 しかし、予行練習でデバッグ用のコードになっていてQRコード読み込み部分がコメントアウトされていて結局使いませんでした。

本番3試合しました。結果としては2勝1敗でした。しかし、私達は人力なので負けても正直何も思わないどころかむしろプログラムを使ってちゃんとプロコンしているところに勝ってほしいとみんな思っていました。

GUIプログラムについては途中でバグが発覚したため最初の2試合は使いませんでした。
3試合目、初めてGUIプログラムを使いましたが1ターンあたりの時間が短く入力が間に合わないので結局はじめの3ターンしか使っていませんでした。

Twitterのタイムラインを見ていると人力に切り替えているチームが多数見られたので「プログラミングコンテストとは...」と思いました。

この日は帰ってすぐ寝ました。

プロコン2日目

この日は敗者復活戦がありました...が、ぐだぐだでした。
運営が途中でトラブルを起こしタイムスケジュールが40分がずれて決勝戦も含めすべてのゲームのターン数が40ターンになったり、敗者復活戦4戦目のフィールドがルールの規定から外れていて再試合などなど...

私達のチームの結果は敗退でした。そうですか。って感じですね。(モチベ0)

残りの時間は他の高専生と喋って連絡先交換(Twitter)したり、裏プロコンを観戦したり、プロコンに来ていた知り合いのエンジニア数人と久しぶりに会って盛り上がったりと楽しかったです。

自由・課題・各種ブース

自由、課題共に面白い作品が多かったです。個人的にはフィリピンの大学が作った時間割制作システムが好きでした。

ブースについては TwitterでPFNがブースを出しているということなのでそこに行ってきました。 PFNブースにはかの有名な秋葉さんがいて、私が疑問に思っていること、最近の機械学習の流行りや各種技術の現状、技術や進路に対するアドバイスをもらえました。正直これだけでプロコンに参加して良かったって思うレベルで良かったです。

感想

とにかく、ソルバーを3ヶ月かけて作ったのに1ターンの時間の制約のせいで人力にせざるえなかったチームがいくつか見られたので本当に可哀想でした。来年はなんとかしてほしいものです。

私自身今回のプロコンに関しては当日や前日は楽しかったです。 正直それ以前はしんどすぎて楽しいのかどうかわかりません。今の気持ちはやっと解放されたという気持ちが大きいです。

正直に言うと今回のプロコンはトラウマレベルできつかったです。来年に関しては出るかどうかはわかりません。
面白いアイデアなどがあれば参加したいとは思っていますが、どうも私は鳥羽商船高専情報科のあの陽キャなノリについていけない気がするのでメンバーにもよるかもしれません。
ただ、最近プロコンに他にやりたいことを我慢して3ヶ月を費やすほどの価値があるのかわからなくなってきたのでどうなるかはわかりません。

あと、うちの学校で技術系の話で盛り上がれる人がほとんどいないのでプロコン前日のオフ会で技術関係の話で盛り上がったのは本当に楽しかったです。また一緒に遊んだり喋ったりしたいです。

あと、うちの競技部門担当教官にはとても感謝しています。様々なサポートをしてくれましたし、「ソルバーは多分完成しません」って言った時に責められなかったのは助かりました。あとはいろいろ教えてくれたり、プログラムを手伝ってくれたり今回のプロコンにおいて最も感謝している人物です。

とりあえず、プロコン関係者、阿南高専の学生、プロコン参加学生の方含めすべての関係者のみなさんお疲れ様でした。
来年は出るかはわかりませんが、もし出ることになったら来年は都城でお会いしましょう!

HackU2018大阪 で優秀賞を取った

タイトルのように HackU 2018 大阪大会 にて優秀賞を頂いたのでそれについての記事です。

ちなみに去年のHackUでも同じように優秀賞を取っており、2年連続優秀賞です。

今年こそ最優秀賞を取りたかった...!!

↓去年のHackU↓

jun-networks.hatenablog.com

作ったもの

youtu.be

簡単に説明すると、
写真のスコアリング+写真加工をしてくれるLINEBOT
です。

詳しい内容はYouTubeの方を見てもらえばわかると思います。

感想

今年も優秀賞取れて良かったです。という感じでしょうか。

プレゼンテーション見てもらえばわかるんですが、実は今回なぜか本番時にLINEBOTからの返信が予定していたより遅かったので、画像が返ってきたのが残り0秒のときで、正直すごく焦りました。
けど、最後はちゃんと表示できたのでとても安心しました。思わず声が出てしまいましたw

開発秘話てきなものとしては、今私はインターンシップに行ってて、相方も相方で忙しくて、それもあり開発を本格的に始めたのは2日前だったりします。
2日で開発し、そして私が横浜から夜行バスで大阪帰ってきてすぐにスライド制作を初めて、できたのが発表開始20分前くらいでした。
こんな状態でしたが、プレゼンテーションは結構いい感じに喋れたんじゃないかなぁと思います。

あとは、自分の展示に忙しくて他のチームの作品をほとんど見れてないのでもっとちゃんと見たかったですね。(毎年言ってる)

HackUは私がプログラミングを始めた年から毎年参加していて今年で3回目の参加でした。
基本的に何かを考えてそれを実際に作るというのが好きなので来年も出たいと思います。

来年こそ最優秀賞取りたい...!

usermod -G をしてしまい sudo が使えなくなったので直した

wiresharkを入れようと思ってサイトのコマンドをコピペしてたらいつのまにか usermod -Gをしてしまっており root権限が必要なすべて作業ができなくなった。

usermodでグループを追加するのは危険
ここにも書いてあるとおり、usermod -Gをしてしまうと既存のグループを上書きしてしまうので絶対にやってはいけません。この記事は私のようにすでにやらかしてしまった人のためのものです。 ちなみに安全なグループの追加方法は usermod -aです。

環境

Linux MintUbuntuベースのディストリビューションなのでUbuntuの方も同じようにいけます。

直し方

万が一のために大事なデータはUSB等の別の場所に保存してから作業をしてください!

起動時にEscキー(Shiftキーの場合もあり) を押しながら起動し、grubを起動。そしてリカバリーモードがあるのでそれを選択。

そこでまず fsckを選択して read/writeモードでマウントし直す。

そして次に root Drop root shell prompt でrootログインして、 gpasswd -a user_name sudo とする。

su user_nameで自分のユーザーに切り替えて、sudo cat /etc/groupなどをやってみて確認。

参考にしたリンク

MySQLで突然出てきたエラー"Data too long for column 'hogehoge' at row 1"" を直す

追記

---

本来ははこっちの直し方でいけます

 

MySQLを使っている時に、ファイルへのパスが100文字超えるとエラーが起きるが、それは*FileField*の*max_length*を指定すれば直る [Django - Increase FileField length](https://stackoverflow.com/questions/26575635/django-increase-filefield-length)<br>

でも、この記事の内容はわしがちょくちょく見返すので残しておく

 

環境

Djangoのデータベースを sqlite3 から MySQL に移行したら起きた問題。

Data too long for column 'hogehoge' at row 1

これはなんなのかというと、「桁数あふれてるよー」ってMySQLが言ってる。
で、なんでこんなことになっているかというと、MySQLのデフォルトの設定がオーバーフローしたらエラーを返すようになっているから。だからそれを変更すればいい。

これの直し方は

$ sudo vim /etc/mysql/my.cnf

my.cnfの [mysqld] にこれを書き加える

[mysqld]
sql_mode=''

あとは再起動すれば

$ sudo /etc/init.d/mysql restart

これで直りました。

 

MySQLとDjangoをつなげる手順

この記事はそもそもMySQLすらダウンロードしてない人向けです。

Djangoのプロジェクト自体は作成済みを想定しています。

環境

  • OS: LinuxMint 18.3
  • Django == 2.0.6

各種インストール

MySQLをインストール

$ sudo apt-get install mysql-server

インストール途中にパスワードを設定するように求められるので設定してください。

DjangoMySQLをつなげるPyMySQLをインストール

現時点で(2018/06)デフォルトでインストールされる PyMySQL==0.7.9 は致命的なバグが含まれているためこちらではバージョンを指定してインストール。
バグについてはこちら

$ pip install PyMySQL==0.8.0

MySQL周りの設定

日本語(UTF-8)

文字化け対策です。

$ sudo vim /etc/mysql/my.cnf  # MySQLの設定ファイルを変更する

以下を書き加える

[mysqld]
character-set-server=utf8
skip-character-set-client-handshake
default-storage-engine=INNODB

[mysqldump]
default-character-set=utf8

[mysql]
default-character-set=utf8

MySQLを再起動する

$ sudo /etc/init.d/mysql restart

ログイン

$ mysql -u root -p

データベースの作成

mysql > create database test_db;

ユーザーの追加

ユーザー名:testuser パスワード:password ホスト名:localhost

mysql > create user `testuser`@`localhost` IDENTIFIED BY 'password';

ユーザーにデータベースの操作権限を付与

対象:testuser@localhost 対象のパスワード:password 操作できるDB名:test_db

mysql > grant all privileges on test_db.* to testuser@localhost IDENTIFIED BY 'password';

ログアウト

mysql > \n

これでMySQL側の設定は完了です。

Django側の設定

settings.pyを編集する

settings.pyの DATABASE の部分を書き換える

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'test_db', # DB名を設定
        'USER': 'testuser', # DBへ接続するユーザIDを設定
        'PASSWORD': 'password', # DBへ接続するユーザIDのパスワードを設定
        'HOST': 'localhost',
        'PORT': '',
        'OPTIONS': {
            'init_command': "SET sql_mode='STRICT_TRANS_TABLES'",
        },
        'TEST': {
            'NAME': 'test_sample'
        }
    }
}

PyMySQLを使えるようにする

manage.pyにこれを書き加えてください。

import pymysql
pymysql.install_as_MySQLdb()

書き加える場所はどこでもいいと思います。私は import の下に書き加えてます。

終わり

これで

$ python manage.py makemigrations
$ python manage.py migrate

とすれば終わり!!

参考リンク

codelab.website

qiita.com

qiita.com

Django2.0とMySQLを繋げようとするとエラーが起きる(PyMySQL)

環境

このサイトに沿ってMySQLDjangoを繋げようと思ったら

django.core.exceptions.ImproperlyConfigured: mysqlclient 1.3.3 or newer is required; you have 0.7.9.None

と言われてできない。

これはPyMySQLのバグで公式でも報告されている。Compatibility with Django 2.0 #610

で、これは既に解決されており、PyMySQL==8.0.0では解決されている Bump MySQLdb version from 1.2.6 to 1.3.12 #623

なので、現在(2018/6)pipでデフォルトでインストールされる PyMySQL==0.7.9 ではなく PyMySQL==0.8.0 を入れればいい。

pip install PyMySQL==0.8.0

これでいけるはず。

ThinkpadX1Carbon でOpenCVでビデオキャプチャしようと思ったら緑画面が出てきた問題

多分これは Thinkpad 買うときにIRカメラつけた人だけ起こる問題。

import cv2

cap = cv2.VideoCapture(0)

while 1:
    ret, img = cap.read()

    cv2.imshow('img', img)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break

cap.release()
cv2.destroyAllWindows()

このプログラムでビデオキャプチャしようと思ったら何故か緑色の画面が出てきた

f:id:JUN_NETWORKS:20180623211241p:plain

実はこれカメラじゃなくて、IRカメラが動いています。その証拠にプログラム実行中はカメラの横の赤いLEDが光っていると思います。

で、これの解決方法は簡単で、

cap = cv2.VideoCapture(1)

とすれば直ります。

要は、この cv2.VideoCapture(0)0/dev/video0 を指していて、video0はIRカメラになっているので、 /dev/video1 は普通のカメラなのでそっち指定してあげればいいだけの話

これに気づかなくて30分くらい消費した。

あ ほ く さ