2020年を振り返って
ブログ更新をサボりすぎて、年末に4記事書くことになりました。
来年は計画的にやりたいです。
そんなわけで、年越し直前ですが2020年を振り返ります。
今年は本当にあっという間に過ぎ去ってしまいました。
1月になんとか卒論を書き終え、卒業旅行に出かけて帰ってきてからは、リモートでずっと家にいた気がします。
卒業旅行については、詳しくは以下2つの記事にまとめました。
4月に期待を胸に入学した大学院の授業は、フルリモートでの開講となりました。
アルバイトもこの頃リモートになり、完全に家から出なくなりました。
1月にデスクトップを組んでいたのがラッキーで、在宅ワーク環境としてはストレスフリーでした。
しかし家に籠もって堅いキーボードを叩く状況が延々と続き、腱鞘炎が再発したので、急遽HHKBを導入しました。
さすがに最高のキーボードですね...どんなに辛い作業でもキーボードを叩く喜びで頑張れる気がします。
とはいえ、自分は家では集中できないタイプなので、リモートワークに慣れるまでに少し苦労しました。
今年は大学院の授業をこなしつつ、空いた時間はアルバイトや業務委託をこなしました。
おかげで基本的な開発の知識を得ることができて、自信になりました。
一方で、業務に追われるあまりインプットの時間を全然取ることができなかったので、最近は出がらし状態という感じです。
これは悪い見本なので、これから大学院に進学される方はアルバイトをしすぎないようにするのが良いです。
研究活動については、7月に卒論の続きの内容をまとめて研究会で発表して以来、あまり大した進捗を埋めていません。
来年こそは初心を思い出して進捗を生みます...🖋
近況としては、就職活動を始めました。ファーストキャリアとしてはプログラマーになる予定なので、ソフトウェアエンジニア職に絞ってやっています。
良い報告が出来るように頑張ります。
また、諸事情で11月に実家から引っ越して、弟と2人暮らしをしています。
まだ環境の変化に慣れていませんが、研究室に30分ぐらいで行けるようになって通学が楽になりました。
まとまりのない文章になってしまったので、細かく近況報告することを来年の抱負に加えたいと思います。
そして、本日23歳を迎えてしまいました、感慨深いですね...
皆さんよいお年を！
卒業旅行〜トルコ&ギリシャ&ハンガリー周遊編〜
サークル同期との卒業旅行として、今年の2月9日〜2月24日の約2週間、トルコ・ギリシャ・ハンガリーを周遊してきました。
サークル自体の活動は主にアジアの国々を対象としていたのですが、卒業旅行ということでヨーロッパにも進出しました！
メンバーが皆、海外旅行慣れしている&&日程が合わないため、現地集合・途中抜け/途中参加あり、というクレイジーな旅でした。
さすがに4年間海外旅行に行き続けた結果、海外旅行の荷造りはほぼ完璧に出来るようになりました(特技?)。
トルコ
最初の行き先はトルコでした。ドバイ経由で乗り継いで、20時間以上かけて移動して、イスタンブールに到着しました。やはりエミレーツ航空は神ですね。
そこからさらに国内線に乗り、カッパドキアの最寄りであるネヴシェヒル空港に到着しました。
カッパドキア
ネヴシェヒル空港は思ったより小さくて驚きました。カッパドキア観光の拠点となるギョレメまでは、乗り合いのシャトルバスを利用しました。
夜遅くの到着でかなり冷え込んでいてタクシーなども見当たらなかったので、予めバスを予約していなければ詰んでいたと思います。先に到着していた友人たちとなんとか合流することができました。
ギョレメでは、いわゆる洞窟ホテルに泊まりました。カッパドキアらしくて良かったです。
ギョレメは雪化粧を纏っていて、テンションが上がりました(朝晩は普通に氷点下を切っていたので、寒さは厳しかったです...)。
なお、「カッパドキアといえば気球でしょ」みたいな風潮があると思いますが、冬は強風のため滅多に飛ばないそうです。
なので、自分たちも滞在中に気球を見かけることはありませんでした。気球目当てで旅行される方は注意してください。
カッパドキアではツアーに参加し、奇岩を見て回りました。独特の雰囲気が最高でした。
イスタンブール
カッパドキアは2泊で切り上げ、2月12日に国内便でインスタンブールに移動して、途中参加の仲間と合流しました。イスタンブールには2泊3日の滞在でした。
イスタンブールはカッパドキアとはうってかわって暖かく、過ごしやすかったです。
市内ではガラタ橋周辺やハギア・ソフィア、ブルー・モスク、トプカプ宮殿にバザールなど、定番どころを回りました。
2大陸に跨る都市ということで、旧市街と新市街でアジアとヨーロッパの違いなども感じることが出来て、非常にユニークな場所でした。
ちょっとした移動は公共バスが便利で、手軽に移動が可能です。
ガラタ橋では、多くの人が海に向かって釣り糸をたらしていました。あれは何を狙っていたんだろう...自分も混ざりたかった。
トルコはとにかく、食の満足度が高かったです！
ガラタ橋付近で河口を眺めながら食べるサバサンドは絶品でした。
飛行機に乗る前に、駅前で買って食べた濡れバーガーも美味しかったです。
2泊3日はかなり駆け足で見損ねた場所もあったので、いつかもう一度ゆっくりイスタンブールに滞在したいです。
カフェ文化が豊かなので、ワーケーションにも最適だと思います。
ギリシャ
ギリシャは少し長めで5日間の滞在でした。ギリシャと言えばミコノス島とか島巡りが有名ですが、冬はオフシーズンでお店が空いてないらしいです。
そこで我々は、アテネを観光した後にメテオラに足を伸ばす計画にしました。
アテネ
アテネはトルコよりも温暖で、半袖でも良いかな?という日もありました。
さすが地中海性気候(Cs)、街路樹にオレンジが生えているのを見て「教科書通りだ！」と感動しました。
ちなみに、街路樹のオレンジは全然美味しくないらしいです。
アテネは、普通のヨーロッパの街並みの中に遺跡が点在している感じで、ギャップが面白かったです。
駅の中にも史跡の解説や石像があったりして、「ギリシャっぽいな〜」と感じました。
アテネ観光では遺跡や博物館などがメインでした、めちゃめちゃ良かったです。
もう少し世界史やギリシャ神話に詳しければ得るものが多かったと思います、またリベンジしたい🔥
ところで、アテネは治安がかなり微妙でした。街中も落書きに溢れていて、夜は出歩くのが怖かったです。
デフォルトした国はこうなるのか、と感じました。
そして事件は起こりました。観光から宿に戻る最中に、メンバーのうち自分含めて3人が不審者に化粧クリーム(?)をかけられました。
これ「名探偵コナンで見たやつだ！」と思いました。
アイスクリーム強盗と呼ばれるもので、故意にアイスクリームなどを服につけて「服が汚れてますよ、カバン持ちましょうか?」などと言って貴重品を盗む手法です。
確かに不審な男が声を掛けてきたので、メンバー全員で脇目も振らず宿に戻りました。
誰も被害には合わなかったのが幸いですが、テンションはかなり下がりました。
メテオラ
そんなこんなで、アテネからメテオラに移動しました。長距離列車で早朝から移動し、昼過ぎにはメテオラの最寄りのカランバカに着きます。
1日でメテオラ観光をしてアテネに帰る人もいるそうですが、自分たちはゆっくりしたかったので1泊することにしました。
メテオラは端的に言って最高でした。メテオラは世界遺産の一つで、奇岩群の上に修道院が絶妙なバランスで建築されています。
かつて昔、修道士たちが岩を登って命がけで建築を行ったそうです。今でも現役の修道院もあり、修道僧たちが修行を行っているそうです。
アテネから遠く離れて、まるで異世界に来たような神聖さを感じました。
この日は12kmほど歩いて各修道院を回りました、心が洗われるような感覚でした。
さて、メテオラでも事件は起きました。
夕方に予約していた帰りの列車がストライキで走らなかったのです。こんなことある???
次の日の早朝にハンガリー行きの飛行機だったので、今日アテネに戻れないと完全に詰みです。
急いで高速バスを探すと、幸いにもアテネ行きの最後の一便に飛び乗ることが出来ました。
しばらくギリシャ旅行は嫌ですね...
ハンガリー
とにかくドナウ川沿いの街並みが綺麗でした。
またブダペストの観光では、マーチャーシュ聖堂の内装がとにかく美しかったです。
今まで訪れた教会の中でも一番でした。
ブダペストでは、他にもオペラを観たり温泉に入るなどして、ゆっくり過ごしました。
ブダペストでは、アンダンテホステルという日本人宿に泊まりました。
とても良くして頂きました、おすすめの宿です。
あと、ブダペストで飲んだ貴腐ワインのトカイワインが美味しかったです。お土産に買い込みました。
ブダペストは街並みが美しく、落ち着いた雰囲気が流れていました。
見所も多いですし、温泉などに入りつつゆっくりして体勢を立て直すのに最適な都市だと思いました。
最後に
色々とハプニングもありましたが、学部生活を締めくくる最高の旅行でした。
一緒に旅行してくれたサークル同期の皆には感謝です。
アジアの国々はカオスな印象を受けがちですが、ヨーロッパは何だか落ち着くような気がしました。人口密度のせいでしょうか？
今はコロナウイルスのせいで海外旅行が憚られますが、気軽に異国を訪れることができる日常が戻ることを願ってやみません。
卒業旅行〜コタキナバル編〜
みなさま、いかがお過ごしでしょうか。
今年の春の卒業旅行について、記事にしようと思っていたら12月になってしまいました。2020年も残り少ないですが、駆け足で記録を残したいと思います。
コタキナバル訪問
2月3日〜2月7日の5日間、高校同期2人とマレーシアのコタキナバルを訪問しました。コタキナバルは、マレーシアのボネルオ島・サバ州に位置する都市です。マレーシア最高峰のキナバル山があることで有名ですね。
卒論発表を1月末に終えて、春休みが始まってすぐの出発でした。まず、出国から難易度が高かったです。
行きのフライトは安さを優先した結果、エアアジアの成田9時30分発の便にしました。文字通り始発で最寄駅を出発して、なんとかチェックインに間に合いました。もう二度とやらん。
ところが、預けるつもりで荷造りをしてきたのに、チケットは持ち込みにしてしまっていたので、ナイフ類などは空港のロッカーに預けて、そのまま旅立ちました(到着は羽田だったのですが、その直後に成田発の次の旅行があって良かった！)。
持ち込めるサイズのスーツケースじゃなかったら、高額な変更料金を払うところでした、危ない...
コタキナバルには、クアラルンプールで乗り継ぎました。
旅のハイライト
コタキナバルでは、近隣の島を訪れるアイランドホッピングが人気らしいです。今回はサピ島に行きました。海が青くて綺麗でした！
またコタキナバルから少し遠出して、キナバル山の麓の国立公園のツアーに参加したりもしました。
森林浴を楽しみました。森の中の吊り橋を渡る経験は初めてでした。
ツアー中に本物のラフレシアを見れたことが地味に嬉しかったです。謎に包まれていて栽培が難しく、Wikiによれば「花を咲かすのには2年かかるが、花が咲いたら約3日で枯れてしまうので、目にすることは難しい」らしいです。
農家の敷地内に自然発生していたようで、しっかり入場料を取られました。
他にも、Grabで「夕日が良い感じに見える場所」まで案内を頼んだら高級ホテルに案内されてそのまま回れ右したり、サンダカンにも飛行機で足を伸ばす予定だったのが朝起きる気力が無くてやめたり、などハプニング(?)もありました。
5日間でコタキナバルを満喫しました。
一つ残念だったのが、コロナウイルスの影響により観光名所の一つである州立モスクに入場できなかったことです。涙を飲んで外から写真を撮りました。
まとめ
直前まで卒論などでバタバタしていて、行き当たりばったりな部分もあったのですが、楽しい旅でした。
「南の島でのんびりしたい」という、自分のわがままに付き合ってくれた2人には感謝です🙏
AWS Elastic Inferenceのススメ
今年アルバイト業務でよくお世話になった、AWS Elastic Inferenceについて紹介します。
Elastic Inferenceとは?
ディープラーニングなどの重たいデータ処理を行う際に、従来はグラフィック描画に用いていたGPUを計算に用いるのが一般的になってきました。
AWSでもGPUリソースを利用することが可能ですが、コストがかかります。AWS EC2でGPUインスタンスを利用すると、そこそこのスペックでもあっという間にクレジットが消えますよね。
スポットで学習を行うだけなら良いかもしれませんが、ディープな推論を行うようなAPIサーバーを作る時に、GPUインスタンスの維持費はバカにならないものがあります。
そこでAWS Elactic Inferenceの出番です。EC2にGPUインスタンスではなくCPUインスタンスを利用しつつも、アクセラレーターであるElastic Inference(EI)をアタッチすることで、従来よりも低コストで高速な推論を行うことが可能になります(学習はできません)。GPUリソースを推論の時だけピンポイントに使えるようになるイメージです。
参考:
https://aws.amazon.com/jp/machine-learning/elastic-inference/features/
どうやって使うの?
EC2の起動ではCPUインスタンスを選びます。
いつもの設定の他にやることとしては、
・「Elastic Inference」の項目をチェック
・EI用のAMIロールを作成
・EI用のセキュリティグループを作成
・EI用のVPCエンドポイントを作成
の4つです。
tensorflow servingのsaved_modelを用意すれば、AMIの仮想環境に入って以下のようなコマンド一発で推論サーバーを起動できます。
$ EI_VISIBLE_DEVICES=<ordinal number> amazonei_tensorflow_model_server --model_name=ssdresnet --model_base_path=/tmp/ssd_resnet50_v1_coco --port=9000
(model_base_pathには絶対パスを指定することに注意)
参考:
https://docs.aws.amazon.com/elastic-inference/latest/developerguide/ei-tensorflow-python.html
https://qiita.com/brownbro/items/00a135e6e7fefeda50a4
嬉しい点
AWS公式によれば、ディープラーニングの推論を実行するコストを最大 75% まで削減できるらしいです。EC2は従量課金なので、ずっとサーバーを起動しているとアイドル状態でもコストが嵩んでしまうため、これは嬉しいですよね。
・サーバー起動が手軽
サーバーのスクリプトを書かずに、モデルだけ用意すれば推論を行うことができます。推論サーバーの構築に時間をかけずに、他の本当にやりたいことに時間を割くことができますね。
参考:
https://aws.amazon.com/jp/machine-learning/elastic-inference/
嬉しくない点
・設定が煩雑
VPCの外側にあるためエンドポイントを作る必要があったり、HTTPSでの通信だったり、IAMポリシーが別途必要だったり、初めて使おうと思った時のハードルが高い気がします。
・Web上のナレッジが少ない
Qiitaですら2020年12月時点で該当タグの記事が3件しかないので、ちゃんと使おうとしても「何も分からない」状態になります。あまり情報が無いっていうことは、使う人が少ないんですかね...
・自動化がしづらい
インフラ構築の自動化は恐らくできるはずなのですが、CloudFormationやTerraformでサポートされているとは言い難いので、現状多分AWSの中の人にしか分からない感じだと思います。設定の煩雑さが自動化を困難にしている気がします。
・EKSで管理しづらい
一応EKSではサポートされていて起動テンプレートもあるのですが、EI付きのノードグループを既存のVPCに突っ込むとか、複雑なことをしようとすると方法が分からないという問題があります。
参考:
https://github.com/aws-samples/amazon-elastic-inference-eks
終わりに
簡単な内容ではありますが、Elastic Inferenceについてまとめてみました。
ディープな推論サーバーを手軽に構築したい場合に、導入を検討してみてはいかがでしょうか。
DPDKによるパケット処理高速化イントロ
本記事では、自分が某通信会社研究所のサマーインターンで学んだことをシェアします。
クラウドネイティブ導入への期待
モバイルインフラにも、クラウドネイティブ導入の期待が高まっています。
従来のモバイルインフラでは、高いコストを支払って専用ハードウェアを調達しており、特定のベンダに依存してしまっているという背景がありました。
そこで近年では、NFVを用いた仮想化が導入され、汎用機器を用いたインフラの構築化が進められてきました。
しかし、単なる仮想化だけでは上手く行かず、以下が問題となってきます。
・管理コストの増大（物理リソースに加えて仮想リソースの管理が必要）
・仮想化によるパフォーマンスの低下
・運用が煩雑でスケールしない
そこでクラウドネイティブ技術を用いたオーケストレーションの導入により、これらの問題を解決したいというモチベーションがあるそうです。
とはいえ、クラウドネイティブの導入にも以下のハードルがあり、道のりは長そうです。
・既存機能のマイクロサービスへの分割
・仮想化によるパフォーマンスの低下
・技術が未成熟で変化が激しい
・テレコム独自のCI/CDサイクル設計が必要（普通のWebサービスとは異なる）
・現行のシステムからのシームレスな移行
ここでは、仮想化によるパフォーマンス低下を解決するための技術として、DPDKを紹介します。
なお、ホストマシンのOSとしてはLinuxを前提として話を進めます。
仮想化によるパフォーマンス低下とは?
そもそも、仮想化によるパフォーマンス低下とは何なのでしょうか?
Linuxカーネル+仮想マシンの構成では、NICから届いたパケットはまずカーネルで処理され、そこからユーザー空間のVMに渡されます。すなわち、通常の場合に比べてカーネル空間における処理のレイヤーごとの遅延が乗っかってきます。
大量のパケットを捌くモバイルインフラではこれは致命的であり、パケット処理高速化の必要性があるというわけです。
この問題のアプローチとしては、FPGAやASICによる専用ハードウェアを作成して処理をオフロードさせるという方法もありますが、ハードウェアの設計・実装には時間がかかります。
ソフトウェア的な解決方法として、カーネルモジュールを独自実装するか、高速パケットI/Oライブラリの利用があります。前者は辛いので、後者が採用されることが多いようです。
DPDKについて
DPDKは高速パケットI/Oライブラリの一つで、物理NICとアプリケーションをバイパスし,ユーザー空間からNICをポーリングして制御するものです。
メリットとしては、カーネルでの処理をスキップしてNICとアプリケーションを直接つなぐので、カーネルによる処理のオーバーヘッドを大幅に解消することが期待できます。
一方デメリットとして、以下の点が挙げられます。
・対応NICが限られる
・必要なパケット処理をユーザーが全て実装する必要あり
・NICに対して1コアが占有される
DPDKの動作確認がしたかった話
インターンはリモートだったので、GCEインスタンス上で動作確認を試みました。
以下のような検証アーキテクチャを考えました。
結論から言えば、上手く動きませんでした...
高速化のベンチマークなど出したかったのですが、GCEの内部構成はブラックボックスな部分が多く、あまり色々触れる感じではありませんでしたね汗
とはいえ、雰囲気だけは掴めました。
以下のように、DPDKの起動によりコアが占有されることは確認できました。(vCPU×4のインスタンス)
具体的には、物理NICに触れず仮想NICに対して検証を試みたのですが、
・Promiscuousモードが無効でパケットフォワーディングできない
・アタッチするドライバによってカーネルパニックが起きる
など困難が多かったです(?)
少なくとも、DPDKはパブリッククラウドで使うものじゃないな〜という所感は得られました。
その他の考察としては以下の通りです。
・シングルコアでの性能は高そう、分散処理には疑問
・Hugepage上にバッファを置くので潤沢なメモリが必要
・コアを占有してしまうので、 利用率が低い場合はもったいない
いつか物理サーバーを構築してリベンジしたいです。
参考
[1]「ネットワーク仮想化の技術動向」, KDDI総合研究所, 2019年7月 https://www.soumu.go.jp/main_content/000633422.pdf
[2]「パケット処理の独自実装や高速化手法の比較と実践」, 海老沢・日下部, 2020年1月 https://www.janog.gr.jp/meeting/janog45/program/pktfwd
[3] 「情報畑で捕まえて」DPDK関連記事, 2019年9月18日アクセス https://www.ntt-tx.co.jp/column/DPDK.html
東大教養学部を卒業しました
本日は東京大学の卒業式でした、といってもコロナウイルスのせいで式自体は縮小開催でした。
スーツで本郷に行ったのですが、キャンパスはアカデミックガウンや袴を着た人たちで溢れていてエモーショナルな気分になりました。
駒場で受け取った学位記には学士(教養)と書いてありました、何だか強そうですね。
最後まで卒業できるか微妙に不安だったので、卒業できて良かったです(小声)
本当にあっという間の学部生活でした！
人に流されずに、主体的に過ごすことが出来た4年間だったと思います。
3Aの終わりに休学しようかめちゃめちゃ迷っていたのも、今となっては懐かしい記憶です。
色々な人との出会いがあり、尊敬できる友人諸氏にも恵まれ、とても刺激的な環境でした。
社会に出て働き始める友人も多いですが、自分はもう少し学生を続けます。
修士でも引き続き、一つずつ物事を積み上げていきたいと思います！
自作PCを組んだ話
デスクトップは中学の時に組んだものをだましだまし使っていたのですが、愛情を込めて組んだ(?)ので今まで現役で使えていました。でもそろそろWindowsの起動すらおぼつかなくなってきていて、最近はデュアルブートでUbuntuメインで使っていました。GPUもGTX650と古く、今どきのディープラーニングができるようなものではなかったので、お古は弟に譲り、3Dシミュレーションなど重たい開発もできるようなスペックのPCを買おうと思いました。メーカー品とかBTOも見たのですが、予算的に結局自分で組むことにしました。
構成はこんな感じです。
CPU: AMD Ryzen5 2600
GPU: Palit GeForce GTX 1660
メモリ: DDR4 16GB (8GB ×2)
ストレージ: SSD 960GB (480GB ×2)
電源: 500W (玄人志向)
PCケース: Thermaltake Versa H26 Black (ミドルタワー)
正月の初売りセールもあいまって総額は9万円を切るぐらいでした。同じスペックで組み立て品を買うと10万円を軽く超えてくるので、非常に満足です。
やっぱりPCの組み立てはプラモデルみたいで楽しいですね。 静電気に気を付けながら慎重に組み立てました。無事BIOS画面が出てきたのでホッとしました。
CPUは同スペック帯のIntel Core i5-9400Fも検討したのですが、Ryzen 2600の方が安かったのと、マルチスレッド性能が良いらしいのでこっちにしました。
SSDを2つにしたのはそれぞれにWindowsとUbuntuを入れようと思ったためですが、OSを切り替えるためにわざわざBIOSに入って再起動しないといけないのは誤算でした、まぁそりゃそうだ。
ノートパソコンのストレージが250GBでカツカツで、あまり入れたくなかったVMとかコンテナもたくさん入れられそうです。
これで修士もガシガシ開発していきたいと思います!
