h2load, apache benchによる負荷テスト

前回の記事で触れたApache JMeterやGatlingとは違って、今回試したのはシナリオとかもなくHTTPのリクエストを大量に投げて、スループットやレイテンシを計測してみたい時に便利なツール。 実際に試したのは次の2つ。他にも、wrkやvmbench、siegeが気になった…

Apache JMeterメモ

Website: http://jmeter.apache.org/ Apache JMeterを教えてもらったので、後で見返せるようにメモ。 Apache Software Foundationで開発されているオープンソースのJavaアプリケーション Webサーバーに対して複数のHTTPリクエストを送信し負荷をかけたり、JD…

Electronでニコ動のコメントみたいにTweetを表示するアプリつくった

知り合いのエンジニア(rayさん)がGTK3で作っていた nsd というのがあるんですが、結構いい感じなのでMacでも動くものが欲しかった。 Electronで似たようなことが出来ないか調べてみると、GTK3とかに比べて簡単にできそうだったので作ってみた。 ポイントは:…

PIPEによるプロセス間通信とselect, poll, epollの話

エキスパートPythonプログラミング 改訂2版 (アスキードワンゴ)作者: Michal Jaworski,TarekZiade,稲田直哉,芝田将,渋川よしき,清水川貴之,森本哲也出版社/メーカー: ドワンゴ発売日: 2018/02/26メディア: Kindle版この商品を含むブログを見る 先…

AWS LambdaのFunctionを開発するときのMakefile

AWS

自分用のメモ lambda-uploaderみたいなものもありますが、LambdaだけならAWS CLIで十分簡単に操作出来るのでMakefileを用意してみました。 API Gatewayに関しては、AWS CLIでやろうとすると1つのリソースあたり3個ぐらいコマンドを叩く必要があったり、AWS C…

AWS LambdaとAPI Gatewayを触ってみたのでメモ

PyCon JP スプリントの時に id:iktakahiro さんがLambdaの話をしていたのですが、Lambda + API Gatewayは覚えとくと便利そうなので試してみた。 Lambdaを触ってみる まずAPI Gatewayは考えずに、Lambdaを触ってみる。 調べてみたら、公式のドキュメントにも…

#pyconjp でWeb(WSGI)フレームワークの作り方について話してきました

昨年のPyConJPでは pandas-validator について話していたのですが、今回はトークセッションをしてきました。 Twitter見てると早速スライドを見ながら実装してくださってる方もいらっしゃって嬉しいかぎりです。 日本語のWSGIフレームワークの作り方の資料と…

PyCon APAC 2016 in KoreaでLTしてきた

昨年の台湾の開催につづいて、今年もPyCon APAC 2016 in Koreaに参加してきました。 PyCon APACについて PyCon APACは名前の通りアジア太平洋地域の人たちが集まるPythonのカンファレンスです。 昨年は台湾で開催されて700人ぐらいが集まりましたが、今年は…

Angular2のComponentライブラリ ng2-card を公開しました

Angular2の練習を兼ねて、ポートフォリオを書き換えていたのですがせっかくなので、↓のページのCard ViewのComponentをnpmに登録しました。 まだ結構雑な部分は残ってるのですが、とりあえず動くところまでできたのでAngular2のライブラリデビューです。 c-b…

Flask 0.11で追加されたコマンドラインインタフェースを追ってみる

本日ついに、Flaskのnew versionがリリースされました。めでたいですね! 前回のリリースが2013/06/14だったので、ほぼ3年ぶりです。 バージョンを1.0に上げるという話がありマイルストーンも立っていましたが、0.11としてリリースされました。 1.0にしなか…

Feedy(Python)でRSSフィードをいい感じに処理する

最近、RSSフィードをfetchしてゴニョゴニョ処理したいと思うことが多かったのですが、特に気にいるライブラリが無かった *1 のでFeedyというライブラリを作ってみました。 個人的には結構気に入っていて、便利に使えているので紹介します。 もともと欲しかっ…

Pythonを使ったデータ分析に関する内容をJupyter Notebookにまとめ始めました

研究をかれこれ2年半ぐらい続けてきたので、研究をする中で必要になった機械学習の手法について調べたりコードを書いたりしてきたのですが、まだまだ触ったことのない機械学習の手法も多く、研究で必要になる手法以外の知識も付けたくなってきたので、勉強し…

Golangでつくる検索エンジン(Webクローラ、MongoDB、Kagome、gin)

最近、Golangを書き始めたので勉強として、1年半ほど前にPythonで作っていたWebクローラと検索エンジンをGolangで実装してみた。WebフレームワークはFlaskの代わりにgin、Mecabの代わりにKagomeを使用、Datastoreは前回と同じくMognoDBを使ってます。 GitHub…

Python製WebフレームワークのURL DispatcherとType Hintsの活用について

少し前から趣味で実装してるKobinというWebアプリケーションフレームワークのURL Dispatcherの実装をする時に、BottleやDjangoを参考にしながら考えてみました。 これらの比較とType Hintsを利用したKobinのURL Dispatcherの実装についてまとめます。 (追記)…

就活終わりました

最後どこに行くか結構悩んでしまいましたが、就職先を決め内定承諾書を返送しました。 相談に乗っていただいた方々、ありがとうございます。 感じたこと 就職先を人で選ぶのが、意外と難しい 就活中にいただいたアドバイスの中で一番多かったのは 「どんな人…

iOSアプリの開発を始めた。2週間でやったこととかメモ

iOS

はじめに 2週間前ぐらいからiOSの勉強を始めた。自分にしては珍しくいいペースで覚えていけたので、やったこととかメモ。 やったこと XCodeとSwiftについて本を読む 今まで本を読まずにネットで調べながらやることが多かったけど、今回は本を読みながら始め…

あけましておめでとうございます。振り返りと2016年の目標

あけましておめでとうございます。 2015年は東京に行く機会が増えて、知り合いも増えて楽しく過ごせたかな。お世話になりました。 2015年やってよかったこと 更新少し遅いけど、ブログを続けたこと 初めてお会いした方からブログ見てますって言われるのかな…

SELinuxの設定でやったことメモ

SELinuxでPermission Deniedされるたびに、毎回ググり直してるので参考にしたサイトとか手順をメモ。 原因の確認 tail -f /var/log/audit/audit.log を見ながら、アクセスしてみてSELinuxが弾いているか確認 SELinux動作状態の確認 getenforce : 動作状態を…

Djangoのメール周りメモ

追記: 翔泳社さんでDjangoの書籍を出版するのでぜひ読んでみてください。 実践Django Pythonによる本格Webアプリケーション開発作者:芝田 将翔泳社Amazon はじめに この記事は 2015 tech-yuruyuru アドベントカレンダー - connpass の18日目です メール周り…

DockerでHerokuの環境を再現する

はじめに 2015 tech-yuruyuru アドベントカレンダー - connpass 13日目です。 PythonのWebアプリを開発するとき、Mac上でそのまま開発することが多いんですがHerokuに近い環境で動作確認もしたい。 Heroku-toolbeltの中にDockerfileを生成してくれるコマンド…

Pythonにおけるハッシュ計算

エキスパートPythonプログラミング改訂2版作者: Michal Jaworski,Tarek Ziade,稲田直哉,芝田将,渋川よしき,清水川貴之,森本哲也出版社/メーカー: KADOKAWA発売日: 2018/02/26メディア: 単行本この商品を含むブログを見る はじめに ADVENTARのPythonアドベン…

DockerでVPS上にgitlabとjenkinsサーバをたてる

はじめに 研究室で借りているさくらのVPSがあって、研究で使うアプリケーション以外にgitlabとかjenkinsを動かしている。Dockerをローカルでしか動かしたことが無かったので、リスクの低いこういうところで実際にDocker使ってみる。 これまでは AnsibleGalax…

PythonのWebアプリ動かす時にやったこととかメモ

2018/07/26 追記: Python 3.7 で更新 はじめに ISUCONとかコンテスト系のイベントでPythonのWebアプリを出来るだけ早くセットアップしたい時があるので自分なりの手順とかメモ。自分が後で見返す用なのでまとまってないです。データベースに関しては別の記事…

MySQLメモ

はじめに 下記の構成で色々やってた時のメモ。自分が後で見返す用なのでまとまってないです。 Python/Flask Flask-SQLAlchemy Flask-Migrate ローカルではSQLite3、プロダクションではMySQLを使用。 Flask-SQLAlchemyとかFlask-Migrateについては↓のページに…

Flaskの構成とかライブラリメモ

はじめに Flaskでいくつかアプリを作るのでメンバーに共有するために、使うライブラリとその説明とかをメモ。 ソースコードはGithubで公開しています。 github.com Flask-SQLAlchemy モデルの定義 from . import db from werkzeug.security import generate_…

PyCon JP 2015でLTしてきました

はじめに PyCon JP 2015おつかれさまでした。 スタッフとしては半年ぐらい前から少しずつ作業してたので、かなり長く関わったイベントでした。 Lightning Talk youtu.be PyData界隈の人からも予想外に良い反応が帰ってきて、やったかいがありました。 Github…

ビープラウドでのアルバイトを終わりました

このブログには技術ネタ以外書かないつもりだったけど、かなりお世話になったので振り返りとお礼のエントリ。 ちょうど半年間ぐらいビープラウドでアルバイトをしていたのですが、それも昨日で終わりました。 BPのみなさんありがとうございました。 ビープラ…

クラス内のフィールドが定義された順番を保持する(Python・メタクラス)

colanderはメタクラスを作って `id`, `name`, `age` と定義された順番を把握しているとのこと。 [colanderのソースコード](https://github.com/Pylons/colander/blob/master/colander/__init__.py) を見ながら、どのように `id`, `name`, `age` の定義された…

pandasのvalidationライブラリを公開しました

はじめに pandasのDataFrameはかなり便利ですが、その構造を明示的に定義できないので変な値が混ざってることに気づきにくいです。 研究で使ってるプログラムで変な値が混ざってないかチェックしたい所があったのですが、validatorについて調べてみても特に…

Travis CIを使ったDjangoプロジェクトの継続的インテグレーション

はじめに 以前,Djangoのテスト(ユニットテスト)の書き方について勉強したことがありました. Djangoのテストの書き方について勉強したのでまとめる - Programming Log Djangoのテストの書き方について勉強したのでまとめる - Programming Log 今回は↑の記事…