私が歌川です

@utgwkk が書いている

個人の技量だけではスケールしないのは確かだが、それは技量を伸ばさずに別のところだけ伸ばしていればカバーできる、ということを意味しているのではないだろう。いわゆる「魚の釣り方」を超えた技量の伝授ができるようになって初めて、高い生産性に対する脱属人性・再現性ができるのではないか。ドキュメンテーションだけで属人性が解消するほど簡単ではない。

ソフトウェアに対する考古学は技術的好奇心を満たすのにとどまらず、当時の考え・設計思想を理解することでコードベースに対する深い理解を得て、今後の糧となる。いちばんコードベースへの理解が深い状態とは、自分が設計・実装したことがあるコンポーネントが大半の状態、ということになるんじゃないか。

再現性のある知とは?

GraphQL Cursor Connectionにおけるedgeのnodeフィールドの型は必ずしもNode interfaceを実装していなくてもよい

タイトルが全てです。

GraphQL Cursor Connectionの仕様の3.1.1節には以下のような注意書きがあります。

The naming echoes that of the “Node” interface and “node” root field as described in a later section of this spec. Spec-compliant clients can perform certain optimizations if this field returns an object that implements Node, however, this is not a strict requirement for conforming.

https://relay.dev/graphql/connections.htm#note-e0232

注意書きをざっくり訳すと以下のようになります。

  • この node という名前は、GraphQL Object IdenrificationにおけるNode interfaceや node クエリを想起させる
  • が、connectionのEdgeの node フィールドの型は、必ずしも Node interfaceを実装していなくてもよい
    • もちろん、Node interfaceになっているほうが最適化が効きやすいだろう

多くの場合はEdgeのnodeがそのまま Node interfaceを実装するようになっていても支障はないだろうけど、必ずしも Node interfaceである必要はないよ、というのが伝えたいことでした。

アイコンのステッカーを支える技術

以下のツイートが全てです。

この記事では、ツイートで触れていないトピックについてメモします。

大きさ

技術イベントの名札に貼れるぐらいのサイズにすると取り回しがよいです。40mm x 40mmはラクスルで発注できるバラ四角カットシールの最小サイズです。

貼った様子は以下のツイートにある写真を見てください。これぐらいのサイズだと、小さな名札に貼った上で名前も書けるぐらいに収まります。

配置

アイコン画像に余白がない場合は、印刷保障線を少しはみ出るぐらいにサイズを調整して入稿するほうが見栄えがよいです。アイコンの端が途切れるのを恐れずに入稿しましょう。先述したツイートの画像にあるシールを発注したときは日和ってしまったので余白があります。

納品形態

他の納品形態を試したことがないけど、バラ四角カットにするとかさばらず持ち運びやすいし、1枚ずつ配りやすいです。アイコンの形をアピールしたいときはバラ台紙カットするのがいいのかな。

部数

多ければ多いほど単価が安くなると思うけど、量が増えるし値段も上がるのでいいバランスを見極めましょう。

自分はとりあえず50部で注文しています。単価は 2,805円 / 50 = 56.1円で、まあこんなもんなのか?

同人イベントとかで配りまくるならもっと部数があってもよさそう。

納期

納品までの日数が多ければ多いほど安くなるので、余裕を持って発注しましょう。7営業日は1週間よりも長いので注意してください。

画像形式

1200 x 1200ピクセルのPNG画像で入稿したけど、印刷の粗とかはとくに気になっていないです。自分が気にしていないだけかも。


ほかにも話題がありそうだけどいったんこれで。インターネットにいると人をアイコンでしか認識できないことがよくあるので、オフラインカンファレンスなどで名札にアイコンのステッカーを貼ると認識してもらいやすくて便利だと思います。

Goの特定のパッケージだけGitHub Actionsのジョブを分けてテストする

生きてると、テストがどんどん遅くなりがちです。実際にDBに接続するタイプのテストとか……。そしてそういう種類のテストに限って並列化しやすいように実装されていないこともありがちですよね。

GitHub Actionsを使っている場合*1、そのようなテストが複数ファイル・パッケージにわたる場合は独立したジョブでテストを走らせることでCIの高速化を見込むことができます。

ということで、特定のパッケージのテストだけ独立したジョブで走らせる・残りのパッケージのテストは単一のジョブで走らせる という仕組みを作りました。実物を見たほうが早いと思うので、以下のリポジトリを見てください。

github.com

鍵となるのは以下3つのファイルです。応用すればGoに限らずさまざまな言語のテストフレームワーク向けに使えるはず。

  • separated-test-pkgs.txt
  • separate-test-pkg.pl
  • .github/workflows/ci.yml

separated-test-pkgs.txt

このテキストファイルに、独立したランナーで走らせたいパッケージ名を1行1エントリで書きます。パッケージ名の形式は go list ./... コマンドで出力されるものに揃えてください。

separate-test-pkg.pl

いきなりPerlのコードが出てきましたね。PerlはGitHubが提供するGitHub Actionsのrunnerに入っている*2ので、おもむろに小さなスクリプトを書くのに便利です。順に読んでいきましょう。

use strict;
use warnings;
use JSON::PP qw(encode_json);

JSON::PPはPerl v5.13.9からコアモジュール*3になっているので、追加でモジュールをインストールする必要なく使えます。よかったですね。

# separated-test-pkgs.txt から、個別にテストを実行したいパッケージを取得する
my @separated_test_pkgs = do {
    open my $fh, '<', 'separated-test-pkgs.txt' or die $!;
    chomp (my @xs = <$fh>);
    close $fh;
    @xs;
};
# package名 => 個別にテストを実行したいなら true
my %is_separated_test_pkg = map { $_ => 1 } @separated_test_pkgs;

先述した separated-test-pkgs.txt ファイルから、個別にテストしたいパッケージの一覧を取得しています。 %is_separated_test_pkg 変数はあとで使います。

# このモジュール下のパッケージ一覧を取得する
my @all_pkgs = split "\n", `go list ./...`;

# 同時にテストを実行してよいパッケージのみを抽出する
my @independent_pkgs = grep { !$is_separated_test_pkg{$_} } @all_pkgs;

バッククォートで囲んだ文字列はシェルコマンドとして実行され、実行結果の文字列が入ります。 go list ./... コマンドの実行結果をsplitすることで、全パッケージ一覧を取得しています。

先ほど組み立てた %is_separated_test_pkg 変数を使って、個別にテストしなくてよいパッケージの一覧を抽出しています。

# JSON形式で出力する (フォーマットは __END__ 以下を参照)
my $outputs = [
    (
        map {
            +{
                name     => $_,
                packages => [$_],
            }
        } @separated_test_pkgs
    ),
    +{
        name     => 'Others',
        packages => [@independent_pkgs],
    },
];
print encode_json $outputs;
__END__
(省略)

GitHub Actions workflowのジョブのoutputとして使いやすいように、JSON形式で出力しています。{"name":"テストの名前","packages":[パッケージ一覧]} というオブジェクトの配列を作っています。

.github/workflows/ci.yml

name: CI
on:
  push:
    branches:
      - main
  pull_request:

jobs:
  prepare:
    name: Prepare
    runs-on: ubuntu-latest
    outputs:
      separated-pkgs: ${{ steps.separate.outputs.out }}
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-go@v4
        with:
          go-version-file: go.mod
      - id: separate
        run: echo "out=$(perl separate-test-pkg.pl)" >> $GITHUB_OUTPUT
  test:
    name: Test (${{ matrix.target.name }})
    needs:
      - prepare
    runs-on: ubuntu-latest
    strategy:
      fail-fast: false
      matrix:
        target: ${{ fromJSON(needs.prepare.outputs.separated-pkgs) }}
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-go@v4
        with:
          go-version-file: go.mod
      - run: go test -v ${{ join(matrix.target.packages, ' ') }}

prepareジョブで、どのテストを独立に実行するか・同時に実行するか を先述した separate-test-pkg.pl の出力によって決めています。

prepareジョブの出力を受けて、testジョブでは独立にテストを実行するパッケージのmatrixと、それ以外のパッケージのmatrixに分けてテストを走らせています。go test コマンドには複数のパッケージ名を渡せるので、これでテストを個別に実行できるわけですね。

fromJSONjoin はGitHub Actions workflowの組み込み関数です*4。 動的に組み立てたmatrixのフィールドは matrix.target オブジェクトから参照できます。

fail-fast には false を指定しておいて、1つのテストジョブがコケても他のジョブが即時終了しないようにしておくほうがよいでしょう。

実際に以上のworkflowをもとにCIを走らせると、以下の画像のようにジョブが分かれていることが確認できます。

gyazo.com

先行研究

gotesplit*5というツールを使うと、Goのテストを分割数を指定して独立したジョブとして走らせることができるようです。

songmu.jp

今回は、DBを使うテストだけ独立して実行する・DBを使わないテストは高速に終わるからまとめて実行する というふうに、分割の基準を自由に指定できるようにしたかったので、自前で仕組みを用意してみました。このような単位で分けておくと、DBを使うテストでだけDBの準備をするようにできるし、複数のパッケージのテストからDBにアクセスしても干渉しないようにできます*6

*1:他のCIランナーでもそうだろう

*2:具体的にプリインストールされているソフトウェアについてはactions/runner-imagesリポジトリにあるOSごとのドキュメントを参照すること

*3:Perl本体に同梱されるモジュールのこと

*4:Expressions - GitHub Docs

*5:名前がおしゃれ

*6:たまにTRUNCATE TABLEするテストとかがある

aws-sdk-go S3 PutObject MaxMessageLengthExceededエラー 何

tl;dr

PutObject のオプションの Bucket フィールドに空文字列を渡していませんか? 環境変数経由で設定する値がうまく渡っていない、などありませんか? もう一度点検してみましょう。

この記事はこれでおしまいです。検索しても全く情報が出てこなくてしばらく悩んでいたけど、しょうもない感じだった。以下はおまけです。

起こっていたこと

aws-sdk-goでS3にファイルをアップロードするクライアントを書いた。手元では動いたので開発環境にデプロイして動かしてみたらなんかエラーが出る。

operation error S3: PutObject, https response error StatusCode: 400, RequestID: (snip), HostID: (snip), api error MaxMessageLengthExceeded: Your request was too big.

MaxMessageLengthExceededと出ているけど、ファイルをアップロードするのになんか制限に引っかかったか? でもS3にそんなシビアな制限ないのでは?? と思って首をかしげていた。あんまり凝ったことはしてないS3クライアントの実装だし、サンプルコードと見比べても変なところはなさそうに見える。

世の中には1x1.pngという非常にいい画像ファイルがあるのでこれをアップロードしてみると、エラーメッセージが変わった。何???

operation error S3: PutObject, https response error StatusCode: 400, RequestID: (snip), HostID: (snip), api error MalformedXML: The XML you provided was not well-formed or did not validate against our published schema

この時点では全く心当たりがなくて*1、いろいろ試行錯誤してもよく分からない。情報が足りていないので、APIコールのログを吐くようにしてデプロイし直す。

解決編

手元と開発環境でのAPIコールのログが取れたので見比べる。よく見るとリクエストの発行先がおかしい。バケット名が入ってなくない??

  • 手元: /bucket-name/hoge.png?x-id=PutObject
  • 開発環境: /hoge.png?x-id=PutObject

ここまで見たところ全てが分かった。環境変数のセットを忘れてるじゃん……。

ということで、環境変数を入れて再度デプロイしたら直った。

必須の引数 (バケット名) にうっかり空文字列を渡してもAPIコール前にはエラーにならず、変なエンドポイントを叩いた結果見慣れないエラーが返ってくる、というのが難しいポイントだった。気をつけてください。APIクライアントのコンストラクタで必須な引数が空文字列だったらエラーを返す、みたいなことをするともうちょっとよかったのだろう。

*1:ここ伏線です

手を動かして初めて腑に落ちる側

「腑に落ちる」という概念がそもそもそういうものなのかは分からないけど。

ドキュメントや教科書を読んでも、それだけで頭の中で理論を組み合わせて議論するのがどうしても苦手で、手を動かすことによって初めて理解を得るタイプである。座学だけではどうにもならなくて実践がセットじゃないと定着しない。そういうものなのかもしれない。

うっすら興味があるぐらいでは学びを得られていない感じがしていて、必要になって学び、いろいろ実験することで理解が得られる。いくらかは経験という形で他の人に教えることもできるだろうけど、その域に達しているものはまだまだ少ない。

検討をするときに、ドキュメントや制約などを読んだ上での考察だけだと何も分からないまま突き進んでいるような気がしてしまう。実験をして初めて方針への自信が持てるようになる。けどこれはそういうものなのかもしれない。

書き起こしてみると当たり前のことしか言ってないような気がするけど、これは当たり前のことなのか? どうですか。