この記事は、CIでJavaのテストが固まってジョブがタイムアウトした際、原因を特定できないままローカルで再実行しても再現しにくいという課題を扱っています。GitHub Actionsがタイムアウトでジョブを止めても、中で動いていたJavaのテストプロセス自体は生きている場合が多いという実測結果が出発点です。スレッドダンプという、その瞬間に各スレッドが何をしていたかの記録を取れるかどうかが、原因究明の分かれ目になります。

GitHub Actionsのタイムアウト後もJVMは生きていた

Javaのテストが止まったまま動かなくなり、GitHub Actionsがジョブを30分でキャンセルする。ログに残るのは「実行時間の上限を超えた」という一文だけで、テストが何をしていたかは分かりません。ローカルで再実行しても再現しないことが多く、2コアのランナーで起きたタイミングの問題を16コアのノートPCで再現するのはほぼ不可能だ、と筆者は書いています。欲しいのは、テストが固まったままの状態でのスレッドダンプです。

筆者はまず「タイムアウト後もJVMは生きているのか」を確認しました。わざとデッドロックを起こすテストを書き、ubuntu-latestとmacos-latestの両方で、ステップ単位・ジョブ単位の両方のタイムアウトを試しています。その結果、フォークされたテスト用JVMはタイムアウト後も毎回生きたままでした。jcmdでアタッチでき、ダンプにはデッドロックしている2つのスレッドが、それぞれどのロックで止まっているかまで記録されていたということです。この状態は、ランナーが最後に行う「孤立プロセスの掃除」が走るまで続くため、証拠を拾う時間の余白があることになります。

この仕組みの理由は、GitHub自身のキャンセル処理の説明にあります。docs.github.comによれば、ランナーはステップの起点プロセスにSIGINTを送り、7.5秒待ってSIGTERM、さらに2.5秒待ってからプロセスツリー全体をkillします。runステップの起点プロセスはシェルであり、bashは最初のSIGINTで終了するため、プロセスツリーのkillは発生せず、そこから起動されたJVM群は生き残る、という説明です。ただし筆者は、execを使うステップやシグナルをトラップするスクリプトではこの余白が失われるため、各自の環境で確認すべきだと留保しています。

この余白を使ってダンプを取る方法として、記事は3通りを紹介しています。1つ目はウォッチドッグ方式です。Apache Kafkaが採用している方法で、Gradleでテストを実行している間、別プロセスでスレッドダンプ用スクリプトをバックグラウンドで動かし、タイムアウトの5分前にスリープから起きてGradleWorkerMainプロセス全てにjstackを実行、ワークフローがそのファイルをアーティファクトとして保存します。KafkaのステップはGradleをシステムのtimeoutコマンドで包んでいるため、この方式はJVMがキャンセル後も生き残ることに依存しません。ただし、タイムアウト5分前という判断は難しく、早すぎれば単に遅いだけで本来終わるはずだったテストをダンプしてしまい、遅すぎればプロセスごと見失う恐れがあります。

2つ目はMaven Surefireに任せる方法です。Surefire 3.6.0以降では、フォークしたプロセス自身がタイムアウトした際にダンプを取れるようになっており、フォークをkillする直前にsurefire-timeout-jstack-*.txtというファイルを書き出します。これをアーティファクトとしてアップロードするだけです。

3つ目が、筆者自身が作ったGitHub Actionsのアクションです。これはFoojay.ioに書かれている検証結果を土台に組まれたもので、詳しい仕組みは次の節で説明します。

ThreadMine Actionが生きたJVMからダンプを拾う仕組み

筆者が作ったthreadmine-actionは、ジョブが失敗・タイムアウト・キャンセルされ、かつテスト用JVMがまだ生きている場合、またはSurefireがタイムアウトダンプを残していた場合にだけ動きます。単なるテストの失敗では何も送信されません。MavenのSurefireとFailsafe、Gradleに対応し、LinuxとmacOSのランナーで動作します。アカウント登録は不要で、ビルドへの変更も必要ないと説明されています。github.com

仕組みはこうです。ジョブやステップがタイムアウトすると、ランナーはステップのシェルをkillしますが、ビルドが起動したJVM自体はジョブ最終のクリーンアップまで生き残ります。このアクションのpostステップは、そのクリーンアップより前に動くよう設計されており、まだ生きているテスト用JVM(Surefireのフォークやテスト用ワーカー)をjcmd -lで見つけ、対象のプロセスIDを指定したjcmd Thread.printでダンプを取ります。Gradleのデーモンとクライアントは常に動き続けるプロセスなので対象から外されており、Mavenのランチャー自体は、フォークが一つも生きておらずテストフェーズを実行していた場合(forkCount=0)に限ってダンプ対象になります。バックグラウンドで動いているmvn spring-boot:runなどは対象に含まれません。

注意点として、手動キャンセルや新しいプッシュによる中断でも同じようにJVMが生き残るため、見た目だけでは区別がつきません。そのためプルリクエストへのコメントは、ThreadMineが実際に問題を見つけた場合にのみ投稿され、ジョブサマリーとステップログには常にレポートが出る、という使い分けになっています。1ジョブあたり最大3件のダンプが、合計4分以内で解析対象になり、それを超えた分はアーティファクトに残るだけです。同じジョブの再実行では、新しいコメントを追加するのではなく既存のプルリクエストコメントを更新します。

ダンプの送信先はthreadmine.devで、リポジトリ名は送信されず、アカウントなしで作成されたレポートは7日で期限切れになります。analyze: falseを設定すれば、ダンプはアーティファクトにだけ残り、外部には何も送られません。配置の注意点として、actions/setup-javaの後(jcmdをJAVA_HOME経由で取得するため)、gradle/actions/setup-gradleの後、そしてテストステップの前に置く必要があります。postステップは登録と逆順で実行されるため、この順序によってテスト用JVMが生きた状態でこのアクションのpostステップが動くことになります。

似た課題にInfinispanも取り組んでいた

GitHub Actionsでのスレッドダンプ収集という課題は、他のプロジェクトのIssueにも現れています。InfinispanのGitHubリポジトリに立てられたIssue #17287では、CIが4時間のタイムアウトに達した際、全Javaプロセスからjstackのスレッドダンプを取得し、jstack-reportというアーティファクトとしてアップロードする仕組みが既にある、と説明されています。しかし原因の診断には、生のダンプを手作業でダウンロードして読む必要があり、このIssueはjstackダンプを解析して簡潔なMarkdownのまとめをプルリクエストのコメントとして自動投稿する機能の追加を提案するものです。github.com

この事例は、CIでのスレッドダンプの自動解析というニーズが、Foojay.ioの記事で紹介されたプロジェクト以外にも存在することを示しています。ただし、Infinispanのタイムアウトは4時間という値であり、GitHub Actionsのデフォルトの挙動について言及しているわけではない点には注意が必要です。

用語補足:スレッドダンプとjcmd/jstack

スレッドダンプとは、プログラム実行中のある瞬間に、動いている全スレッドが何をしていたかをテキストとして書き出した記録です。処理が固まって動かなくなった原因を調べる際、「どのスレッドが、どのロックを待って止まっているか」を見るために使います。jcmdとjstackは、本記事で紹介した検証例において、タイムアウト後も生きていた実行中のJVMからスレッドダンプを取得するために使われたコマンドです。記事中の「何倍速い」といった比較数値は含まれておらず、あくまで取得できるかどうかと、取得するタイミングの問題として扱われています。

注目ニュース

GitHubがキャンセル処理の手順を文書で説明している

GitHub公式のドキュメントには、ワークフロー実行をキャンセルする際にGitHubが行う手順が記載されています。ランナーが実行中のプロセスに対してどのような順序でシグナルを送るか、リソースを解放する際に何が起きるかをユーザーが理解できるよう案内する内容です。docs.github.com

maschiojv氏がThreadMine Actionをオープンソースで公開している

GitHub上に公開されているthreadmine-actionは、MITライセンスで配布されているGitHub Actionsのアクションです。CIでJVMのテストが固まった際にスレッドダンプを取得し、ThreadMineという解析サービスへ送って診断結果をジョブサマリーとプルリクエストに書き込みます。Windowsランナーには対応しておらず、アカウントを作成しない場合の解析は1時間あたり5回、1日あたり20回まで(IPアドレス単位)に制限されています。GitHub-hosted runnerは複数ユーザーでIPアドレスを共有するため、利用が集中する日には解析がスキップされ、ダンプはアーティファクトにのみ残るとされています。github.com

編集後記:生き残ったJVMという前提の脆さ

今回の記事で印象に残るのは、便利な仕組みの土台が「ランナーがプロセスツリーをkillしない」という、ドキュメント上は意図された挙動というより副産物に近い振る舞いに乗っている点です。筆者自身、execを使うステップやシグナルをトラップするスクリプトではこの前提が崩れると明記しており、万能の解決策ではないと分かります。CI環境ごとに挙動が変わりうる以上、同じ方法を自分の環境に適用する前に、タイムアウト後も本当にJVMが残っているかを確認する作業は省けなさそうです。便利なツールほど、それが依存している前提条件を見落としやすい、という点は覚えておいて損はないと思います。