Create entrypoint.sh

entrypoint.sh

@@ -0,0 +1,81 @@
+#!/bin/bash
+# ---------------------------------------------------------------
+# 起動時に「このコンテナに割り当てられた」CPU 数を正確に検出する。
+#
+# nproc --all はホストの全 CPU 数を返すため NG。
+# nproc (引数なし) は cpuset 制限は尊重するが、
+# HuggingFace のように --cpus=2 (CFS クォータ) で制限している場合は
+# やはりホスト値を返してしまう。
+#
+# 唯一正確な方法は cgroup のクォータファイルを直接読む:
+#   cgroup v2: /sys/fs/cgroup/cpu.max          → "quota period"
+#   cgroup v1: /sys/fs/cgroup/cpu/cpu.cfs_quota_us
+#              /sys/fs/cgroup/cpu/cpu.cfs_period_us
+# ---------------------------------------------------------------
+
+# cgroup v2 を優先して確認
+if [ -f /sys/fs/cgroup/cpu.max ]; then
+    CPU_MAX=$(cat /sys/fs/cgroup/cpu.max)
+    QUOTA=$(echo "$CPU_MAX"  | awk '{print $1}')
+    PERIOD=$(echo "$CPU_MAX" | awk '{print $2}')
+    if [ "$QUOTA" = "max" ]; then
+        # クォータ無制限 → cpuset ベースの実コア数にフォールバック
+        NCPU=$(nproc)
+    else
+        NCPU=$(( QUOTA / PERIOD ))
+    fi
+# cgroup v1 にフォールバック
+elif [ -f /sys/fs/cgroup/cpu/cpu.cfs_quota_us ]; then
+    QUOTA=$(cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us)
+    PERIOD=$(cat /sys/fs/cgroup/cpu/cpu.cfs_period_us)
+    if [ "$QUOTA" -le 0 ]; then
+        NCPU=$(nproc)
+    else
+        NCPU=$(( QUOTA / PERIOD ))
+    fi
+else
+    # cgroup が読めない環境
+    NCPU=$(nproc)
+fi
+
+# 最低 1 を保証
+[ "$NCPU" -lt 1 ] && NCPU=1
+
+echo "[entrypoint] 割り当て CPU 数: ${NCPU}"
+
+# [修正7] jemalloc ランタイム設定を NCPU 確定後に動的セット。
+#
+#   narenas:${NCPU}
+#     アリーナ数を割り当て vCPU 数 (HF 無料枠 = 2) に合わせる。
+#     デフォルト (論理コア数 × 4) のままだと、アリーナが独立して
+#     メモリを管理するため断片化が倍増する。
+#
+#   background_thread:true
+#     バックグラウンドスレッドが非同期でダーティページを回収する。
+#     アプリスレッドのレイテンシに影響せず、推論間の RSS スパイクを平滑化。
+#
+#   dirty_decay_ms:2000
+#     解放済みダーティページを 2 秒以内に OS へ返却 (デフォルト 10 秒)。
+#     大テンソルの解放後に RAM が素早く空くため次の推論がOOMしにくい。
+#
+#   muzzy_decay_ms:0
+#     decommit 済みページを即座に返却 (デフォルト 10 秒)。
+#     仮想メモリのフットプリントを最小化し、RSS の上限を下げる。
+export MALLOC_CONF="narenas:${NCPU},background_thread:true,dirty_decay_ms:2000,muzzy_decay_ms:0"
+
+# PyTorch / OpenMP intra-op スレッド数
+export OMP_NUM_THREADS=${NCPU}
+
+# Intel MKL スレッド数 (PyTorch が MKL-DNN を使う場合)
+export MKL_NUM_THREADS=${NCPU}
+
+# OpenBLAS スレッド数 (numpy 等が内部で使用)
+export OPENBLAS_NUM_THREADS=${NCPU}
+
+# numexpr スレッド数 (numpy 高度演算の補助ライブラリ)
+export NUMEXPR_NUM_THREADS=${NCPU}
+
+# BLIS スレッド数 (PyTorch のビルドによっては使用)
+export BLIS_NUM_THREADS=${NCPU}
+
+exec "$@"