CTranslate2 avec CUDA pour Linux arm64

Roue Python et paquets Debian de CTranslate2 compilés avec le backend CUDA pour Linux aarch64 : NVIDIA DGX Spark (GB10, sm_121), Grace Hopper (sm_90) et Jetson Orin (sm_87).

Pourquoi

Le projet amont publie sur PyPI des roues ctranslate2 pour aarch64 sans CUDA (sa chaîne de construction n'installe le toolkit que pour x86_64). Sur un DGX Spark, faster-whisper et WhisperX tournent donc en CPU alors que CUDA 13 est bien là. Ce dépôt reproduit la construction amont en y ajoutant CUDA, et publie le résultat.

Installation

Roue Python (index de paquets Gitea, à côté de PyPI) :

pip install ctranslate2 --extra-index-url https://git.lemesre.org/api/packages/<owner>/pypi/simple
pip install faster-whisper          # tire la roue ci-dessus

Paquets Debian (bibliothèque C++ et en-têtes, pour un programme C++ ou une liaison FFI comme la crate Rust ct2rs) :

sudo curl -fsSL https://git.lemesre.org/api/packages/<owner>/debian/repository.key -o /etc/apt/keyrings/gitea-<owner>.asc
echo "deb [signed-by=/etc/apt/keyrings/gitea-<owner>.asc] https://git.lemesre.org/api/packages/<owner>/debian noble main" | sudo tee /etc/apt/sources.list.d/gitea-<owner>.list
sudo apt update && sudo apt install libctranslate2-4 libctranslate2-dev

Les bibliothèques CUDA ne sont pas embarquées : CTranslate2 les charge à l'exécution (CUDA_DYNAMIC_LOADING). Il faut cuBLAS 13 et cuDNN 9 trouvables, soit par le toolkit CUDA de la machine (/usr/local/cuda), soit par les paquets pip nvidia-cublas et nvidia-cudnn-cu13 (ceux que torch cu130 installe déjà). Pilote NVIDIA 580 ou plus récent. Sans GPU, la même roue tourne en CPU.

Contrat des artefacts :

Artefact Étiquette Cible
ctranslate2-4.8.2-cp3{10,11,12,13,14}-manylinux_2_35_aarch64.whl glibc ≥ 2.35 Ubuntu 22.04, DGX OS / Ubuntu 24.04, JetPack 6
libctranslate2-4_4.8.2-1~cuda13_arm64.deb, libctranslate2-dev_…deb jammy, noble idem

Construction

Tout passe par build.sh, dans l'image CUDA (aucun GPU nécessaire) :

docker build -t ct2-cuda-arm64 .
docker run --rm -v "$PWD:/src" -e JOBS=20 ct2-cuda-arm64 all   # ≈ 20 min sur 20 cœurs
ls dist/

Étapes séparées : deps, source (clone amont avec sous-modules), deb (dpkg-buildpackage -b, compile la bibliothèque), wheel (roue liée à la bibliothèque du paquet, réparée par auditwheel), check (symboles CUDA présents, lintian). Les versions sont épinglées dans versions.env.

Validation sur une machine avec GPU, après installation de la roue :

python3 tools/smoke-gpu.py                 # compte les GPU vus par CTranslate2
python3 tools/smoke-gpu.py reunion.wav     # faster-whisper large-v3, langue forcée fr

Intégration continue

.gitea/workflows/build.yml tourne sur un runner Gitea Actions arm64 (étiquette ubuntu-22.04-arm64) dans l'image CUDA, sans GPU. Chaque poussée construit et dépose les artefacts ; un tag v* les publie en plus dans les registres PyPI et Debian du propriétaire du dépôt.

L'image CUDA n'a pas de node : le workflow l'installe avant le checkout, sinon les actions JavaScript échouent (« exec: "node": executable file not found »).

Secrets attendus dans le dépôt : PACKAGES_USER et PACKAGES_TOKEN (jeton personnel Gitea à portée write:package). Le jeton automatique du job n'a pas cette portée.

Le runner borne un job à 6 CPU et 24 Go, deux heures au plus. nproc y annonce pourtant tous les cœurs de l'hôte : JOBS=6 est fixé dans le workflow.

Versions et maintenance

Une reconstruction par version amont de CTranslate2 et par version majeure de CUDA : modifier versions.env et debian/changelog, tagger v<amont>-<révision>. La liste CUDA_ARCH_LIST est explicite parce que la valeur amont Common ignore sm_121 ; et sm_121 lui-même passe par CUDA_NVCC_EXTRA (gencode donné à nvcc) parce que le module FindCUDA de CMake 3.22 rejette tout numéro d'architecture à deux chiffres.

Ce dépôt ne fait que compiler et empaqueter : aucune modification du code amont. Licence MIT, comme CTranslate2 ; Ruy et cpu_features (sous-modules) sont sous Apache-2.0.

S
Description
No description provided
Readme MIT
75 KiB
0 Stars 1 Watchers 0 Forks
Languages
Shell 72.4%
Python 22.4%
Dockerfile 5.2%