Run 6 : « symbol fatbinData is already defined » à l'édition de liens de libctranslate2.so, le LTO d'Ubuntu (-flto=auto par défaut) fusionnant les objets CUDA. optimize=-lto dans DEB_BUILD_MAINT_OPTIONS.
CTranslate2 avec CUDA pour Linux arm64
Roue Python et paquets Debian de CTranslate2 compilés avec le backend CUDA pour Linux aarch64 : NVIDIA DGX Spark (GB10, sm_121), Grace Hopper (sm_90) et Jetson Orin (sm_87).
Pourquoi
Le projet amont publie sur PyPI des roues ctranslate2 pour aarch64 sans CUDA
(sa chaîne de construction n'installe le toolkit que pour x86_64). Sur un DGX Spark,
faster-whisper et WhisperX tournent donc en CPU alors que CUDA 13 est bien là.
Ce dépôt reproduit la construction amont en y ajoutant CUDA, et publie le résultat.
Installation
Roue Python (index de paquets Gitea, à côté de PyPI) :
pip install ctranslate2 --extra-index-url https://git.lemesre.org/api/packages/<owner>/pypi/simple
pip install faster-whisper # tire la roue ci-dessus
Paquets Debian (bibliothèque C++ et en-têtes, pour un programme C++ ou une liaison
FFI comme la crate Rust ct2rs) :
sudo curl -fsSL https://git.lemesre.org/api/packages/<owner>/debian/repository.key -o /etc/apt/keyrings/gitea-<owner>.asc
echo "deb [signed-by=/etc/apt/keyrings/gitea-<owner>.asc] https://git.lemesre.org/api/packages/<owner>/debian noble main" | sudo tee /etc/apt/sources.list.d/gitea-<owner>.list
sudo apt update && sudo apt install libctranslate2-4 libctranslate2-dev
Les bibliothèques CUDA ne sont pas embarquées : CTranslate2 les charge à
l'exécution (CUDA_DYNAMIC_LOADING). Il faut cuBLAS 13 et cuDNN 9 trouvables,
soit par le toolkit CUDA de la machine (/usr/local/cuda), soit par les paquets
pip nvidia-cublas et nvidia-cudnn-cu13 (ceux que torch cu130 installe déjà).
Pilote NVIDIA 580 ou plus récent. Sans GPU, la même roue tourne en CPU.
Contrat des artefacts :
| Artefact | Étiquette | Cible |
|---|---|---|
ctranslate2-4.6.3-cp3*-manylinux_2_35_aarch64.whl |
glibc ≥ 2.35 | Ubuntu 22.04, DGX OS / Ubuntu 24.04, JetPack 6 |
libctranslate2-4_4.6.3-1~cuda13_arm64.deb, libctranslate2-dev_…deb |
jammy, noble | idem |
Construction
Tout passe par build.sh, dans l'image CUDA (aucun GPU nécessaire) :
docker build -t ct2-cuda-arm64 .
docker run --rm -v "$PWD:/src" -e JOBS=20 ct2-cuda-arm64 all # ≈ 20 min sur 20 cœurs
ls dist/
Étapes séparées : deps, source (clone amont avec sous-modules), deb
(dpkg-buildpackage -b, compile la bibliothèque), wheel (roue liée à la
bibliothèque du paquet, réparée par auditwheel), check (symboles CUDA
présents, lintian). Les versions sont épinglées dans versions.env.
Validation sur une machine avec GPU, après installation de la roue :
python3 tools/smoke-gpu.py # compte les GPU vus par CTranslate2
python3 tools/smoke-gpu.py reunion.wav # faster-whisper large-v3, langue forcée fr
Intégration continue
.gitea/workflows/build.yml tourne sur un runner Gitea Actions arm64
(étiquette ubuntu-22.04-arm64) dans l'image CUDA, sans GPU. Chaque poussée
construit et dépose les artefacts ; un tag v* les publie en plus dans les
registres PyPI et Debian du propriétaire du dépôt.
L'image CUDA n'a pas de node : le workflow l'installe avant le checkout, sinon les actions JavaScript échouent (« exec: "node": executable file not found »).
Secrets attendus dans le dépôt : PACKAGES_USER et PACKAGES_TOKEN (jeton
personnel Gitea à portée write:package). Le jeton automatique du job n'a pas
cette portée.
Le runner borne un job à 6 CPU et 24 Go, deux heures au plus. nproc y
annonce pourtant tous les cœurs de l'hôte : JOBS=6 est fixé dans le workflow.
Versions et maintenance
Une reconstruction par version amont de CTranslate2 et par version majeure de
CUDA : modifier versions.env et debian/changelog, tagger v<amont>-<révision>.
La liste CUDA_ARCH_LIST est explicite parce que la valeur amont Common
ignore sm_121 ; et sm_121 lui-même passe par CUDA_NVCC_EXTRA (gencode donné
à nvcc) parce que le module FindCUDA de CMake 3.22 rejette tout numéro
d'architecture à deux chiffres.
Ce dépôt ne fait que compiler et empaqueter : aucune modification du code amont. Licence MIT, comme CTranslate2 ; Ruy et cpu_features (sous-modules) sont sous Apache-2.0.