# CTranslate2 avec CUDA pour Linux arm64 Roue Python et paquets Debian de [CTranslate2](https://github.com/OpenNMT/CTranslate2) compilés **avec le backend CUDA** pour Linux aarch64 : NVIDIA DGX Spark (GB10, sm_121), Grace Hopper (sm_90) et Jetson Orin (sm_87). ## Pourquoi Le projet amont publie sur PyPI des roues `ctranslate2` pour aarch64 **sans CUDA** (sa chaîne de construction n'installe le toolkit que pour x86_64). Sur un DGX Spark, `faster-whisper` et `WhisperX` tournent donc en CPU alors que CUDA 13 est bien là. Ce dépôt reproduit la construction amont en y ajoutant CUDA, et publie le résultat. ## Installation Roue Python (index de paquets Gitea, à côté de PyPI) : ```bash pip install ctranslate2 --extra-index-url https://git.lemesre.org/api/packages//pypi/simple pip install faster-whisper # tire la roue ci-dessus ``` Paquets Debian (bibliothèque C++ et en-têtes, pour un programme C++ ou une liaison FFI comme la crate Rust `ct2rs`) : ```bash sudo curl -fsSL https://git.lemesre.org/api/packages//debian/repository.key -o /etc/apt/keyrings/gitea-.asc echo "deb [signed-by=/etc/apt/keyrings/gitea-.asc] https://git.lemesre.org/api/packages//debian noble main" | sudo tee /etc/apt/sources.list.d/gitea-.list sudo apt update && sudo apt install libctranslate2-4 libctranslate2-dev ``` Les bibliothèques CUDA **ne sont pas embarquées** : CTranslate2 les charge à l'exécution (`CUDA_DYNAMIC_LOADING`). Il faut cuBLAS 13 et cuDNN 9 trouvables, soit par le toolkit CUDA de la machine (`/usr/local/cuda`), soit par les paquets pip `nvidia-cublas` et `nvidia-cudnn-cu13` (ceux que `torch` cu130 installe déjà). Pilote NVIDIA 580 ou plus récent. Sans GPU, la même roue tourne en CPU. Contrat des artefacts : | Artefact | Étiquette | Cible | | --- | --- | --- | | `ctranslate2-4.6.0-cp3*-manylinux_2_35_aarch64.whl` | glibc ≥ 2.35 | Ubuntu 22.04, DGX OS / Ubuntu 24.04, JetPack 6 | | `libctranslate2-4_4.6.0-1~cuda13_arm64.deb`, `libctranslate2-dev_…deb` | jammy, noble | idem | ## Construction Tout passe par `build.sh`, dans l'image CUDA (aucun GPU nécessaire) : ```bash docker build -t ct2-cuda-arm64 . docker run --rm -v "$PWD:/src" -e JOBS=20 ct2-cuda-arm64 all # ≈ 20 min sur 20 cœurs ls dist/ ``` Étapes séparées : `deps`, `source` (clone amont avec sous-modules), `deb` (`dpkg-buildpackage -b`, compile la bibliothèque), `wheel` (roue liée à la bibliothèque du paquet, réparée par `auditwheel`), `check` (symboles CUDA présents, `lintian`). Les versions sont épinglées dans `versions.env`. Validation sur une machine avec GPU, après installation de la roue : ```bash python3 tools/smoke-gpu.py # compte les GPU vus par CTranslate2 python3 tools/smoke-gpu.py reunion.wav # faster-whisper large-v3, langue forcée fr ``` ## Intégration continue `.gitea/workflows/build.yml` tourne sur un runner Gitea Actions arm64 (étiquette `ubuntu-22.04-arm64`) dans l'image CUDA, sans GPU. Chaque poussée construit et dépose les artefacts ; un tag `v*` les publie en plus dans les registres PyPI et Debian du propriétaire du dépôt. Secrets attendus dans le dépôt : `PACKAGES_USER` et `PACKAGES_TOKEN` (jeton personnel Gitea à portée `write:package`). Le jeton automatique du job n'a pas cette portée. Le runner borne un job à 6 CPU et 24 Go, deux heures au plus. `nproc` y annonce pourtant tous les cœurs de l'hôte : `JOBS=6` est fixé dans le workflow. ## Versions et maintenance Une reconstruction par version amont de CTranslate2 et par version majeure de CUDA : modifier `versions.env` et `debian/changelog`, tagger `v-`. La liste `CUDA_ARCH_LIST` est explicite parce que la valeur amont `Common` ignore sm_121. Ce dépôt ne fait que compiler et empaqueter : aucune modification du code amont. Licence MIT, comme CTranslate2 ; Ruy et cpu_features (sous-modules) sont sous Apache-2.0.