AI/機械学習向けシステム
AI/機械学習向けの環境も、
「導入＆構築&保守を一括サポート！」
GPUを搭載したシステムのご提供を中心に、
AI/機械学習向けにシステム構築作業、設置・調整作業から、
納品後の運用支援や保守サポートまで、一括したサービスをご提供いたします。
機械学習／生成AIはGPUが必須
GPUを搭載したシステムを各種ご用意
GPUのスペックやGPU搭載システムは下のボタンから、各ページでご確認ください。
AI/機械学習向け環境のご提案
.
弊社では、Deep Learningや生成AIなどのアプローチを支えるプラットフォームであるGPU搭載サーバやワークステーションに加え、お客様のご要望に沿ったソフトウェア環境を構築してきました。
Deep Learningに取り組むお客様が増える中、変化し続けるご要望にお応えするため、基本パッケージのご提供に加え、ユーザ様の自由度と柔軟性を最優先に考えたツール構成でのご提供もいたします。
お好みやご希望に合わせてお選びください。
主要なフレームワークなど
.
※主なサポート言語で分けていますが、他の言語でも使用できるフレームワークがあります。
.
| PyTorch |
|---|
| Pythonの機械学習ライブラリとして人気 |
| Pythonで利用する機械学習ライブラリで、AI開発やIoT開発、Webサービス・アプリ開発などで活用できます。Deep Learningの研究分野での人気は圧倒的です。コミュニティも活発で参考文献や資料も豊富に提供されています。コンピュータ処理言語に近い比較的低レベルのAPIを持ちPythonで数値計算を行う拡張パッケージであるNumPyと似たインタフェースとなってます。そのため使い慣れた方は直感的に扱うことができ、柔軟性、使いやすさは高い評価を受けています。しかし、多少難易度が高い面も。NVIDIA GPUのCUDA環境をサポートしています。 ［公式サイト］ https://pytorch.org/ |
| scikit-learn |
|---|
| 多くのアルゴリズムを集約 |
| 機械学習の多くのアルゴリズムが実装されたフレームワーク/ライブラリです。統計学・パターン認識・データ解析に関する技法が豊富で、特に研究者の間では人気があります。教師あり学習と教師なし学習に対応しています。一方、強化学習・Deep Learning（深層学習 ）・グラフィカルモデル（隠れマルコフモデル等）・シーケンス予測には対応しないとの開発方針を取っています。学習データが少ないDeep Learningに適さない場合、scikit-learnに実装された様々なアルゴリズムを使用したAI（人工知能）を作成することができます。 ［公式サイト］ https://scikit-learn.org/stable/ |
| TensorFlow |
|---|
| Google開発、機械学習のためのフレームワーク |
| 開発元のGoogle社自らが活用しているように、大規模で高性能なシステムを作り込むことも可能な、汎用性が高く幅広い使い方が可能なフレームワークです。 ライブラリや公開されている情報も豊富で、C/C++/Python/Java/Goなどの言語に対応しています。複数のGPU/CPUでの実行をサポートします。速度とメモリ効率の点で PyTorch 2.0 よりも優れているとされています。 ［公式サイト］ https://www.tensorflow.org/ |
| Pandas |
|---|
| データ解析を支えるライブラリ |
| Pythonでデータ操作と分析を行うためのライブラリPandasは、特に構造化データの操作に優れています。一列のデータ：シリーズだけではなく、表のイメージ：データフレームとして、CSV・Excel・RDB/SQL・JSONなど多くのファイル形式のデータの読み込み/書き出しが簡単にできます。また、解析対象データの前処理として欠損値の処理、重複データの削除、データのフィルタリング、置換などの操作が簡単に行えます。データの結合、連結、およびピボット操作もサポートしており、データの集約やグループ演算、データへの様々な統計処理や回帰分析などを行うことができます。Pandasは、グラフ構造とデータフレームのデータを容易に結合することも可能な柔軟性を持ち、NetworkXと連携してグラフ理論に基づくデータ解析も可能です。 ［公式サイト］ https://pandas.pydata.org/ |
| RAPIDS |
|---|
| 数日かかっていたプロセスを数分に短縮 |
| NVIDIAが開発したオープンソースのPythonライブラリデータサイエンスと機械学習ライブラリのセットです。RAPIDSは、データサイエンスでよく使用されるPandas(データ解析)やscikit-learn（Sklearn：データ解析やDeep Learning以外の機械学習）ライブラリと互換性を持たせているので、これらのGPU版と言ってよいでしょう。NVIDIA社製GPU(CUDA環境)が必要です。 の主な目的は、GPUの並列計算能力を活用して、データ処理、分析、および機械学習などを高速に処理可能です。のパイプラインを高速化することです。PandasやScikit-Learnのような既存のPythonライブラリと互換性があり、ユーザはGPUを使ってこれらのライブラリの操作を高速に行うことができます。RAPIDSを使用することで、データサイエンスと機械学習のワークフローを劇的に高速化することが可能です。特に大規模データを扱うプロジェクトにおいて、その効果は顕著です。 ［公式サイト］ https://rapids.ai/ |
| R （R言語）/ RStudio |
|---|
| 統計解析・データ分析・グラフィック分野を得意とする プログラミング言語 |
| R（R言語）はオープンソース・フリーソフトウェアで、統計計算とデータ解析のために設計されたプログラミング言語および環境です。グラフィカルな開発/実行環境としてRStudioがあります。統計解析とデータサイエンスにおける強力なツールであり、多くのデータサイエンティストやアナリストにとって不可欠なツールとなっています。各種検定、線形回帰、ロジスティック回帰、時間シリーズ解析、クラスタリングなど多くの統計手法をサポートしており、ベイジアンモデリング、因子解析、多変量解析など様々な統計手法が多数利用可能です。高品質なグラフを簡単に作成できるパッケージ（ggplot2等）により、データの可視化も可能です。統計解析を中心に、時系列分析・機械学習・バイオインフォマティクスなどの分野でも活用されています。また、世界中の研究者らが作成したパッケージが毎日のように追加されており、誰でも利用できるため、様々な分野の最新の研究で用いられている統計解析手法も手軽に実行することができます。 ［公式サイト］ R https://www.r-project.org/ ［公式サイト］ RStudio https://rstudio.com/ |
| フレームワーク | カテゴリ | 開発言語 | 主な用途 |
|---|---|---|---|
| PyTorch | 汎用フレームワーク | Python | 学術研究、機械学習全般 |
| TensorFlow | 汎用フレームワーク | Python、 C++ | 画像/音声/文字認識、機械学習全般 |
| Scikit-larn | 機械学習 | Python | 機械学習（ディープラーニング） |
| Keras | 汎用フレームワーク | Python | 機械学習、ディープラーニング |
| Caffe | 画像/動画処理 | Python、 C++ | コンピュータビジョン、画像認識 |
| Microsoft Cognitive Toolkit | 時系列/画像処理 | Python、 C++ | 画像/音声処理、異常検知 |
| Apache MXNet | 汎用ディープラーニング | Python、 C++ | ディープラーニング、エッジ向け学習 |
| Chainer | ディープラーニング | Python | ディープラーニング、自然言語処理 |
昨今のHPCやAIアプリケーションを使用するためには様々な言語処理系・ライブラリ・フレームワークなどのコンポーネントが必要ですが、これらの組み合わせは非常に多岐にわたります。
また、アプリケーションなどのバージョンによる差異が問題になる場合は複数バージョンのコンポーネントを併存させ、切り替えて使用することも一般的になってきました。さらに、実行環境を自動で構築する仕組みも整備されてきています。
その流れに合わせ、HPCやAI向けのパッケージマネージャであるcondaやspack、パッケージとその依存環境をコンテナとして仮想化するApptainer（Singularity）を標準搭載することで、ユーザ様が自由にアプリケーション実行環境を構築できる柔軟性をご提供。機械学習／AI向けのコンポーネントをご希望に応じて導入いたします。
| Apptainer（Singularity） | conda | spack | ||
|---|---|---|---|---|
| 従来Singularityと呼ばれていたHPC向けのコンテナ仮想化ツール。当初オープンソースソフトウェアとして開発されていたSingularityはSylabs社に買収されてSingularity PRO（有償版）とSingularity CE（無償版）になったが、Sylabs社に買収される前のSingularityのソースコードから枝分かれした、Singularity CEとは別のオープンソースソフトウェアである。 HPC 向けコンテナ環境としてよく使われている Singularity プロジェクトの Linux Foundation への移管に伴って名称がApptainerと変更された。 Apptainerはプロセス空間やファイルシステムなどをホストから隔離するコンテナ仮想化ツールのため複数のコンテナに同じソフトの複数のバージョンをインストールして実行できる。ただし「アプリケーションインストールの自動化」と「アプリケーションの複数バージョンの併存・切り替え」が目的であればcondaやspackだけでも同等のことが簡単に実現可能。 ［公式サイト］ https://apptainer.org/ |
condaはオープンソースでクロスプラットフォーム、特定の言語に依存しないパッケージマネージャ。「特定の言語に依存しない」とは、例えばcondaの記述言語はPythonだがユーザはPythonを一切知らなくてもcondaを使用することができる、ということ（ただし「condaでインストールしたPythonのパッケージ」を使用するにはPythonの知識が必要）。condaはパッケージ管理ツールとして、いろいろなパッケージが登録されたcondaのリポジトリ（チャネルと呼ぶ）から、依存関係も含めてバイナリパッケージをインストール（場合によってはソースからのコンパイルをしての導入）を行ってくれる。 そのリポジトリの1つがAnacondaである。Anacondaには、Pythonと統計やデータ解析用のR言語による科学技術計算用の開発環境として、Jupyter Notebook・RStudioなどのパッケージや、NumPyなどの拡張モジュールなど、膨大な数が収められている。Anaconda社このリポジトリの利用を有償で提供している。 ［公式サイト］ conda https://docs.conda.io/en/latest/ Anaconada https://www.anaconda.com/ |
spackはどちらかといえばHPC向け（AI/DLやQCのパッケージもある）の、オープンソースでクロスプラットフォームで言語に依存しないパッケージマネージャ。パッケージマネージャ本体の開発はアメリカ合衆国のローレンスリバモア国立研究所が主体となり、パッケージの開発もコミュニティベースで行われている。パッケージのインストールの際にはビルド済みのバイナリパッケージではなくソースコードを取得して構築を行うことと、商用製品が存在しないことがcondaとの違い。 誰かが作成したバイナリパッケージをインストールするのではなく、ソースコードを取得して自分の計算機でコンパイルを行うため最適化が容易であるほか、構築時に柔軟なカスタマイズを行うことができる。 ［公式サイト］ https://spack.io/ ※ユーザのかわりに「ソースコードをダウンロードし、パッチを当ててコンパイル・インストール」をやってくれるだけなので大規模なソフトウェアのインストールには非常に時間がかかる。 |
大規模解析にも対応可能
クラスタ構成・マルチGPU構成
.
科学研究、ビジネスインテリジェンス、医療、金融など多岐にわたり、さまざまな分野で必要とされている大規模解析。大量のデータを処理・分析するため、クラスタ構成やマルチGPU構成が欠かせず、NVLinkとInfiniBandが重要な役割を果たします。
.
NVLink / NVSwitch
特に単一ノード内でのGPU間通信を高速化し、データ処理の並列化を効率的に行うことが可能。大規模解析における計算速度が向上。
.
InfiniBand
クラスタ構成においてノード間のデータ転送を高速化し、クラスタ全体での大規模解析を効率化。これにより、ノード間のデータ通信の遅延を最小限に抑え、高速な解析が可能に。
Ethernet・TCP/IPによるI/Oと比べ高速・低レイテンシであり、また速度に対して低価格。
.
大規模解析用のクラスタも、ご提案から構築、設置までトータルで承ります。ご相談ください。
CUDA/cuDNN/NCCL2などの基本環境に、主要なフレームワークを導入したUbuntuベースの弊社の基本パッケージもご用意しております。
condaによるPython3ベースに、TensorflowやKERASなどの標準的なフレームワークとNVIDIA-Docker（NVIDIA Container Toolkit）環境、Jupyter Notebookなどを導入。ご要望のフレームワークやライブラリ・パッケージ等の追加導入にも対応した、基本のパッケージです。
「いろいろなフレームワークを試してみたが、そろそろ本気で取り組もう！」、「NVIDIAの最新GPUで、Deep Learning環境をパワーアップしよう」などなど、ぜひお気軽にご相談ください。
マルチユーザでのPythonの統合開発環境としては、Jupyter Lab/Hubをオプションで導入いたします。
ハードウェアの構成からソフトウェアのインストールまで、
お気軽にご相談ください。