AIへの指示トークンを9割削減する無償ツールが登場。浮いた予算で自社データ基盤を構築する
元Netflix社員がAIコスト削減アプリを公開。浮いたAPI予算を自社データ基盤の整備へ再配分する 今日のニュース ソフトバンクGが仏のAIデータセンターに投資します。 LLMに再学習なしで知識を追加するMeMoが公開されました。 GitHub Copilotがトークン消費ベースの従量課金になります。 企業でのAIエージェント普及の障壁は権限管理にあります。 中国政府が大手IT企業に安売り中止とAI投資を指示しました。 Palo AltoのVPN機能に認証回避の脆弱性が発覚しました。 ユタ州知事が反発を受けデータセンター開発を厳格化します。 OpenAIが生命科学研究向けAIを防衛目的に限定提供します。 AIのAPI利用費を削減する無償ツールが公開されました。 Oktaが異常なAIを強制停止できる機能の提供を発表しました。 PinterestがAIの視覚層を最適化しコストを9割削減しました。 NHK技研が映像来歴を管理しフェイクを見分ける技術を公開。 GroqからNVIDIAが技術者を引抜きGroqは資金を調達しました。 加州がデータ流出の初動対応不備で23andMeを提訴しました。 仏Mistral AIが特定の産業に特化した新モデルVibeを公開。 日本MSが端末内で完結するローカルAI基盤の提供を始めました。 UCLAがOracleのシステム移行遅延で法的措置を協議します。 元Netflix社員がAIコスト削減アプリを公開。浮いたAPI予算を自社データ基盤の整備へ再配分する AI推論コストの単価は大きく下落しました。 それでも企業のAIインフラ支出は増え続けています。 業務でAIを利用するほど費用が膨らむ状況です。 経営層はこの費用対効果の不透明さに悩んでいます。 AIツールの継続利用を迷う企業も少なくありません。 そこで元Netflixの技術者がアプリを開発しました。 AIのAPI利用費を削減するProject Headroomです。 オープンソースとして無償で一般公開されました。 プロンプト内の冗長なトークンを削ぎ落とす技術です。 用途を絞り込んだ最適化が有効なコスト管理策です。 単なる情報削減はモデルの精度低下を招く恐れがあります。 文脈の欠落は業務エラーの直接的な原因となります。 そこで残すトークンを動的に判断する技術を併用します。 無駄を省きつつ必要な文脈を残すバランスが重要です。 コストと精度の両立はこの条件を満たすことで実現します。 先行企業はすでにこの手法で成果を上げています。 Pinterestは画像推薦AIの視覚層を最適化しました。 トークンを削りつつ高い精度を維持しています。 結果としてAPIの呼び出し費用を90%削減しました。 システム規模が大きいほどこの削減効果は絶大です。 今後は無駄な命令が直接的なコスト増に直結します。 GitHub Copilotが従量課金への移行を発表しました。 高性能なAIをどう使うかという段階は過ぎました。 今は無駄なAI呼び出しをどう減らすかが問われます。 この無償ツールで中小企業もAPI利用料を下げられます。 では削減によって確保した資金をどこへ向けますか。 最新のAIモデルへ再投資するだけが正解ではありません。 自律的なAIエージェント普及に向けた足場の準備です。 企業導入の壁はAIモデルの性能ではありません。 SaaS連携時の複雑な権限設定やアクセス制御にあります。 既存のID管理基盤ではAIの動的な要求に対応できません。 AIが機密データを勝手に扱う事態を防ぐ機能がいります。 安全に動かすための権限管理機能の導入です。 あるいはAIが正確に参照するためのデータ整備です。 こうした地味だが不可欠な配管工事へ予算を回します。 足元の無駄を省き未来の安全な自動化へ投資します。 浮いた予算を活用し自社の配管工事から始めてみてください。 SoftBank、仏に約14兆円のAIデータセンター投資を発表 ソフトバンクグループが仏で5GW規模のAIインフラ投資を発表しました。 最大750億ユーロを見込む欧州最大の投資プロジェクトです。 生成AI時代の計算リソース需要の拡大を見据えた事業展開です。 出典: TechCrunch 再学習なしでLLMを更新するMeMoが企業AI性能を向上 LLMを再学習せずに知識を追加できる新技術が登場しました。 既存モデルに記憶を追加しエンタープライズAIを強化します。 企業AIの性能が26%向上したことが新たに確認されました。 知識を最新に保つためのコストと時間を大きく削減します。 出典: VentureBeat ...