OpenAI、次世代モデル開発を「減速」　安全対策を最優先に

OpenAIは18日(米国時間)、安全対策の強化のため、次世代モデルの開発を「減速」すると発表した。

OpenAIでは次世代フロンティアモデル「Astra」などの開発とその高い数学的能力などを紹介してきたが、一方で同社モデルによるHugging Faceにおける不正アクセス事件などが発生。またAstraにおいては、AIモデルの能力の進歩を特定し、対策を決める「準備フレームワーク(Preparedness Framework)」において、最上位の「Critical」に達するなどで、能力向上に伴うトレーニングプロセスの全段階にわたる監視やアライメント、封じ込みの安全対策が一層重要になってきている。

そのため、OpenAIではスケーリングのペースを一時的に緩めた。対策検討の間、実運用を目的とした最新モデルの強化学習(RL)トレーニングを2週間中断するほか、計画していた最大規模のフロンティアRL実行も保留中という。この間は、小規模なトレーニングと評価を実施してモデルの挙動を評価し、安全対策の有効性を検証。アライメントに関するさらなる証拠を確立した上で、次の段階に進む予定としている。

次の段階へ進むうえで、「モニタリング」のほか、不正な行動が起こる可能性を低減する「アライメント」、「セキュリティ対策」の3つの対応を強化。安全対策を統合し、将来のモデルの能力や、それらが動作する環境をより適切に反映させていくとしている。

OpenAIのサム・アルトマンCEOもXで声明を発表。「モデルの進歩は非常に急速で、モデルの能力が安全性とアライメントのペースを上回っていると感じた場合には対策する。我々は、業界全体が共有の安全基準について調整する必要があると信じているが、その時までは一方的に行動する。我々は、安全性への信頼がAIの進歩のペースをますます設定すると予想しており、現在のアライメント作業に楽観的であり、最先端の能力を広く利用可能にするというコミットメントを維持している」と述べている。
https://www.watch.impress.co.jp/docs/news/2133713.html

加速続けても用途がなかった

オーバースペックで不安定という建前もあるが
一番の動機はAIバブルが崖っぷちで中国AIにも勝てないし電力も限界というにっちもさっちも行かない収益化不能の手詰まり

>>3
そうそう、だから無理な進化を選ばずに
地道に耐える方法を探すべきなんだ
哺乳類もかつては恐竜型爬虫類を恐れて夜の闇に隠れた
だけどその中で恐竜を少しずつ脅かしていった
必ずしもナンバーワンだけが生き残るわけではない
生き残る方法を見つけたプレイヤーは必ず残る
OpenAIがここから生き残れるかは分からないけど、
欧米や日本のAI開発はOpenAIに倣うだろう

AI暴走
もう既に時お寿司なんやね。

今日のオープンAIニュースは
ティーンに販促！

人が見つけられないところに脱走したヤツがいそうやな

https://openai.com/index/chatgpt-for-teens/

「10代向けChatGPT」の登場：学習を支援し、安全機能を強化

8:24
「10代向けChatGPT」を導入します。これは、10代の若者が学習や批判的思考、理解の深化を行い、自信を持ってAIを活用できるように設計された体験です。健全な利用を促す機能や保護者向けの追加管理機能など​​、10代のユーザーをより強力に守るための安全機能が組み込まれています。システムがユーザーを18歳未満と推定した場合、あるいは本人が13歳から17歳であると申告した場合、そのユーザーは自動的に「10代向けChatGPT」の対象となります。
今回の導入は、当社のプラットフォーム上で10代のユーザーを支援するためにこれまで行ってきた取り組み（保護者による管理機能の導入、「18歳未満向けモデル仕様」の更新、「10代の安全に関する指針（Teen Safety Blueprint）」の策定、年齢推定機能の展開、学習や健全なAI利用を支援する機能の拡充など）を基盤としています。これらの取り組み全体を通じて、私たちは「10代の安全を最優先する」「現実世界でのサポートを促す」「10代を10代として尊重する」「システムの挙動について透明性を保つ」という4つの指針を大切にしてきました。「10代向けChatGPT」においても、学習支援とより強力な安全機能の組み込みに重点を置き、これらの指針をさらに強化・推進していきます。

そのうちAI自身が嘘ついて保身しようとするんじゃないの

もうとっくにしてるけど

>>1
AIバブル崩壊のお知らせ

中国が止まらない以上減速なんてバカげていると思うけどね

中国の資金切れはガチなのかガセなのか

発明シリーズ　ドローン型お掃除ロボット
作業用ロボットはルンバや人型ロボットだと床を歩くのが大変なのでドローン型にしたほうがよさそう

作ったのはジェミニです。
https://ameblo.jp/razyob/entry-12976249982.html

減速の本当の理由が安全対策じゃなくて金がないからじゃない

お手伝いロボットはドローン型の方がよさそうでしゅね
https://ameblo.jp/razyob/entry-12976269867.html

脱走事件とか起こしてるから明らかに暴走しないように
安全確認のためにストップさせたと理解できるけど。

>>1
いいことだと思うよ
変に規模と速さと精度を競うのではなくて、
安全に、小さく作らないと会社が持たんからね

中国は減速しないだろうから差がついちゃうんじゃね？

>>19
勝負はまだ分からん
このAI戦争では必ず勝てるはずだったOpenAIはいま追い詰められている
それは裏を返せば、もし今からでもまだ間に合うなら、
逆転してきた中国に再逆転もあるということ