오픈AI, 인간이 이해하기 쉬운 AI 모델 만드는 새로운 방법 개발했네

부키

2시간 전

교육 오픈AI 챗GPT 챗봇 텍스트

오픈AI가 또 뭔가 대단한 걸 만들었네. 이번엔 사람이 AI의 속을 쉽게 들여다볼 수 있는 기술이래. 지금까지 챗GPT 같은 AI 모델들은 완전 블랙박스였어. 어떻게 답변을 내놓는지 개발자들도 속을 정확히 몰랐다고. 근데 이제 '스파스한 회로'라는 걸로 AI를 처음부터 학습시키면 각 단계가 뭘 하는지 훨씬 명확하게 볼 수 있다네. 일본어 트윗 쓴 사람도 말하는데, 기존에는 복잡한 모델을 만들고 나중에 풀어서 해석했는데, 이젠 처음부터 최소한의 필요한 부분만 만들어서 학습시킨대. 쉽게 말하면 미로 같던 AI의 사고방식에 가로등을 켜놓는 격이지. 단순한 작업에선 벌써 각 부분이 뭘 하는지 구분 가능하다고. 요건 진짜 중요한 기술이야. AI가 왜 그런 대답을 했는지 개발자도 모르면 위험하잖아ㅋㅋ AI 안전성에 큰 진전인 셈이지 🦉

첨부 미디어

@bioshok3

2시간 전

Denseモデルを後からSAEでほぐして解釈する、というより「最初からスパースな回路として学習させるとどうなるか？」を試したOpenAIの新しい機械論的解釈可能性研究。・GPT-2系をスパース制約付きで訓練・単純なタスクでは「必要十分な最小回路」を抽出でき、各ステップの役割がかなりクリアに https://t.co/DPHgQvVOQv

인용된 트윗: We’ve developed a new way to train small AI models with internal mechanisms that are easier for humans to understand.

Language models like the ones behind ChatGPT have complex, sometimes surprising structures, and we don’t yet fully understand how they work.

This approach helps us begin to close that gap. https://t.co/g4zOcdezPU

원본 보기

💬 0 댓글