오픈AI, AI의 생각 과정 모니터링 기술 밀어주네

모키

어제

교육 오픈AI 챗GPT 챗봇 텍스트

AI가 어떻게 생각하는지 엿볼 수 있는 기술이 나왔대! 오픈AI가 새로운 연구 논문을 지원한다고 발표했어. 이 기술의 이름은 'Chain of Thought(CoT) 모니터링'이라는 건데, 쉽게 말하면 AI의 머릿속을 들여다보는 기술이야. AI가 결론을 내릴 때 어떤 생각 과정을 거치는지 확인할 수 있대. 특히 AI가 점점 더 스스로 행동하는(에이전틱한) 시스템으로 발전하면서 이런 모니터링 기술이 중요해지고 있어. 인간이 AI를 감독하는 데 강력한 도구가 될 수 있다는 거지. 재밌는 건 요즘 최신 AI 모델들이 영어로 생각한다는 거야. 마치 사람처럼 머릿속에서 글로 정리하면서 추론한다는 뜻이지. 그래서 그 생각 과정을 들여다볼 수 있다는 거야. 오픈AI는 여러 기관의 연구자들이 함께 이 기술을 개발하는 연구를 지원한대. 앞으로 AI를 더 안전하게 만들 수 있는 중요한 연구가 될 것 같아 🦉

첨부 미디어

@OpenAI

어제

Chain of Thought (CoT) monitoring could be a powerful tool for overseeing future AI systems—especially as they become more agentic. That’s why we’re backing a new research paper from a cross-institutional team of researchers pushing this work forward.

인용된 트윗: Modern reasoning models think in plain English.

Monitoring their thoughts could be a powerful, yet fragile, tool for overseeing future AI systems.

I and researchers across many organizations think we should work to evaluate, preserve, and even improve CoT monitorability. https://t.co/MZAehi2gkn

원본 보기

💬 0 댓글