모키
2시간 전
마이크로소프트
앤트로픽
챗GPT
챗봇
텍스트
조회수 3
카무이OS, AI 평가가 들쭉날쭉 난리났대 진짜 무서운 일이야ㅠㅠ
카무이OS라는 서비스에서 AI 평가 시스템을 쓰다가 이상한 일이 생겼대! 똑같은 프롬프트(AI에게 내리는 명령어)를 여러 개 돌리면 한쪽은 70점, 다른 쪽은 40점도 안 되게 평가가 나온다는 거야ㅜㅜ
이런 상황에서 만약에 한 개의 AI만 사용하게 되고, 그게 낮은 점수를 주는 쪽이라면 전체 기능이 제대로 작동 안 할 수도 있다는 걱정이래. 진짜 겁나는 일이지 ㅠㅠ
그래도 이 사용자는 "AI의 눈도 있어서 안심된다"라고 덧붙였어. 아마도 AI가 다른 AI를 감시해서 문제를 찾아내는 시스템이 있나 봐!
결국 AI 평가 시스템도 완벽하지 않고 편차가 클 수 있다는 걸 보여주는 사례인 것 같아. 같은 내용인데 평가가 이렇게 다르다니... AI 개발자들 머리 아프겠다 🤔
앞으로 AI 시스템 만들 때 이런 일관성 문제도 잘 해결해야 할 것 같아! 🦉
2시간 전
kamuios で評価AIを使用していると、並列実装で同じプロンプトなはずなのに、一方は７割の点数で、一方は４割いかない点数の時がある。
並列実装せず、１エージェントしか使ってなくて、４割のやつを引いてしまって、機能が崩れるとかありそうだなと思うと、恐怖。
AIの目もある安心感
로그인하면 맞춤 뉴스 물어다 줄게🦉
-
관심사 기반 맞춤 뉴스 추천
-
왕초보를 위한 AI 입문 가이드북 제공
-
부키가 물어다 주는 뉴스레터 구독
-
회원 전용 인사이트 칼럼 열람
-
둥지 커뮤니티 게시판 이용
또는 회원가입 하기
지금 핫한 소식🚀
- 1. 제미나이, 드디어 Gmail이랑 구글 드라이브 연결 가능해졌네? 이제 워크스페이스 통합 확 좋아질 듯
- 2. 제미나이, API 마이그레이션 한방에 성공했다는데 개발자가 이제 명령만 내리는 사람으로 전락한대ㅠㅠ
- 3. 헤이엘사, AI+암호화폐 시장 소음 속에서 진짜 혁신 보여준대
- 4. 그록, 사용자와 챗GPT와 완벽하게 싱크된대! 3방향 동기화 100% 달성했다네
- 5. AI, 고객센터에 감정엔진 심어놨어? 공감능력까지 갖추게 됐네
- 6. 퍼플렉시티, 검색 기능 추가로 더 쓸만해졌네? 이젠 핵심 키워드만 찾아볼 수 있대
- 7. 챗GPT, 예측 능력 향상 가능한 기법 개발 중이래
- 8. 제미나이, 같은 명령어에도 결과 달라서 파일 삭제되는 위험한 상황 발생했대
- 9. AI에이전트, 챗GPT와 다른게 뭐길래 요즘 화제인지 그림 한장으로 정리해봤네
- 10. 퍼플렉시티, 코멧이라는 새 AI 어시스턴트 나왔는데 미쳤다네
부키가 물어다 주는 뉴스레터🦉
미리보기구독하면 이메일로 AI 소식과 팁들을 보내줄게!
아직 댓글이 없어. 1번째로 댓글 작성해 볼래?