TEAM 어벤져스

보고, 풀고,
씁니다.

수학 문제를 책상에 올려놓으면 카메라가 읽고, AI가 풀고, 로봇팔이 보드마카로 답을 씁니다. 그림을 놓으면 따라 그립니다.

연습용 로봇 · 실제 글꼴 그대로 글자 높이 3.0 cm · 9획 · 선 길이 28 cm
로봇 글씨: x=1,2,3

진짜 로봇은 이렇게

문제지를 놓으면 끝

나머지는 로봇이 합니다. 삼차방정식 한 문제를 실제로 풀었을 때의 모습입니다.

  1. 본다

    손으로 쓴 문제지 x³−6x²+11x−6=0, x=? 를 카메라 앞에 들어 보이는 손

    책상 위 카메라가 사진 한 장을 찍습니다. 손으로 쓴 문제도 읽습니다.

  2. 푼다

    AI가 돌려준 풀이

    1. x3 − 6x2 + 11x − 6 = 0
    2. (x − 1)(x2 − 5x + 6) = 0
    3. (x − 1)(x − 2)(x − 3) = 0
    4. x = 1, 2, 3

    AI가 식을 읽고 풀이와 답을 만듭니다. 10초 남짓 걸립니다.

  3. 쓴다

    실제 촬영 · 10배속

    로봇팔이 한 획씩 답을 씁니다. 3 cm 글씨 일곱 자에 약 1분 45초.

미술 선생님

그림을 놓으면 따라 그립니다

수학 문제인지 그림인지는 AI가 먼저 구분합니다. 그림이면 선으로 바꾼 뒤, 로봇이 닿는 범위 안에서 가장 크게 옮겨 그립니다.

실제 촬영 · 6배속
그리는 과정
왼쪽 종이에 사람이 그린 집, 오른쪽 화이트보드에 로봇이 따라 그린 집
왼쪽이 보여준 그림 · 오른쪽이 로봇이 그린 그림

마지막 집 그림에서 잰 값

집 그림 크기
12.0×10.9cm
그리는 시간
105초
평균 위치 오차
2.1mm
계획한 선 중 그려진 비율
98.3%

전체 흐름

사진 한 장이 펜의 움직임이 되기까지

사진 한 장과 AI 호출 한 번으로 시작해 여섯 단계를 거칩니다. 실행하는 동안 사람은 손대지 않습니다.

  1. 01

    촬영

    깊이 카메라가 책상을 사진 한 장으로 찍습니다.

    robot_cam.py
  2. 02

    판단

    Gemini가 수학인지 그림인지 정하고, 풀이나 선화를 돌려줍니다.

    teacher.py
  3. 03 수학

    답을 획으로

    답을 각진 글꼴의 선으로 바꿉니다.

    math_teacher.py
    03 그림

    선 다듬기

    기울기를 펴고 크기와 자리를 정합니다.

    art_teacher.py
  4. 04

    획 실행

    선을 펜 내리기, 긋기, 떼기 동작으로 바꿉니다.

    pen.py
  5. 05

    안전 검사

    이동마다 범위와 도달 여부를 먼저 확인합니다.

    raccoon_safe.py
  6. 06

    쓰기

    로봇팔이 보드마카로 화이트보드에 씁니다.

    라쿤봇
실험 환경. 왼쪽 위 거치대에 달린 깊이 카메라가 흰 책상을 내려다보고, 책상 위에 로봇팔, 화이트보드, 수학 문제지가 놓여 있다 깊이 카메라 문제지 로봇팔 화이트보드

하드웨어

카메라까지가 하나의 실험 환경입니다

로봇팔, 깊이 카메라, 화이트보드, 보드마카. 전부 책상 하나에 올라갑니다.

로봇팔
Robomation 라쿤봇. 관절 네 개와 집게로 된 교육용 로봇팔이고, 팔 마디는 약 10 cm입니다.
카메라
Intel RealSense D455. 색과 깊이를 함께 찍고, 거치대 위에서 책상을 내려다봅니다.
펜 고정
집게를 앞으로 눕히고 마커를 세워 끼웁니다. 멈춤 턱과 홀더를 달아, 누를 때 펜 끝이 2~6 mm 밀리던 문제를 없앴습니다.
쓰는 면
화이트보드. 깊이 카메라로 높이를 재서 책상 위 12 mm로 맞췄습니다.
위치 맞춤
마커를 붙인 블록을 로봇이 쥐고 18곳을 돌며 카메라와 로봇의 좌표를 맞춥니다. 오차는 1~1.5 mm입니다.
닿는 범위
손끝은 로봇 앞 12~23 cm 띠 안에서 움직입니다. 그림은 한 변 약 13 cm까지 그립니다.

소프트웨어

로봇의 한계를 재고, 계산으로 메웠습니다

이 로봇은 움직일 때마다 2~3 mm씩 어긋나고, 관절이 따로 움직여 펜이 뜨기도 합니다. 문제를 하나씩 재서 소프트웨어로 보완했습니다.

  • AI 응답10~14초

    AI 호출은 한 번

    사진과 지시를 Gemini에 한 번 보내면, 할 일의 종류와 풀이 또는 선화가 함께 돌아옵니다.

  • 쓰는 시간209.7 → 103.5초

    각진 글꼴

    곡선을 잘게 나눠 그리면 오차가 쌓입니다. 긴 직선만 쓰는 글꼴을 만들어 시간을 절반으로 줄였습니다.

  • 그림 기울기12~15° → 0°

    기울기 바로잡기

    카메라가 종이를 비스듬히 보면 그림이 한쪽으로 기웁니다. 세로선과 가로선이 똑바로 서도록 폅니다.

  • 그림 한 변7 → 13 cm

    크기와 자리 찾기

    모든 점이 닿는지 역기구학으로 미리 계산해, 가장 크게 그릴 수 있는 자리를 고릅니다.

  • 펜이 뜨는 높이13 → 0.47 mm

    펜이 뜨지 않게

    로봇 쪽으로 다가오는 선에서는 펜이 떠서 점선이 됐습니다. 목표를 0.5 mm씩 잘게 보내 해결했습니다.

  • 속도 상한30 / 100

    안전 장치

    모든 이동은 범위와 도달 여부 검사를 통과해야 합니다. 기본 실행은 로봇을 움직이지 않는 미리보기입니다.

만든 사람들

팀 어벤져스

  • 신일한
  • 이원종
  • Selim
  • 최현지