AI가 아이폰을 직접 제어
마치 AI 비서에게 '날씨 앱 열어줘'라고 말하면 직접 손가락으로 터치하는 것처럼, AI 에이전트가 맥의 아이폰 미러링 화면을 통해 실제 아이폰을 제어할 수 있게 해주는 도구예요. 탈옥이나 Xcode 없이도 AI가 화면을 보고, 터치하고, 글자를 입력할 수 있습니다.
이 레포, 나한테 필요한가?
사람 검수 전
- 무엇인가
- 마치 AI 비서에게 '날씨 앱 열어줘'라고 말하면 직접 손가락으로 터치하는 것처럼, AI 에이전트가 맥의 아이폰 미러링 화면을 통해 실제 아이폰을 제어할 수 있게 해주는 도구예요.
- 탈옥이나 Xcode 없이도 AI가 화면을 보고, 터치하고, 글자를 입력할 수 있습니다.
[README-001]- 할 수 있는 일
- AI 기반 아이폰 자동화 [README-001 · README-002 · README-003]
- 진입 조건
- 중급자용 · Python [분석]
- 먼저 확인
- 터미널에 손쉬운 사용 및 화면 기록 권한을 부여해야 하며, 화면 기록 권한은 터미널 재시작 후 적용됩니다. [README-004 · README-003]
이걸로 실제로 할 수 있는 일
기능명보다 사용자가 완성할 수 있는 작업과 결과를 우선해 정리했습니다.
AI 기반 아이폰 자동화
Claude Code나 Codex 같은 AI 에이전트가 아이폰 화면을 읽고 터치 조작을 수행하는 자동화 시스템
음성 명령 앱 실행기
AI에게 '날씨 앱 열어줘'라고 말하면 실제 아이폰에서 해당 앱을 찾아 실행하는 도구
반복 작업 자동화 도우미
알람 설정, 메시지 전송 등 반복적인 아이폰 조작을 AI가 대신 수행하게 하는 스크립트
기능보다 중요한 건
내 상황과의 적합성.
공식 기능과 시작 조건을 바탕으로 한 AI 판단입니다. 도입 전 원문과 실제 환경에서 다시 확인하세요.
- AI 에이전트를 활용해 아이폰 조작을 자동화하려는 경우
- 반복적인 아이폰 작업을 AI에게 위임하고 싶은 경우
- 맥과 아이폰을 연동한 프로토타입을 빠르게 만들고 싶은 경우
- 안드로이드 기기를 제어해야 하는 경우
- 아이폰 미러링이 지원되지 않는 구형 맥을 사용하는 경우
- 팀 전체가 macOS 권한 설정에 익숙하지 않은 경우
기술과 도입 조건
자동 감지된 기술 스택, 문서 상태와 유지보수 메모를 한곳에 모았습니다.
Python 3.10+ · pyobjc-framework-Quartz · pyobjc-framework-Vision · pyobjc-framework-AppKit · pyobjc-framework-ApplicationServices · macOS iPhone Mirroring · HID-level CGEvent · Vision-framework OCR
README에 상세한 셋업 프롬프트와 사용 예시가 포함되어 있습니다. SKILL.md와 src/phone_harness/helpers.py를 참고하도록 안내하고 있습니다.
최근 24시간 내 push 기록이 있습니다. 유지보수 품질과 응답 속도는 별도 확인이 필요합니다.
가장 짧은 시작 경로
- 01설치
저장소를 클론하고 README의 셋업 프롬프트를 Claude Code나 Codex에 붙여넣으면 AI가 자동으로 설치를 진행합니다.
- 02실행
설치 후 `phone-harness --doctor` 명령어로 모든 연결이 정상인지 확인하고, AI 에이전트에게 '날씨 앱을 열어줘' 같은 명령을 내리면 됩니다.
GitExplain 자동 분석은 설치 명령을 직접 실행해 검증한 결과가 아닙니다.
아래 내용을 Codex 같은 코딩 에이전트에 붙여 넣으면 공식 문서를 다시 확인한 뒤 내 환경에 맞는 설치를 안내합니다.
너는 내 로컬 개발 환경에서 오픈소스 저장소를 안전하게 설명하고 설치하는 시니어 엔지니어야.
저장소: https://github.com/shawnpana/phone-harness
GitExplain 요약: 마치 AI 비서에게 '날씨 앱 열어줘'라고 말하면 직접 손가락으로 터치하는 것처럼, AI 에이전트가 맥의 아이폰 미러링 화면을 통해 실제 아이폰을 제어할 수 있게 해주는 도구예요. 탈옥이나 Xcode 없이도 AI가 화면을 보고, 터치하고, 글자를 입력할 수 있습니다.
주요 언어: Python
난이도 메모: 중급자용
해야 할 일:
1. 먼저 저장소의 최신 README, 설치 문서, manifest를 읽고 현재 기본 브랜치 기준으로 설명해줘.
2. 이 저장소가 무엇이고 내가 무엇을 만들 수 있는지 비개발자도 이해할 수 있게 짧게 설명해줘.
3. 내 운영체제와 기존 개발 환경을 먼저 질문한 다음, 가장 안전한 설치 방법을 단계별로 제시해줘.
4. 명령을 실행하기 전 각 명령이 바꾸는 것과 예상 결과를 알려줘. 파괴적인 명령은 자동 실행하지 마.
5. 필요한 API 키나 비밀 값은 채팅이나 코드에 직접 적게 하지 말고 환경 변수와 .env 예시로 안내해줘.
6. 설치 후 최소 예제를 실행해 성공 여부를 확인하고, 실패하면 오류 원인과 되돌리는 방법을 알려줘.
7. GitExplain 요약과 공식 문서가 다르면 공식 문서를 우선하고 차이를 명시해줘.
GitExplain이 정리한 시작 메모:
1. 설치: 저장소를 클론하고 README의 셋업 프롬프트를 Claude Code나 Codex에 붙여넣으면 AI가 자동으로 설치를 진행합니다.
2. 실행: 설치 후 `phone-harness --doctor` 명령어로 모든 연결이 정상인지 확인하고, AI 에이전트에게 '날씨 앱을 열어줘' 같은 명령을 내리면 됩니다.도입 전에 놓치기 쉬운 점
터미널에 손쉬운 사용 및 화면 기록 권한을 부여해야 하며, 화면 기록 권한은 터미널 재시작 후 적용됩니다.
[HIGH · README-004 · README-003]아이폰이 연결되어 있고 잠금 해제된 상태여야 정상 작동하며, 세션이 일시 중지되면 사용할 수 없습니다.
[MEDIUM · README-004 · README-003]근거 원장
이 표는 원문이 어떤 분석 항목에 연결됐는지를 보여주며, 사실 정확도를 보증하는 점수는 아닙니다.