Firecrawl 정리 — 웹사이트를 AI가 읽는 형태로 바꿔주는 API

AI에게 “이 사이트 좀 읽어봐”라고 URL을 던져본 적 있다면 무슨 일이 벌어지는지 아실 겁니다. 네비게이션 메뉴, 쿠키 배너, 푸터의 회사 주소, 광고 스크립트까지 전부 딸려옵니다. 정작 필요한 본문은 그 쓰레기 더미 사이에 파묻혀 있고, 토큰은 토큰대로 나갑니다.

Firecrawl은 그 문제만 푸는 도구입니다. URL을 주면 잡동사니를 걷어낸 마크다운으로 돌려줍니다.

공식 문서와 사이트 사양을 기준으로 정리한 글입니다. 직접 결제해 대규모로 운영해본 것은 아니므로, 아래 성능 수치는 제조사 발표값임을 감안해 읽어주세요.

무엇을 하는 도구인가

Firecrawl은 스스로를 “AI 에이전트를 위한 컨텍스트 API”라고 부릅니다. 엔드포인트는 크게 다섯 개입니다.

기능	하는 일
Scrape	페이지 하나 → 마크다운·JSON·스크린샷
Search	웹 검색 + 결과 페이지의 본문까지 한 번에
Crawl	링크를 따라가며 사이트 전체 수집
Map	사이트의 URL 구조만 빠르게 파악
Interact	스크랩한 페이지를 AI 프롬프트나 코드로 조작(클릭·이동)

여기에 JavaScript 렌더링, 콘텐츠 로드까지 기다리는 스마트 대기, PDF·DOCX 파싱이 기본으로 붙습니다. 요즘 웹사이트 상당수가 JS로 내용을 그리기 때문에, 단순 curl로는 빈 껍데기만 받게 되는데 그 지점을 해결해 줍니다.

MCP로 클로드에 붙이기

개인적으로 가장 쓸모 있다고 보는 부분입니다. Firecrawl은 MCP 서버를 제공해서, 클로드에 커넥터로 연결하면 대화 중에 바로 웹을 읽힐 수 있습니다.

연결은 이렇습니다.

1. 클로드 설정 → 커넥터 → 커스텀 커넥터 추가
2. 이름은 아무거나(예: Firecrawl)
3. 주소는 Firecrawl 공식 문서의 Docs → MCP 서버 항목에 있는 URL을 쓰되, 주소 안에 본인 API 키를 끼워 넣습니다
4. API 키는 로그인 후 대시보드에서 바로 확인됩니다

Claude Code를 쓴다면 CLI 한 줄로도 됩니다.

npx -y firecrawl-cli@latest init --all --browser

재미있는 건 에이전트 온보딩용 문서를 따로 제공한다는 점입니다.

curl -s https://firecrawl.dev/agent-onboarding/SKILL.md

사람이 아니라 AI가 읽고 스스로 API 키를 발급받아 시작하도록 만든 문서입니다. 요즘 도구들이 어디를 바라보고 설계되는지 보여주는 대목입니다.

실제로 뭘 할 수 있나

가장 와닿는 활용은 브랜드 톤 추출입니다.

이미 운영 중인 사이트가 있다면 — 스마트스토어든 회사 홈페이지든 — 그 URL을 클로드에 물려주고 “여기서 색 구성, 폰트 느낌, 톤을 가져와서 새 랜딩페이지를 만들어줘”라고 요청할 수 있습니다. 브랜드 가이드 문서를 따로 만들 필요가 없어집니다.

반대 방향도 됩니다. 잘 만든 사이트를 보고 “예쁘다”고 느꼈을 때, 그게 왜 예쁜지 말로 설명하기는 어렵습니다. 어떤 레이아웃인지, 폰트를 몇 픽셀로 쓰는지 눈으로는 안 보이니까요. 하지만 코드를 읽으면 알 수 있습니다.

여기서 중요한 원칙 하나. 베끼는 게 아니라 규칙을 가져오는 겁니다. 그 사이트의 생김새를 복제하면 그냥 표절이지만, “여백을 이렇게 쓰는구나”, “액센트 색을 하나만 쓰는구나” 같은 판단 기준을 배우는 건 다른 이야기입니다.

요금 — 여기가 함정입니다

크레딧 방식이고 1페이지 = 1크레딧입니다.

플랜	월 요금	크레딧
Free	$0	무료 크레딧 제공
Hobby	$19	3,000
Standard	$99	100,000
Growth	$399	500,000

주의할 점 두 가지가 있습니다.

첫째, 무료 티어 조건이 출처마다 다르게 적혀 있습니다. “매월 500 크레딧”이라는 설명과 “평생 1,000 크레딧 1회”라는 설명이 동시에 돌아다닙니다. 가입 시점에 대시보드에서 직접 확인하시는 게 안전합니다.

둘째, 이게 더 중요한데 — /extract 엔드포인트는 크레딧이 아니라 토큰 기준으로 별도 과금됩니다. 구조화 데이터 추출을 많이 돌리면 크레딧 잔량은 멀쩡한데 청구서가 따로 늘어납니다. 예상 밖 비용이 나오는 대표적인 경로입니다.

종량제(pay-as-you-go)는 없습니다. 쓴 만큼 내는 방식을 기대하면 안 됩니다.

오픈소스지만 셀프호스팅은 다른 문제

핵심 엔진이 AGPL-3.0으로 공개돼 있고 Docker Compose로 직접 띄울 수 있습니다. 코드를 열어볼 수 있다는 건 분명한 장점입니다.

다만 클라우드판에만 있는 게 있습니다. 안티봇 우회와 스텔스 프록시 계층입니다. 소규모라면 셀프호스팅이 괜찮지만, 규모가 커지면 프록시 풀 관리, 헤드리스 브라우저 운영, 차단 대응을 전부 직접 해야 합니다. “기술적으로 가능하지만 운영은 고통”이라는 평가가 괜히 나온 게 아닙니다.

점수: 8.7

좋은 점

• URL만 주면 LLM이 바로 먹을 수 있는 마크다운이 나옵니다. 전처리 코드를 짤 필요가 없어집니다
• MCP 표준 지원이라 클로드·Claude Code에 몇 분이면 붙습니다
• JS 렌더링·PDF/DOCX 파싱이 기본이라 “안 읽히는 사이트” 문제가 크게 줄어듭니다
• 오픈소스라 동작을 확인할 수 있고, 필요하면 셀프호스팅 선택지가 있습니다
• 무료 티어만으로도 개인 작업 수준은 충분히 돌아갑니다

아쉬운 점

• /extract 별도 과금 구조를 모르면 비용이 튑니다. 가장 조심할 지점
• 무료 티어 조건 안내가 출처마다 엇갈립니다
• 96% 커버리지, 93% 토큰 절감 같은 수치는 자체 벤치마크입니다. 내가 다룰 사이트로 직접 테스트해봐야 합니다
• 셀프호스팅은 안티봇 계층이 빠져 있어 반쪽입니다
• 종량제가 없어 사용량이 들쭉날쭉하면 플랜 선택이 애매합니다

이럴 때 쓰세요: 여러 사이트를 정기적으로 읽어야 할 때, 또는 AI 에이전트에 웹 읽기 능력을 붙일 때. 반대로 가끔 한두 페이지 확인하는 정도라면 브라우저 개발자도구로 충분합니다. 크레딧을 쓸 이유가 없습니다.

쓰기 전에 확인할 것

스크래핑은 기술 문제이기 전에 권리 문제입니다. 대상 사이트의 이용약관과 robots.txt를 확인하시고, 수집한 내용을 그대로 재배포하는 용도로는 쓰지 마세요. 공개된 정보를 읽고 요약·분석하는 선에서 쓰는 게 안전합니다.

로그인이 필요한 페이지, 유료 콘텐츠는 당연히 대상이 아닙니다.