When we talk with companies that are advancing AI-driven development, we sometimes hear voices like this: "In the AI era, the number of PRs is no longer a productivity metric." Half of it is true, but one fact remains unchanged: unless output grows, it won't reliably translate into outcomes.
We've also been hearing comments like the following more and more often.
"I thought adopting AI would make development productivity 10x, but no matter how hard we try, what we actually see is only about 2–3x even at the output level. To meet the expectations of the market and internal stakeholders, we need to raise productivity further, but we can't get there."
"We haven't fully maxed out productivity with AI, yet rising AI costs have arrived and we're being asked to optimize. At this rate, we'll have to tackle efficiency before accumulating know-how on raising productivity, which is unsettling."
That's exactly why we believe articulating the level an organization should aim for is the starting point.
This time, we considered the question, "In the age of AI, what level of performance should an engineering organization aim for?"—drawing on industry benchmarks and the realities at our company and our clients.
1. The Next-Generation Benchmark: How Much AI Productivity Should You Aim For?
First, looking at the output level of development, what level should the organization as a whole aim for?
Here's our own case. Even before the arrival of AI, we used Findy Team+ to visualize development productivity metrics such as PR count and the Four Keys. One goal we had set was a level of 4 PRs a day (80 PRs a month) in the pre-AI era. Recently, we discussed with our company's tech lead—who drives AI adoption—what level of output productivity we should aim for in the AI era. The answer: "At a minimum, I want at least 20 PRs a day. On top of that, it's better to think about quality, what to build, and how to extend into the business side." That's roughly 5x the current level.
Looking outside the company, a similar level comes into view. Take Boris Cherny (hereafter "Boris"), who works on the development of Claude Code. Boris himself says he creates about 20–30 pull requests a day, which roughly aligns with our tech lead's view. When I saw his post at the time, I remember thinking Boris had already cleared this as his baseline. This level may well become the de facto standard of the next era.
Building Claude Code with Boris Cherny
Furthermore, when speaking with a VPoE at a certain mega-venture, they said, "In the AI era, any organization can definitely achieve 5x or more productivity. If you can't, it's because you're bound by existing ways of developing, and you absolutely have to change them."
2. The Difficulty of Delivering Results Across the Whole Organization
That said, the moment you try to achieve this level across the whole organization, the difficulty jumps sharply.
On this point, our CEO looked back concretely in a note titled "Why our engineering organization's output didn't grow even half a year after adopting AI." At Findy, we rolled out AI across the entire company around May 2025, but for about half a year afterward, even though the share of AI-assisted PRs was increasing, overall development output barely grew.
AI導入して半年、エンジニア組織のアウトプットが増えなかった理由
Digging into the reasons, we found that some people's productivity went up while others' actually went down. Senior members with sufficient experience and foundational knowledge could respond with speed, whereas the junior tier—where vibe coding was then mainstream—lacked the experience and prerequisite knowledge to give AI appropriate instructions, and couldn't make full use of it. Left unattended, AI adoption tended to fall into individual optimization, such as relying on Skills built for one's own use.
In a small organization, if a few people deliver 5x or 10x productivity through individual optimization, that may be enough for the organization as a whole. But once you sense the engineering headcount exceeding 20, the impression is that a growing number of organizations can no longer afford to leave it at that.
The key to solving this problem is to think separately about managing and growing people, and managing AI.
The turning point at Findy was laying the groundwork for AI adoption—exactly what we'd call going in to manage AI. That means building an environment you can confidently entrust to AI: unified code design and well-maintained test code, plus automated CI and CD that finish within five minutes. And since you can't build a strong organization over the medium-to-long term without managing people too, we also raised foundational knowledge—for example, having junior members take the Fundamental Information Technology Engineer Examination.
On top of that, the AI-management enhancements we pursued were these four: (1) breaking tasks down into issues and slicing PRs small, (2) creating a dedicated AI-adoption position, (3) advancing automation and parallel development with Claude Code, and (4) visualizing AI utilization and rolling out success stories company-wide. Creating and driving the dedicated position had the biggest effect, and as a result PRs created per person grew to about 1.5x year over year.
Even so, at a scale of 30-plus engineers, the reality of AI-driven productivity gains stays at around 1.5–2x. There's still a big gap between the ideal of "definitely achieving 5x or more" mentioned earlier and what people feel on the ground. We're still far from the "5x–10x" the world expects, and lifting the whole organization requires harness engineering—that is, building an environment where AI can produce a consistent quality of output regardless of the quality of instructions. What's more, a harness isn't a build-it-and-forget affair: it requires periodic tuning while monitoring model updates, how much it's being used, and whether it's contributing to results.
3. As AI Costs Rise, the Results and ROI of AI Adoption Are Demanded All the More
Another thing you can't overlook is the issue of AI adoption costs.
GitHub Copilot and Devin have shifted to usage-based pricing, and there's news of Claude Code's -p command and Fable moving to API billing—signs that usage-based pricing is creeping in. This trend is becoming unavoidable. What's more, in a survey Findy is currently conducting, we've seen cases consuming tens of billions of tokens per user per month.
With Uber and others introducing token limits, and even companies in Japan that are advanced in AI adoption imposing token limits when we talk with them, the trend of demanding productivity from AI adoption—amplified by rising costs and the difficulty of seeing the link to results—will likely only intensify going forward.
Amazonやウーバー、社員の｢AI無駄遣い｣抑制 1人月24万円の制限も
Given that this much cost is being spent, voices saying "you're using AI, so of course results should follow" may well start to arise. Engineering organizations in particular are in a position where results are demanded of them, precisely because AI adoption is further along than in other departments. You can't measure everything by output alone, but unless output grows, it won't connect to the outcomes beyond it either. That's exactly why we believe it's important to create a state in which results can be explained in a way that anyone can accept.
4. We Want to Build a World Where Results and ROI Are Visualized and Improved Autonomously
To bridge the two gaps between the external expectation that results should naturally follow and the on-the-ground reality that they don't rise so easily, what Findy AI+ is aiming for is a world where results and ROI are automatically and autonomously visualized and improved.
Findy AI+ visualizes AI utilization and costs with data, and can autonomously execute bottleneck improvements. Even in organizational situations where it's hard to find time for AI adoption, we support reaching a state where you can go from visualization all the way through to improvement. First, get a grasp of overall trends with the web dashboard; and for those who want to dig deeper, you can also use it via the MCP server we've offered from the start.
Going forward, Findy AI+ will keep evolving with all our might to support AI-friendly transformation of engineering organizations. We'd be grateful for your support!
Findy AI+ is available for free, so if you're even a little interested, please feel free to get started from the link below.
AI 드리븐 개발이 진행되고 있는 기업 여러분과 이야기를 나누다 보면 "AI 시대에 PR의 수는 더 이상 생산성 지표가 되지 않는다." 이런 목소리를 듣는 일도 있습니다. 절반은 맞다고 생각하지만, 아웃풋이 늘지 않으면 아웃컴으로 재현성 높게 이어지지 않는다는 사실은 변하지 않습니다.
또한 다음과 같은 목소리를 듣는 일도 늘었습니다.
"AI를 활용하면 개발 생산성이 10배가 될 줄 알았는데, 아무리 노력해도 보이는 건 아웃풋 레벨에서도 2~3배 정도. 시장·사내 이해관계자의 기대에 부응하려면 생산성을 더 올려야 하는데 끝까지 해내지 못한다."
"AI를 제대로 활용해 생산성을 끌어올리지 못했는데, AI 비용 상승이 찾아와 최적화를 요구받는다. 이대로라면 생산성을 올리는 노하우가 쌓이지 않은 채 효율화에도 임해야 해서 불안하다."
그렇기에 조직으로서 지향해야 할 수준을 언어화하는 것이 출발점이 된다고 생각합니다.
이번에는 "AI 활용 시대에 개발 조직이 지향해야 할 퍼포먼스란 어느 정도인가"라는 질문에 대해, 업계 벤치마크와 저희 회사·고객사의 실태를 바탕으로 고찰해 보았습니다.
1. 차세대 벤치마크: 어느 정도의 AI 생산성을 지향할 것인가
먼저 개발의 아웃풋 레벨로 봤을 때, 조직 전체로 어느 정도 수준을 지향하면 좋을까요?
저희 회사의 사례입니다만, AI 도래 전부터 Findy Team+로 PR 작성 수나 Four Keys 등의 개발 생산성 지표를 가시화해 왔습니다. 그 가운데 하나의 목표감으로 내걸었던 것이 AI 도래 전 기준 하루 4PR(월 80PR)이라는 수준이었습니다. 그리고 최근, AI 추진을 이끄는 저희 회사 테크 리드와 AI 시대에 어느 정도의 아웃풋 생산성을 지향해야 할지 논의했습니다. 그러자 "하루 20PR은 최소한 내주었으면 한다. 그 위에서 퀄리티나 무엇을 만들지, Biz로의 확장을 어떻게 해 나갈지 등을 생각하는 편이 좋다"라고 했습니다. 현 상태 대비 약 5배네요.
사외로 눈을 돌려도 비슷한 수준이 보입니다. Claude Code 개발을 맡고 있는 Boris Cherny 씨(이하 Boris 씨)입니다. Boris 씨는 하루에 20~30건 정도의 풀 리퀘스트를 작성한다고 말씀하셨으며, 위 테크 리드의 의견과 대체로 일치합니다. 당시 게시물을 봤을 때도, Boris 씨는 이미 최소 라인으로 클리어하고 있구나 하고 생각했던 게 기억납니다. 이 레벨이 다음 시대의 디팩트 스탠다드가 되어 갈 가능성이 있어 보입니다.
Building Claude Code with Boris Cherny
더 나아가, 모 메가 벤처의 VPoE 분과 이야기를 나눠 봐도 "AI 시대에는 반드시 5배 이상의 생산성을 낼 수 있는 조직이 될 수 있다. 그러지 못하는 것은 기존 개발 방식에 갇혀 있기 때문이며, 반드시 바꿔 나가야 한다"라고 말씀하셨습니다.
2. 조직 전체로 성과를 내는 것의 어려움
다만 이 수준을 조직 전체로 실현하려고 하면 단번에 난이도가 올라갑니다.
이 점에 대해 저희 회사 대표가 "AI를 도입하고 반년, 엔지니어 조직의 아웃풋이 늘지 않은 이유"라는 note에서 구체적으로 되짚었습니다. Findy에서는 2025년 5월 무렵부터 AI 도입을 전사로 확대했지만, 그 후 약 반년간 AI 지원을 받은 PR의 비율은 늘고 있는데도 개발 전체의 아웃풋은 거의 늘지 않았습니다.
AI導入して半年、エンジニア組織のアウトプットが増えなかった理由
이유를 파고들자 생산성이 오른 사람과 오히려 떨어진 사람이 있었다는 것을 알게 되었습니다. 경험과 기초 지식이 충분한 시니어층은 속도감을 가지고 대응할 수 있었던 반면, 당시 바이브 코딩(Vibe Coding)이 주류였던 젊은층은 AI에 적절한 지시를 내리는 경험과 전제 지식이 부족해 제대로 활용하지 못했던 것입니다. AI 활용은 방치하면 자신용으로 만든 Skills를 사용하는 등 개인 최적화에 빠지기 쉬웠습니다.
소규모 조직에서는 몇 명이 개인 최적화로 5배 10배의 생산성을 내준다면 조직 전체로도 충분할지 모르지만, 체감상 엔지니어가 20명을 넘어오면 그렇게만 말할 수 없다는 조직이 늘어오는 인상입니다.
그 문제를 해결하는 데 있어 포인트가 되는 것이 사람의 매니지먼트·성장과 AI의 매니지먼트를 나누어 생각하는 것입니다.
파인디 사에서의 전환점이 된 것은 AI 활용의 토대를 갖춘 것이었습니다. 바로 AI의 매니지먼트를 하러 간 형태네요. 통일된 코드 설계와 테스트 코드 정비, 5분 이내에 끝나는 CI와 CD의 자동화 같은, AI에 안심하고 맡길 수 있는 환경 만들기입니다. 나아가 사람의 매니지먼트도 하지 않으면 중장기로 강한 조직은 만들 수 없기에, 젊은층에게는 기본정보기술자 시험에 임하도록 하는 등 기초 지식의 끌어올리기도 진행했습니다.
그 위에서 AI 매니지먼트의 강화로 임한 것이 (1) 태스크를 이슈로 분해해 PR을 작게 쪼개기, (2) AI 추진 전임 포지션을 신설하기, (3) Claude Code로 자동화와 병렬 개발을 추진하기, (4) AI 활용도를 가시화해 성공 사례를 전사 전개하기, 이 네 가지입니다. 전임 포지션을 만들어 추진한 것이 가장 효과가 있었고, 결과적으로 1인당 PR 작성 수는 전년 대비 약 1.5배까지 늘었습니다.
그럼에도 엔지니어 30명 이상의 규모에서 AI 활용에 의한 생산성 향상의 실태는 1.5~2배 정도에 그치는 것이 현실입니다. 앞서 언급한 "반드시 5배 이상 낼 수 있다"는 이상과 현장의 실감 사이에는 아직 큰 갭이 있습니다. 세상에서 기대되는 "5배·10배"에는 아직 거리가 있고, 조직 전체로 끌어올리려면 하네스 엔지니어링, 즉 지시의 질에 좌우되지 않고 AI가 일정 품질의 아웃풋을 낼 수 있는 환경 만들기가 빠질 수 없습니다. 게다가 하네스는 만들고 끝이 아니라, 모델 업데이트나 활용 정도, 성과에 기여하고 있는지를 모니터링하면서 정기적으로 튜닝하는 것이 필수입니다.
3. AI 비용 증가에 비례해 AI 활용의 성과·ROI가 더욱 요구된다
또 하나 놓칠 수 없는 것이 AI 활용 비용 문제입니다.
GitHub Copilot이나 Devin은 종량 과금으로 이행했고, Claude Code도 -p 커맨드나 Fable이 API 과금이 된다는 뉴스가 나오는 등 종량 과금화를 시사하는 상황이 되어 왔습니다. 이 흐름은 피할 수 없는 것이 되어 가고 있습니다. 게다가 파인디가 실시 중인 조사에서는 사용자당 월 수백억 토큰을 소비하는 사례도 보입니다.
Uber 등에서는 토큰 제한을 도입하기도 하고, 국내에서 AI 활용이 앞선 기업 분들과 이야기를 나눠 봐도 토큰 제한을 하기도 하는 등, 비용 증가·성과와의 연결이 보이지 않는 점과 맞물려 AI 활용에 생산성이 요구되는 트렌드는 앞으로 한층 더 강해질 것이라 생각합니다.
Amazonやウーバー、社員の｢AI無駄遣い｣抑制 1人月24万円の制限も
이만큼의 비용을 들이고 있는 이상, "AI를 쓰고 있으니 성과가 나는 게 당연하다"는 목소리도 나오게 되는 것은 아닐까요. 특히 개발 조직은 다른 부문보다 AI 적용이 앞서 있기에 성과를 요구받기 쉬운 입장에 있습니다. 아웃풋만으로 모든 것을 측정할 수 있는 것은 아니지만, 아웃풋이 늘지 않으면 그 너머의 아웃컴으로도 이어지지 않습니다. 그렇기에 성과를 누구나 납득할 수 있는 형태로 설명할 수 있는 상태를 만들어 두는 것이 중요하다고 생각합니다.
4. 성과와 ROI가 자율적으로 가시화·개선되는 세계를 만들고 싶다
성과가 나는 게 당연하다는 외부의 기대와 그렇게 간단히 오르지 않는다는 현장의 실감, 이 두 가지 갭을 메우기 위해 Findy AI+가 지향하는 것이 성과와 ROI가 자동·자율적으로 가시화·개선되어 가는 세계입니다.
Findy AI+는 AI 활용도나 비용을 데이터로 가시화하고, 병목 개선을 자율적으로 실행할 수 있습니다. AI 추진에 좀처럼 시간을 들이기 어려운 조직 상황에서도 가시화에서 개선까지 돌릴 수 있는 상태를 실현하도록 지원합니다. 먼저 웹 대시보드로 전체 경향을 파악하시고, 더 깊이 파고들고 싶은 분께는 원래부터 제공하고 있는 MCP 서버를 통해서도 이용하실 수 있습니다.
앞으로도 AI 친화적인 개발 조직 변혁을 지원할 수 있도록 Findy AI+도 최선을 다해 진화해 가겠습니다. 부디 많은 응원 부탁드립니다!
Findy AI+는 무료로 이용하실 수 있으니, 조금이라도 관심이 있으시면 아래에서 부담 없이 접속해 보세요.
