AIソフトウェアエンジニア「Devin」をのりちゃんが実際に使ってみた体験談

詳細情報

日時	2025年01月02日 22:00 - 22:30
テーマ	Devinを使ってみた
発表者	のりちゃん
集会名	個人開発集会
発表資料	ファイル

話題の自律型AI「Devin」で目指せ自動化！のりちゃんによる個人開発での活用事例

2025年1月2日、VRChatで開催された「個人開発集会」でのりちゃんが「Devinを使ってみた」というテーマで発表しました。

Devinとは、米国のスタートアップ企業であるCognition社が開発した「完全自律型AIソフトウェアエンジニア」です。なんと、Devinはフランス語で「占い師」という意味らしいです。なんだか神秘的ですね！

のりちゃんは普段から個人開発でWebサービスを作っている、ゆるふわプロンプトエンジニアとして活躍されています。今回の発表では、実際にのりちゃんが試した生成AI系サービスの中からDevinに焦点を当て、その性能や使用感について共有してくれました。

のりちゃんが試した生成AIサービス、そしてDevinとは？

のりちゃんはこれまでに、以下の生成AIサービスを有料で試してきたそうです。

ChatGPT Pro
Claude Plus
Gemini Advance
GitHub Copilot Pro（コード補完）
Cursor（VSCodeのFork）
GPT Generator（ノーコード系）
Replit（ノーコード系）
Devin

その中でも特に注目しているのが、今回紹介するDevinです。

Devinはソフトウェアエンジニアリングベンチマークで最高性能

Devinは、「SWE-bench」というソフトウェアエンジニアリングのベンチマークで、なんと13.86% という驚異的なスコアを叩き出し、他のAIを圧倒しました。これは、実際のGitHubのIssueとPull Requestのペアを基に評価されたスコアです。

2025年1月2日時点の最新のモデルのベンチマーク結果と比べてみると全然高くありませんが、内側で動いているモデルはこの中のどれかなので、情報が古い可能性があります。

LLM名	SWE-benchスコア(全体)
ChatGPT 4o	33.2%
ChatGPT o1	48.9%
Gemini 2.0 flush	51.8%
Claude Sonnet 3.5	49%

Devinを使って、のりちゃんがアプリ開発に挑戦！

開発環境不要！チャットやSlackでDevinに指示を出そう

のりちゃんは、Devinを使って「ChatGPT、Claude、Geminiに同時にリクエストを投げて結果を比較できるウェブアプリ（ChatHubみたいなやつ）」の開発に挑戦しました。フロントエンドはSvelteKit（Typescript）、バックエンドはFastAPI（Python）という構成です。

Devinの使い方は簡単？プロジェクトのセットアップから指示まで

まず、Devinのウェブサイト上でプロジェクトのセットアップを行います。リポジトリをクローンし、依存関係をインストールすると、VSCodeのようなIDEがブラウザ上に表示されます。

次に、開発ガイドラインを「Knowledge」として設定します。ここでは、テストや検証方法、PRの作成方法、CIについてなどを設定できます。

そして、いよいよDevinに指示を出します。チャット画面でコーディングタスクを入力するか、事前に用意されたタスクから選択します。

指示を出す時のコツとDevinとの上手な付き合い方

また、Slackからでも簡単に指示が出せて、複数のメンバーがDevinに同時に指示を出せるのはチーム開発で便利です。

Devinは、指示に基づいてコードを生成し、テストを実行し、Pull Requestを作成してくれます。管理画面では、Devinの作業状況や生成されたコード、実行されたコマンドなどを確認できます。

Devin活用のメリット・デメリット

のりちゃんが実際にDevinを使ってみて感じたメリットとデメリットをまとめてみましょう。

メリット：高い実装力と問題解決能力、チーム運用も可能

SlackやDevinのウェブサイトから指示できるので、開発環境が不要
実装力、問題解決能力が高い
実装とテストの両方を任せられ、成功するまで頑張ってくれる
指示次第で、Pull Requestに親切なコメントを書いてくれる
チームでの運用が可能★

デメリット：環境構築や指示の出し方に工夫が必要

環境構築が少し面倒
Pull Requestを確認するのが手間に感じる
一度に複数の指示を出すと、ブランチがたくさん作られてしまい、マージが大変
1回のリクエストに5〜15分かかる（簡単な修正でも）
指示が大きすぎると、一部無視して手近なところだけ実装することがある
Devinのリクエスト回数に制限がある

まとめ：Devinはエンジニアの強力なパートナー！だが…？

のりちゃんの発表を通して、Devinはエンジニアにとって強力なパートナーになり得る存在だと感じました。しかし、リクエストを投げてから結果が返ってくるまでの時間が長く、自分で実装したほうが速いケースも多々あり、使い所の見極めが必要なサービスだと感じました。

もちろん、まだ発展途上の技術であり、完璧ではありません。しかし、今後の進化に期待しつつ、うまく活用していけば、開発の効率化や品質向上に大きく貢献してくれるでしょう。

以上、のりちゃんによる「Devinを使ってみた」の発表レポートでした。Devinに興味を持った方は、ぜひスライドもご覧ください！

スライドのリンク

個人開発集会の他の発表もチェック！

VRChat個人開発集会レポート！HIDEさんの「uvでPython開発環境構築」が超役立つ！

VRの新しいテキスト入力手法を考えてみた話 - VRChatでのタイピングに革命を！

ブラウザで動くローカルLLM「Gemini Nano」のデモサイトを作ってみた！のりちゃんさんの発表内容を解説

いいプロンプトの極意はチーム開発スキルにアリ！～LLMとの対話で広がる個人開発の可能性～

P2Pで作る異世界：fogさんのVRChat個人開発集会発表内容を徹底解説！

UnityプロジェクトをGitで管理して開発効率を爆上げ！バージョン管理で開発の悩みを解決

個人開発集会の開催情報・参加方法

個人開発集会

開催日: 2025年01月02日

開催時間: 21:00 - 22:00

開催曜日: 木曜日

開催周期: 隔週(グループA)

個人開発にまつわる話でワイワイする集会です。個人開発をやっている方も初めてみたい方も大歓迎！企画・技術・マーケティング・保守・運用など技術的なことに限らない幅広い分野を想定しています。個人開発に興味がある方はぜひ遊びに来てください！