OpenAI GPT-4o визнано найкращою AI-моделлю для розробки смарт-контрактів за версією IQ

OpenAI GPT-4o визнана найкращою ШІ-моделлю для генерації смарт-контрактів Solidity, набравши 80,05 балів у рейтингу SolidityBench від IQ, який оцінює моделі за допомогою бенчмарків NaïveJudge та HumanEval для Solidity

SolidityBench, нова таблиця лідерів бенчмарку IQ, була запущена як перша платформа, призначена для оцінки майстерності великих мовних моделей (LLM) у створенні коду смарт-контрактів Solidity. На платформі Hugging Face представлено два ключові бенчмарки – NaïveJudge та HumanEval for Solidity – для для оцінкита ранжування різних моделей ШІ на основі їхньої здатності генерувати безпечний та ефективний код блокчейну.

Розроблений компанією IQ’s BrainDAO в рамках майбутнього набору IQ Code, SolidityBench слугує для вдосконалення їхньої власної програми EVMind LLM, порівнюючи її продуктивність з іншими загальновживаними моделями та моделями, розробленими спільнотою. Оскільки сектор блокчейн продовжує зростати, SolidityBench має на меті заповнити критичну прогалину в забезпеченні розробки безпечних і надійних смарт-контрактів.

OpenAI GPT-4o очолив таблицю лідерів SolidityBench

За результатами бенчмаркінгу модель GPT-4o від OpenAI отримала найвищий загальний бал 80,05, випередивши новіші моделі міркувань, такі як o1-preview та o1-mini, які набрали 77,61 та 75,08 балів відповідно. GPT-4o від OpenAI продемонстрував чудову продуктивність, отримавши оцінку NaïveJudge 72.18 і показники проходження 80% на рівні pass@1 і 92% на рівні pass@3 в завданнях HumanEval for Solidity.

Інші провідні моделі в топ-10 включають Claude 3.5 Sonnet та grok-2 від Anthropic та XAI, які отримали конкурентні загальні бали близько 74. Тим часом Llama-3.1-Nemotron-70B від Nvidia опинилася в нижній частині топ-10 з результатом 52,54 бала.

Як SolidityBench оцінює АІ для розробки смарт-контрактів

NaïveJudge, один з ключових бенчмарків SolidityBench, використовує новий підхід, пропонуючи моделям ШІ реалізовувати смарт-контракти на основі детальних специфікацій, отриманих з перевірених контрактів OpenZeppelin. Ці контракти слугують золотим стандартом безпеки та функціональності, гарантуючи, що код, згенерований LLM, відповідає найвищим стандартам найкращих практик Solidity, ефективності оптимізації та вимогам безпеки.

Крім того, SolidityBench використовує HumanEval for Solidity, адаптацію оригінального бенчмарку OpenAI HumanEval для Python. Цей бенчмарк включає 25 завдань різної складності, кожне з яких має відповідні тести, сумісні з Hardhat, популярним середовищем розробки Ethereum. Завдання оцінюються за допомогою таких метрик, як pass@1 і pass@3, які вимірюють, наскільки успішно модель генерує коректний код з першої та наступних спроб.

Результати перевіряються досвідченими LLM, включаючи GPT-4 від OpenAI та Claude 3.5 Sonnet, які виступають в ролі неупереджених рецензентів коду, оцінюючи згенерований код Solidity на предмет коректності, безпеки та ефективності використання газу. Ці бенчмарки мають вирішальне значення для визначення того, чи можуть моделі штучного інтелекту задовольнити зростаючу потребу в безпечних та ефективних смарт-контрактах у просторі блокчейну.

Рушійні інновації в розробці смарт-контрактів зі штучним інтелектом

Метою створення SolidityBench є підвищення ролі штучного інтелекту в розробці смарт-контрактів. Він заохочує створення більш складних і надійних моделей штучного інтелекту, надаючи розробникам і дослідникам ключову інформацію про можливості та обмеження існуючих систем штучного інтелекту в застосуванні до генерації коду Solidity.

Встановлюючи нові стандарти в розробці смарт-контрактів за допомогою штучного інтелекту, SolidityBench не тільки просуває магістерські програми EVMind від IQ Code, а й розширює межі можливостей штучного інтелекту в рамках більш широкої екосистеми блокчейну. Оскільки попит на безпечні та оптимізовані смарт-контракти продовжує зростати, ця ініціатива спрямована на задоволення цих потреб шляхом постійного вдосконалення інструментів ШІ.

Розробники, дослідники та ентузіасти ШІ запрошуються ознайомитися з таблицею лідерів SolidityBench і зробити свій внесок у зростаючу базу знань про розробку смарт-контрактів на основі ШІ. Для всіх зацікавлених платформа доступна на Hugging Face, де користувачі можуть порівнювати моделі та відстежувати прогрес ШІ у створенні Solidity.

Наш творець. створює дивовижні колекції NFT!
Підтримайте редакторів - Bitcoin_Man (ETH) / Bitcoin_Man (TON)

Binance Free $100 (ексклюзив): Скористайтеся цим посиланням щоб зареєструватися та отримати 100 доларів США безкоштовно та 10% знижки на комісію Binance Futures за перші місяці (Правила та умови). 

Bitget - Скористайтеся цим посиланням. Скористайтеся Центром винагород і виграйте до 5027 USDT!(Огляд)

Реєстрація БЕЗ РИЗИКУ САНКЦІЙ на біржі Bybit: Скористайтеся цим посиланням всі можливі знижки на комісійні та бонуси до $30 030 включно) Якщо ви реєструєтеся через додаток, то під час реєстрації просто введіть у полі посилання: WB8XZ4 - (посібник)