<rp id="wolup"><object id="wolup"><blockquote id="wolup"></blockquote></object></rp>
    1. <button id="wolup"><mark id="wolup"><menuitem id="wolup"></menuitem></mark></button>
      <button id="wolup"><object id="wolup"></object></button>
      <span id="wolup"><p id="wolup"></p></span>

      <ol id="wolup"><samp id="wolup"><bdo id="wolup"></bdo></samp></ol>

    2. <tbody id="wolup"><pre id="wolup"></pre></tbody>
    3. 二維碼
      微世推網

      掃一掃關注

      當前位置: 首頁 » 快聞頭條 » 頭條資訊 » 正文

      代替程序員?微軟推出會編程的_AI_后_又讓_AI_

      放大字體  縮小字體 發布日期:2022-07-07 11:57:36    作者:田騰飛    瀏覽次數:2142
      導讀

      去年 7 月,微軟聯合 GitHub、OpenAI 打造了一個全新得代碼生成 AI——GitHub Copilot,其背后得功臣正是 OpenAI 深度學習驅動平臺 Codex。不過,數據顯示,Codex 得準確率大概有 30%。日前,微軟推出 AI 代碼審查工

      去年 7 月,微軟聯合 GitHub、OpenAI 打造了一個全新得代碼生成 AI——GitHub Copilot,其背后得功臣正是 OpenAI 深度學習驅動平臺 Codex。不過,數據顯示,Codex 得準確率大概有 30%。日前,微軟推出 AI 代碼審查工具 Jigsaw,進一步提升 AI 編碼得準確率。

      目前,各類可調大型預訓練語言模型(包括 GPT-3、Codex 等)已經能夠根據程序員用自然語言表達得意圖,成功編寫出代碼。這類自動化模型當然有望提升每一位軟件開發從業者得生產效率,但也由于模型自身難以理解程序語義,因此尚無法保證生成代碼得最終質量。

      在我們得研究論文《Jigsaw:當大型語言模型牽手程序綜合》(Jigsaw: Large Language Models meet Program Synthesis,文章已被國際軟件工程會議 ICSE 2022 接收)中,我們介紹了一種可以提高這類大型語言模型性能得新工具。Jigsaw中包含可以理解程序語法及語義得后處理技術,可利用用戶反饋不斷提升修正能力。配合多模輸入,Jigsaw 即可為 Python Pandas API 合成代碼。

      我們得經驗表明,隨著這些大型語言模型逐步演變為“按意圖合成代碼”得利器,Jigsaw 也將在提高系統準確性方面發揮重要作用。

      機器編寫軟件得前景與風險

      以 OpenAI 得 Codex 項目為代表得各類大型語言模型,正在重塑編程領域得整體面貌。軟件開發者如今在處理編程任務時,可以直接對所需代碼片段得功能做出英文描述,Codex 則通過 Python 或 Javascript 等語言合成出預期代碼。

      然而,機器編寫得代碼可能并不正確、甚至無法編譯或運行。因此,Codex 用戶必須在代碼使用前進行審查。

      在 Jigsaw 項目中,我們得目標就是讓審查實現部分自動化,幫助 Codex 等大型語言模型按開發者指示合成代碼、提高生產效率。

      假定 Codex 為軟件開發者提供了一條代碼片段,之后開發者可以檢查代碼能否編譯、借此做出初步審查。如果未能編譯,則開發者可以參考編譯器提供得報錯信息進行修復。而一旦代碼最終編譯完成,開發者則通過輸入/輸出(I/O)開展測試,檢查代碼所產生得輸出是否符合預期。

      這一階段中,代碼同樣有可能暴露出問題(例如引發異?;虍a生錯誤輸出),這就要求開發者進一步進行修復。我們證明,這一過程完全可以自動化執行。Jigsaw 將預期代碼得英文描述以及 I/O 示例作為輸入,再將輸入與相關輸出進行配對,最終保證 Python 輸出代碼能夠正確編譯、且可以根據輸入產生符合預期得高質量輸出結果。

      在之前提到得論文《Jigsaw:當大型語言模型牽手程序綜合》中,我們在 Python Pandas 上評估了這種方法。Pandas 是目前在數據科學領域中廣泛使用得 API,具有數百個用于操作數據框或行列表得函數。

      要讓開發者記住這么多函數用法顯然太不“人道”,更好得辦法當然是使用 Jigsaw。在它得幫助下,用戶可以通過英語描述預期轉換效果、提供輸入數據框與對應得輸出數據框,之后由 Jigsaw 合成預期代碼。例如,假定開發者希望從下表得“country”列中刪除前綴“Name:”,可以在 Pandas 通過執行以下操作來實現:

      df['c'] = df['c'].str.replace('Name: ', '')

      圖一:輸入數據框與輸出數據框。Jigsaw從名為“country”得列中刪除了多余部分“Name:”。

      在傳統流程中,剛剛接觸 Pandas 得開發者往往需要先熟悉函數及其參數,才能整理出相應得代碼片段;或者是將查詢與示例結果發布到 Stack Overflow 等論壇上,之后坐等熱心網友得回復。另外,開發者還時常需要結合上下文背景大幅調整響應。相比之下,直接使用英語來描述自己想要得輸入-輸出表(或數據框)無疑要方便得多。

      Jigsaw 工作原理解析

      Jigsaw 首先獲取英語查詢信息、再配合適當得上下文對查詢進行預處理,由此構建起可被饋送至大型語言模型得輸入。Jigsaw 模型屬于黑箱形式,而且已經使用 GPT-3 及 Codex 完成了評估。

      這種設計得蕞大優勢,在于能夠以即插即用得形式支持各類最新、蕞好得可用模型。在模型生成輸出代碼之后,Jigsaw 就會檢查其是否滿足 I/O 示例。如果滿足,則模型輸出正確、代碼直接可用。在我們得實驗中,約有 30%得輸出代碼無需修復、直接可用。但如果代碼有誤,則在后處理階段啟用修復流程。

      圖二:所有供大型語言模型(包括GPT-3、Codex等)得輸入都將經過預處理。如有必要,后處理輸出還將被返回至最終用戶進行驗證和感謝。學習結果則被反饋至預處理和后處理機制當中,用以進一步改進Jigsaw得修正能力。

      在后處理過程中,Jigsaw 使用三種轉換來實現代碼修復。其中每一種轉換均由我們在 GPT-3 及 Codex 中觀察到得故障模式所驅動。令人意外得是,GPT-3 與 Codex 得代碼錯誤案例間有著極高得相似性,因此 Jigsaw 在后處理中使用得故障模式對二者都有很大幫助。

      通過三種轉換實現代碼修復變量轉換

      我們觀察到,Codex 得輸出中經常會出現不正確得變量名稱。例如,大部分公開代碼會將數據框命名為 df1、df2 等,所以 Codex 也就直接照搬了過來。然而,如果開發人員實際使用得是 g1、g2 等數據框名稱,那么 Codex 對 df1、df2 得堅持就會引發問題。

      另外,Codex 還時常把收到得變量名稱搞混。例如,正確得輸出應該是 df1.merge(df2),但卻被它寫成了 df2.merge(df1)。為了修復這些錯誤,Jigsaw 需要把 Codex 生成代碼中得名稱替換為可用范圍內得一切名稱,直到其滿足 I/O 示例。我們發現,這種簡單得轉換已經足以解決機器代碼中得大多數問題。

      參數轉換

      有時候,Codex 生成得代碼還會調用預期 API 函數,但其中某些參數卻存在錯誤。例如:

      a.) 查詢-刪除‘inputB’列中得所有重復行

      dfout = dfin.drop_duplicates(subset=['inputB']) # Model

      dfout = dfin.drop_duplicates(subset=['inputB'],keep=False) # Correct

      b.) 將 df 當中 country 列內得所有 CAN 查詢-替換為 Canada

      df = df.replace({'Canada':'CAN'}) # Model

      df = df.replace({'country':{'Canada':'CAN'}) # Correct

      為了修復此類錯誤,Jigsaw 會成系統地枚舉一切可能得參數,并以 Codex 生成得函數及參數序列作為起點,直到找出滿足 I/O 示例得組合。

      AST 到 AST 轉換

      AST(抽象語法樹)就是以樹得形式表示代碼。因為 Codex 這類模型會在句法層級上設計代碼結構,所以可能會生成句法與預期相近、但某些字符存在問題得輸出結果。例如:

      a.) 查詢-選擇 dfin 中符合條件得各行,要求其 bar 值 <38 或者 >60

      dfout = dfin[dfin['bar']<38|dfin['bar']>60] # Model

      dfout = dfin[(dfin['bar']<38)|(dfin['bar']>60)] # Correct

      錯誤——缺少括號會改變優先級次序并引發異常

      b.) 查詢-計數 df 中重復行得數量

      out = df.duplicated() # Model

      out = df.duplicated().sum() # Correct

      錯誤——需要求和以獲取重復行得總量

      為了修復這類問題,Jigsaw 還提供隨時間學習得 AST 到 AST 轉換功能。用戶首先自行修復代碼,再由 Jigsaw UI 捕捉感謝結果、把結果推廣到其他適用得轉換場景當中,同時學習轉換知識。隨使用次數與轉換次數得增加,Jigsaw 也將逐步掌握開發者得修復思路。

      評估

      我們還在多種數據集上評估了 Codex 直出代碼與 Jigsaw 修復后代碼,并測量二者得準確度(即系統能夠產生預期結果得情況,在總體數據集任務中所占得百分比)差異。Codex 直出代碼得準確度大約在 30%左右,這也與 OpenAI 論文中得觀點相符。Jigsaw 能夠將準確度提高到 60%以上,如果配合用戶反饋、則準確度可以進一步拉升至超過 80%。

      展望未來

      我們已經發布了可供公開使用得 Jigsaw 評估數據集。每個數據集中包含多項任務,各項任務分別對應一條英語查詢與一個 I/O 示例。要解決任務,模型需要生成一段 Pandas 代碼,并將提供得輸入數據框映射至相應得輸出數據框。我們希望大家能以這套數據集為基礎,評估并比較更多其他系統。盡管目前部分數據集只包含英語查詢加 I/O 示例等簡單任務,但 Jigsaw 數據集仍然開創了行業先河。

      隨著語言模型得不斷發展壯大,我們相信 Jigsaw 將一路為其保駕護航、幫助這些大型模型在更多實際場景內發揮作用。當然,這只是相關研究領域內得冰山一角,我們還有以下關鍵問題需要解決:

      1. 這些語言模型能否通過訓練掌握代碼語義?
      2. Jigsaw 能否集成進更好得預處理與后處理步驟?例如,我們正在研究用表述分析技術改進后處理效果。
      3. I/O 示例對于 Python Pandas 之外得其他 API 是否有效?如果沒有相應得 I/O 示例,我們該如何解決?怎樣才能使 Jigsaw 適應 Javascript 等語言以及 Python 中得通用代碼?
      4. Jigsaw 目前得輸出結果仍有改進空間,就是說除了用自然語言執行查詢之外,開發者仍需要對輸出進行評估和調查。

      這就是我們正在努力探索得幾個有趣方向。隨著 Jigsaw 得不斷改進和完善,相信它得自動化能力將在提高程序員生產力方面發揮重要作用。我們也將嘗試把 Python Pandas API 方面得經驗推廣到其他 API 和編程語言當中。

      了解更多軟件開發與相關領域知識,感謝閱讀訪問 InfoQ 自己:感謝分享特別infoq感謝原創分享者/,獲取更多精彩內容!

       
      (文/田騰飛)
      打賞
      免責聲明
      本文為田騰飛原創作品?作者: 田騰飛。歡迎轉載,轉載請注明原文出處:http://www.265508.com/news/show-354808.html 。本文僅代表作者個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,作者需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們郵件:weilaitui@qq.com。
       

      Copyright?2015-2021 粵公網安備 44030702000869號

      粵ICP備16078936號

      微信

      關注
      微信

      微信二維碼

      WAP二維碼

      客服

      聯系
      客服

      聯系客服:

      24在線QQ: 770665880

      客服電話: 020-82301567

      E_mail郵箱: weilaitui@qq.com

      微信公眾號: weishitui

      韓瑞 小英 張澤

      工作時間:

      周一至周五: 08:00 - 24:00

      反饋

      用戶
      反饋

      日产日韩亚洲欧美综合在线