きつねさんでもわかるLLVM読書会amagasaki.rb第5章

きつねさんでもわかるLLVM読書会第２回

7/5tkuro11

13年7月6日土曜日

自己紹介

•最近（悪い意味で）世間をにぎわす　　某半導体会社社員。

•実はエンジニアじゃない

•おてやわらかに。。。

tkuro11


祝単行本化


きつねさんでもわかるLLVMの訂正一覧

貢献してます！


1ゲトー⊂（ﾟДﾟ⊂⌒｀つ≡≡≡ｽﾞｻﾞｰｰｰｰｰｯ

きつねさんでもわかるLLVMの訂正一覧

貢献してます！


http://ameblo.jp/marchao-office/entry-11296472305.html



さて......


フロントエンドとは

バッグエンドA

フロントエンド

C

バッグエンドB

フロントエンド

Ruby

A向けコード

B向けコード

Cソース

rubyソース

言語依存

中間表現

ターゲット依存



• 普通はソースコードから中間表現まで担当

• LLVMの場合、バックエンドがLLVM-IR

をいじり回すのでIRコード生成が中間表現

• 字句解析、構文解析、意味解析、コード生成



• 普通はソースコードから中間表現まで担当

• LLVMの場合、バックエンドがLLVM-IR

をいじり回すのでIRコード生成が中間表現

• 字句解析、構文解析、意味解析、コード生成LLVMっぽくなるのはここから


DummyCCompiler

• Cのサブセット

• 全て int 型、他の型無

• グローバル変数無

• 変数の宣言時初期化無

• 変数のカンマ区切りの宣言無

• includeとかdefine無

• ビット演算無

• 単項演算無

• 配列のサポート無

https://github.com/Kmotiko/DummyCCompiler.git




DummyCどんなん？i n t t e s t ( i n t j ) {

　 i n t i ;

　 i = j * 1 0 ;

　 r e t u r n i ;

}

i n t m a i n ( ) {

　 i n t i ;

　 i = 1 0 ;

　 t e s t ( i ) ;

　 r e t u r n 0 ;

}

わー貧弱


フロントエンドの流れ

字句解析Lexer

構文解析Parser

意味解析SemanticAnalysis

最適化Optimizer

コード生成Code

Generation

ソースコード


234

字句解析

• 入力ソースコード　→　トークンの列

• まずは入れ物を用意

• Tokenクラス

• TokenStreamクラス

i n tu

= 23 int ruby =4 ;r

yb


Tokenクラス• 保持すべきもの

• 種類

• 文字列

• 数値

• 出現行数

列挙型のtypeで判別。継承にしてないのはコードふくれるから？


TokenStreamクラス

• Token追加

• Token取得

• カレント巻き戻し

• カレント位置変更

• カレントの種類get

• カレントの文字列get

• カレントの数値get

• Token出力(util)


TokenStreamクラスbool applyTokenIndex(int index){CurIndex=index;return true;}

微っっ妙・・・

bool getNextToken ();さらに微妙・・・（ぶ、bool??????????)


字句解析　実装• 方針としては

• ifstreamで一行ずつread

• 一文字ずつ読み込みトークン切り出し

• Tokenインスタンス生成 -> TokenStreamに

• 最後まで行ったらTokenStreamをreturn


字句解析　実装

• いきなりですがバグってます。

• コメントごときで死亡•まあそれ以外は普通

• しかし++とかしすぎ（あちこちに状態変化）


構文解析

• Tokenから文法に従って　AST (Abstract Syntax Tree)に。

• つまりはグループ化して後続段で使いやすく

234int ruby =234ruby

=

int int


文法の定義非終端記号終端記号


パーサの種類• トップダウン(LL)

• ボトムアップ(LR)

こっからスタート

CALL RET

CALL CALL

CALL

RET RET

RET

スタックに記号と状態を積んでいく

解析表に従い右(R)がマッチングしたらreduceする（ポンっと消えてトップに近づく）

E1 ＋2 E


LR


LR(k) LR(1)

構文解析

LALR(1)

LL(k)

SLR

LR(0)

LL(1)

LL(0)

パーサの種類


LLの弱点

無限ループでござる


isa<>とdyn_cast<>

• ちょっとC++な内容

• C++の（つかいにくーい）RTTIの代わりに

• isa<クラス>(instance)

• dyn_cast<to class>(from class)

• ベースclass -> 派生クラス変換（チェックつき）


AST

• 基底クラスを作る (BaseAST)

• とみせかけて、なぜか列挙値によるIDフィールドつき(isaあるのに・・・)


各ASTについて

• リテラル

• VariableAST, NumberAST

• 二項演算子

• asignment_expression, additive_expression, multiplicative_expression= + *


各ASTについて• 変数宣言とジャンプ命令(return)

• VariableDeclAST, JumpStmtAST

• 関数とモジュール

• FunctionAST, TranslationUnitAS

• プロトタイプ宣言

• PrototypeAST

veryトップ


VariableDeclAST注意点

関数の引数は同じローカル変数でも初期値があるため区別したかったらしい。普通の変数もゼロ初期化にすりゃ良いのに


構文解析クラスの実装

• 戦略としては

• ファイル名→　LexicalAnalysis() →TokenStream

• 非終端記号ごとにfunctionを用意する

• いわゆる再起下降パーサ

• [コードを読む]


例 assign & primary expr


意味解析

• intしか無いので非常に簡単

• 実際、関数再定義の確認と、プロトタイプとのパラメータの数しか見ていない。

• パースと同時に解析を行う


コード生成

• ASTまでOK

• ようやく...........!!!


コード生成

• ASTまでOK

• ようやく...........!!!

LLVMたーいむ!!!13年7月6日土曜日

コード生成

Module作成

Function作成 >> Moduleへ

BasicBlock作成 >> Functionへ

Instruction生成 >> BasicBlock

繰り返し

最後に出力


コード生成

• 本来ならGlobalVariableも挿入するがDummyCには Global変数がない（！そうでした）

• 該当するクラスを生成して作る

• IRBuilderというお手軽便利クラスがある


IRBuilder

• llvm::IRBuilder(LLVMContext &C, MDNode *FPMathTag=0)

• コンテキストはllvm::getGlobalContextで

• テンプレート引数はいろいろ。よーわからん


generateTranslationUnit

• Moduleの作成

• プロトタイプと関数定義生成メソッドを呼び出す

• プロトタイプと関数定義はASTのトップにvector<>として入っている

• [コード]


generatePrototype

• prototypeASTから Function生成 -> Module

• ボディは生成しない

• Functionに必要となる型情報は llvm::Typeの関数から生成

• [コード]


generateFunctionDefinition

• generatePrototypeが作ったFunctionに命令を入れるBasicBlockを追加

• BasicBlockはBasicBlock::Create()で生成

• その後、IRBuilderクラスのSetInsertPoint()で命令の挿入位置(カーソルみたいな物)を指定

• [コード]


generateFunctionStatement

• 関数本体を生成

• FunctionStmtASTを辿り、変数定義、Statement定義を行う

• 実際に生成を行うのはこの下請けのgenerateVariableDeclarationとgenerateStatementになる


generateVariableDeclaration

• BasicBlockに変数宣言を追加

• Alloca命令の生成 : IRBuilderの CreateAllocaでイケる

• (VariableASTの説明であった引数の初期)値の書き込みはCreateStoreで。

• [コード]


generateStatement

• BaseASTの種類に応じてstatement生成

• 下請け関数に飛ばすだけ。

• isa<>のわかりやすい使用例

• ターンテーブル

• [コード]


generateBinaryExpression

• 二項演算子コードの下請け

• 左辺／右辺値のコード生成を再起

• 代入または四則演算

• ここにまたバグが！（0.9.2では直ってます）

• [コード]


generateCallExpression

• 関数呼び出し命令を生成

• IRBuilder::CreateCall

• 引数はvector<Value*>で与える

• nameは返り値の名前になる

• [コード]


generateJmpStatement

• return命令を生成

• IRBuilder::CreateRet

• [コード]

だんだんなげやりに・・・・


generateVariable

• 変数参照を実装 . Load命令を生成する

• IRBuilder::CreateLoad

• [コード]

だんだんやりなげに・・・・


だんだんやりなげに・・・・

generateNumber

• 定数Valueを生成

• llvm::ConstantInt::get

• [コード]


おつかれ様でした

• ありがとうございましたありがとうございました


まだだ、まだ終わらんよ！！！13年7月6日土曜日

main関数について

• ドライバ部分が必要 ** gccみたいな

• 短いので全部mainに書いちゃえ、という思想らしい


OptionParser

• お手製getopt()/boost::program_options

• なんでも自作好きだなー

• 例によって結構強引

• [コード]


初期化とか • InitializeNativeTarget();

謎だったデータレイアウトはこれか！

• sys::PrintStackTraceOnErrorSignal()名前通り

• PrettyStackTraceProgram これも名前通り

• EnableDebugBuffering = true;

バッファのつじつまを合わせる？


出力の仕方

• パスマネージャに llvm::createPrintModulePass　を登録→

pm.run()するだけ。

• ファイルオブジェクトは raw_fd_ostreamを使う（これはエラー出力もパックしている）

• 結構簡単。


初最適化（Passの指定）

• さっきもやったけど基本的にパスマネージャに pm.add() するだけ。

• mem2reg をやってみる（足すだけ）

• [コード]


組み込み関数(printnum)

• どうせなので標準出力に出したい

• 方針は Clangで吐いた目的コードを出して

• Parserクラスにprintnum参照を追加

• リンクしてしまう

• 結構な力技


JIT

• Just In Time

• llvm::ExcuteEngineを利用(JIT専用ではない）

• 実際にはサブクラスのllvm::Interpreter, llvm::JIT, llvm::MCJITのいずれかを利用

• MCはMachineCode 。in-memoryでよりアーキテクチャに近いコードのため、変換が速い


ExecuteEngine

• llvm::EngineBuilder::EngineBuilder(Mod)

• そのあとcreate()メソッドを使用する

• createが返した ExecutionEngine*が実行環境の実体

• インクルードファイルで指定するか、またはExecusionEngine::setEngineKind()

• MCの場合は setUseMCJITでも行ける13年7月6日土曜日

JIT組み込み

• doCodeGenで作ったModuleを ExecutionEngineに食わせる

• ExecutionEngine::getPointerToFunctionにて実行アドレスを取得。関数呼び出しでOK


Metadata

• Metadataには {MetadataString, MetadataNode}

• MetadataString →　llvm::MDString

• MetadataNode → llvm::MDNode

• MDBuilderを利用する


Metadata

• MDBuilderの生成メソッド

MDString *createString(StringRef Str) MDNode *createFPMath(float Accuracy) MDNode *createRange(const APInt &Lo, const APInt &Hi) MDNode *createAnonymousTBAARoot() MDNode *createTBAARoot(StringRef Name) MDNode *createTBAANode(StringRef Name, MDNode *Parent, bool isConstant = false) MDNode *createTBAAStructNode(ArrayRef<TBAAStructField> Fields) MDNode *createBranchWeights(uint32_t TrueWeight, uint32_t FalseWeight) MDNode *createBranchWeights(ArrayRef<uint32_t> Weights)


MDBuilderの使い方

• 生成したMDBuilderインスタンスを使って MDB->createFPMath(0.5);

• のように使う

• まあそのまま


Metadataの反映

• 方法１：llvm::Instruction::setMetadataにてInstructionインスタンスにMetadataをひも付け。 Stringか ID値にて登録できる

• 方法２：IRBuilder経由で演算にひも付け


Metadata

• Metadataには {MetadataString, MetadataNode}

• MetadataString →　llvm::MDString

• MetadataNode → llvm::MDNode


CommandLine

• ごめんなさいココロが・・・・ココロが折れてしまいました。


まとめ

• フロントエンドの作成を説明

• 字句解析／構文解析／意味解析

• コード生成／JIT

• 長かった。。。

• もっとツール使えバカ


ありがとうございましたほんとうにおつかれさまでした


きつねさんでもわかるLLVM読書会amagasaki.rb第5章

Technology

Transcript of きつねさんでもわかるLLVM読書会amagasaki.rb第5章