Data center 140824

43
新卒エンジニアから見た データセンター移行 DevLove甲子園 株式会社じげん 田口哲也 @yokozuna_hanao

description

今年の5,6月にデータセンターを移行したので、そのときの話です。 DevLOVE現場甲子園2014 東日本大会 http://devlove.doorkeeper.jp/events/11792

Transcript of Data center 140824

Page 1: Data center 140824

新卒エンジニアから見たデータセンター移行

DevLove甲子園

株式会社じげん田口哲也

@yokozuna_hanao

Page 2: Data center 140824

田口哲也@yokozuna_hanao

株式会社じげん

2014年入社

インフラエンジニア

アルバイトEXエンジニア

アメフト系エンジニア

2

Page 3: Data center 140824

インフラチームのご紹介

• インフラ:2名

• エンジニア:18名

• 全社員(本体):70名

Page 4: Data center 140824

インフラチームのご紹介

• インフラ:2名

• リーダーはベトナムの子会社「Ventura」へ

Page 5: Data center 140824

インフラチームのご紹介sqwiggleによるリモートワーク

Page 6: Data center 140824

インフラチームのご紹介Trelloによるタスク管理

Page 7: Data center 140824

じげんのインフラを支える技術

Page 8: Data center 140824

話すこと

• 今日のプレゼンの対象者は、

–サーバ移行を試みるインフラエンジニア

–新人インフラエンジニア

• データセンター移行の動機

• データセンター移行の準備

• データセンター移行の実行

• 気づいたこと・良かったこと・学んだこと

Page 9: Data center 140824

株式会社じげん

Page 10: Data center 140824

0

2

4

6

8

10

12

14

16

18

20

2008 2009 2010 2011 2012 2013 2014

サービス18個

じげんのサービスの数

10

Page 11: Data center 140824

成長する会社増える新規サービス

Page 12: Data center 140824

それに対して…

Page 13: Data center 140824

現場の抱える問題

• 複数のSPOF(単一障害点)

• サービスごとに微妙に異なるインフラ

• 開発者個人に依存した設定

Page 14: Data center 140824

単一障害点の恐怖

• 複数のサービスが同時に落ちるので、

–原因がわからなくなる

–ダウンしたときのダメージが大きい

Page 15: Data center 140824

そうだ

データセンター

移行。

Page 16: Data center 140824

どうして今まで移行出来なかったの?

優先順位が判断できない

• 重要度を説明できない

• 誰がやればいいのかわからない

Page 17: Data center 140824

データセンターを移行するために準備したこと

• 組織

• プラン

• 設計

Page 18: Data center 140824

データセンターを移行するために準備したこと

• 組織

• プラン

• 設計

Page 19: Data center 140824

“正式な推進担当者になる”

• インフラチームは存在しなかった

Page 20: Data center 140824

“正式な推進担当者になる”

• インフラチームは存在しなかった

• インフラチームを作る

Page 21: Data center 140824

“正式な推進担当者になる”

• 経営陣に説明しないといけない

• 方針を確固たるものにしないといけない

Page 22: Data center 140824

“著名人を招く”

• 経営陣に説明しないといけない

• 方針を確固たるものにしないといけない

• ZOID(ZIGExN Outstanding Innovative

Director)制度

Page 23: Data center 140824

“著名人を招く”

• 経営陣に説明しないといけない

• 方針を確固たるものにしないといけない

• ZOID(ZIGExN Outstanding Innovative

Director)制度

@naoya

Page 24: Data center 140824

データセンターを移行するために準備したこと

• 組織

• プラン

• 設計

Page 25: Data center 140824

L1 L2 L3 L4 L5 備考

Webサーバ(Nginxリバースプロキシ導入)

アプリケーションサーバ切り出し

DBレプリケーション

DBサービス別切り分け

Solrサービス別切り分け

SPOF解消進捗シート•初期設定

Level1

•モデルPJ導入

•開発環境へ適

Level2

•本番PJ一部導

•本番環境へ一

部適用

Level3・本番適用範

囲拡大中Level4

本番全体運用

メンバー全体

運用

Level5

Page 26: Data center 140824

データセンターを移行するために準備したこと

• 組織

• プラン

• 設計

Page 27: Data center 140824

クラウド×ハウジング

• 回線、サーバをサービスで切り分けたい

• webサーバは簡単にスケールアウト出来るようにしたい

• Solrは高機能のサーバを使いたい

Page 28: Data center 140824

Solr01

Solr02

FW FW FW FW

回線A 回線B 回線C 回線D

回線B 回線B

Solr03

Solr04

回線A 回線C

Solr05

回線C

Batch01

Batch02

回線B 回線B

Batch03

Batch04

回線A 回線A

Bkup01

Phy01(VM)

回線D 回線D

File01

回線B

ネットワーク回線図Web DB

Solr

Page 29: Data center 140824

Image file and other(sitemap)

mailbomber

Mail Magazine

web

Solr

gateway

FTP batch

NFS

web

app

app

app

app

サーバ構成図

NGINX

Apache

MySQL

Solr

Page 30: Data center 140824

Image file and other(sitemap)

mailbomber

Mail Magazine

web

Solr

gateway

FTP batch

NFS

web

app

app

app

app

サーバ構成図

• 単一障害点を少なくする

• この構成を標準とする

Page 31: Data center 140824

データセンターを移行する

• データセンター決定

• ラッキング

• 環境構築

Page 32: Data center 140824

環境構築

• Infrastructure as code

• ソーシャルコーディング

• サービス担当者と確認をとりながら環境を構築

• レビューしてもらえる

Page 33: Data center 140824

環境構築

• Infrastructure as code

• ソーシャルコーディング

• サービス担当者と確認をとりながら環境を構築

• レビューしてもらえる

Page 34: Data center 140824

成果・よかったこと・学んだこと

Page 35: Data center 140824

成果

• 単一障害点の解消

• インフラ構成の標準化

• 属人化されていた作業の見える化

Page 36: Data center 140824

よかったこと

Page 37: Data center 140824

インフラ移行の成功要因

• 組織、プラン、設計をおさえる

– “正式な推進担当者になる”

– “著名人を招く”

Page 38: Data center 140824

サーバ構成図は、コミュニケーションツール

Page 39: Data center 140824

サーバ構成図は、コミュニケーションツール

• 全サーバの構成図を書いた

• これを元にサーバの構成を話し合うことが出来る

Page 40: Data center 140824

みんなを巻き込むソーシャルコーディング

• インフラの作業は関係者が多い

• コミュニケーションをGitHubで取れる

• コミュニケーションコストの削減

Page 41: Data center 140824

学んだこと

• インフラが全くわからない状態から、システムの構成がわかるようになった

• インフラとサービスのつながりがわかった

• ツールは使えるけど、理解は出来てる?

Page 42: Data center 140824

じげんでは、一緒にインフラをもっともっと改善したいエンジニアを募集しています。

Page 43: Data center 140824

というか、飲みましょう!