https://rmtt.github.io/zh/categories/distributed-system/ Recent content in Distributed System on MT's blog Hugo zh Sat, 19 Jun 2021 00:00:00 +0000 https://rmtt.github.io/zh/posts/ds-lec1/ Sat, 19 Jun 2021 00:00:00 +0000 https://rmtt.github.io/zh/posts/ds-lec1/ <h1 id="introduction">Introduction</h1> <blockquote> <p>paper url: <a href="http://nil.csail.mit.edu/6.824/2020/papers/mapreduce.pdf">http://nil.csail.mit.edu/6.824/2020/papers/mapreduce.pdf</a></p></blockquote> <h2 id="why-need-distributed">Why need distributed</h2> <ul> <li>parallelism</li> <li>fault tolerance</li> <li>physical</li> <li>security or isolated</li> </ul> <h2 id="basic-challenges">Basic challenges</h2> <ul> <li>concurrency</li> <li>partial failture</li> <li>performence</li> </ul> <h2 id="map-reduce">Map Reduce</h2> <h3 id="个人理解">个人理解</h3> <p>MapReduce是一个比较直观而且可以分布式的编程框架，主要过程就是将数据（输入）分发到不同的task（map过程），然后将所有task的输出收集起来shuffle一下，然后分发给另外的task（reduce过程）。从目前（2021年）来看，这个编程模型的瓶颈应该是中间的shuffle过程，因为数据量非常大的时候，shuffle过程的网络IO量也非常大。</p> <h3 id="关键点">关键点</h3> <p>MapReduce的编程模型很简单，但Google的论文中最有价值的部分是应该是关于容错和任务备份。</p> <h4 id="容错">容错</h4> <h5 id="worker容错">Worker容错</h5> <p>每个Task可以分为三个状态，<code>idle</code>/<code>in-progress</code>/<code>completed</code>，当task被分配给worker后，会由<code>idle</code>变为<code>in-progress</code>状态，当worker正常完成task时，会由<code>in-progress</code>变为<code>completed</code>。 当worker因意外或其他原因变得<code>inavaible</code>时，Task将会变成<code>idle</code>状态，然后master就可以将其重新分配给其他worker去完成。</p> <h5 id="master容错">Master容错</h5> <p>Master的错误比较暴力，直接做几个<code>mirror</code>就行了，如果没有<code>mirror</code>，那么当master出错时，整个系统就会宕机。</p> <h4 id="任务备份">任务备份</h4> <p>个人觉得是论文里一个不错的点，任务备份是当一个MapReduce操作（个人理解就是map和reduce)完成时，将当前<code>in-progress</code>的Task备份，然后当有空闲的worker时再将备份中的task分配过去执行。这样的好处是可以明显减少因为<code>straggler</code>的存在而导致的性能下降。</p> <blockquote> <p>straggler指因为磁盘、网络等原因而造成性能下降的Worker</p></blockquote> <h3 id="personal-idea">personal idea</h3> <p>因为在实际情况中，每个Worker都会因为各种因素而产生性能上的差距。同时，Master中也记录了每个task的完成时间，感觉可以用完成时间的平均值（或者之类的）来将worker放到一颗平衡树里面，然后优先用效率高的worker去完成task。</p>